工作內容:
1.CDH集群部署與初始化
負責 CDH(Cloudera Distribution Including Apache Hadoop)大數據平臺的規劃、部署與初始化工作。根據業務需求和服務器資源情況,制定合理的集群部署方案,確保 HDFS、MapReduce、YARN、Hive、HBase、Spark 等核心組件正確安裝配置,保障集群初始狀態穩定可靠;
2.CDH集群日常運維
承擔 CDH 集群的日常運行維護工作,包括但不限于集群狀態監控、性能巡檢、日志分析等。通過 Cloudera Manager 實時掌握集群各節點及組件的運行狀態,及時發現并解決潛在問題,確保集群持續穩定運行;
3.集群擴容與資源調整
根據業務增長需求,制定 CDH 集群擴容方案,完成節點添加、存儲和計算資源擴展等操作;根據各組件的運行負載,合理調整 YARN 等資源調度相關配置,優化資源分配,提高集群資源利用率;
4.故障處理與應急響應
負責 CDH 集群各類故障的排查與處理,如 HDFS 塊損壞、節點宕機、組件服務異常等。建立完善的故障應急響應機制,快速定位問題根源并采取有效措施恢復集群正常運行,減少故障對業務的影響;
5.數據安全與權限管理
基于 CDH 內置的安全框架,如 Kerberos 認證、Sentry 權限控制等,負責集群的安全配置與管理。制定數據安全策略,嚴格控制用戶訪問權限,定期進行安全審計,保障集群數據的安全性和合規性;
6.版本升級與補丁更新
關注 CDH 及相關組件的版本更新和補丁發布情況,制定合理的版本升級和補丁安裝計劃。在不影響業務正常運行的前提下,完成版本升級和補丁部署工作,提升集群的穩定性和安全性;
7.文檔編寫與知識轉移
編寫 CDH 集群部署、運維、故障處理等相關文檔,包括操作手冊、故障處理指南等。定期組織團隊內部技術分享,轉移運維經驗,提升團隊整體技術水平;
8.跨團隊協作
與開發團隊、業務團隊保持密切溝通,了解業務需求和數據處理需求。為開發團隊提供 CDH 平臺相關的技術支持,協助解決開發過程中遇到的平臺相關問題,保障數據處理任務的順利進行;
基本要求:
1. 本科及以上學歷,計算機科學與技術、軟件工程、大數據相關專業優先;
2. 具有 5 年及以上大數據平臺運維經驗,其中至少 3 年 CDH(Cloudera Distribution Including Apache Hadoop)部署運維相關經驗;
3. 有大型 CDH 集群(100 節點及以上)運維經驗者優先;
4. 熟悉 CDH 平臺的架構和核心組件(HDFS、MapReduce、YARN、Hive、HBase、Spark 等)的原理及運行機制;
5. 熟練使用 Cloudera Manager 進行 CDH 集群的部署、監控、管理和故障排查;
6. 具備 CDH 集群性能調優能力,能夠針對不同業務場景優化集群配置參數;
7. 熟悉大數據平臺常用的監控工具(如 Ganglia、Nagios 等)和日志分析工具,能夠及時發現并解決集群性能和運行問題;
8. 了解 Kerberos、Sentry 等安全組件的配置和使用,有數據安全和權限管理經驗者優先;
9. 掌握 Shell、Python 等腳本語言,能夠編寫自動化運維腳本者優先;
10. 具備較強的問題分析和解決能力,能夠快速定位并處理集群各類故障;
11. 具有良好的溝通協調能力和團隊合作精神,能夠高效地進行跨團隊協作;
12. 工作認真負責、嚴謹細致,具有較強的責任心和抗壓能力;
13. 有持續學習的意愿和能力,能夠及時掌握大數據領域的新技術和新動態;
14. 根據項目及客戶需求,服從領導和公司安排的辦公地點調度和出差;
15. 根據項目進度及需求,有義務配合關聯部門的協助工作;
有義務遵守公司最新的員工手冊、保密協議、考核規則等規章制度