崗位職責:
1. 參與公司數據湖的建設,做過數據湖實施;
2. 參與數據湖的離線分析開發,編寫HSQL進行數據提取、轉換和加載(ETL);
3. 對現有Hive查詢進行性能分析和優化,提高查詢效率;
4. 支持數據分析,為業務部門提供數據支持。
5. 參與數據治理和質量管理,確保數據湖中的數據準確性和可靠性;
任職資格:
1. 學歷要求:??萍耙陨蠈W歷,計算機科學、信息技術等計算機相關專業;
2. 工作經驗:至少2年及以上數據湖建設經驗,參與過數據湖的離線分析開發工作,有星環大數據平臺開發經驗優先考慮。
3. 技術能力:
(1) 熟悉Hive的使用,能夠編寫高效的HSQL查詢語句;
(2) 理解Hive的內部原理,有Hive優化經驗,能夠針對復雜查詢進行性能調優;
(3) 有實際的數據湖開發和設計經驗,能夠處理大規模數據集;
(4) 有實際的指標明細層設計開發經驗;
4. 個人素質:
(1) 具備良好的邏輯思維能力,能夠獨立分析和解決問題;
(2) 有一定的抗壓能力,能夠接受項目緊張時期的加班;
(3) 良好的團隊合作精神和溝通能力,能夠與團隊成員有效協作。