【崗位職責】:
1、大數據平臺搭建與維護:負責基于 Dataworks 平臺進行公司大數據應用產品的全流程開發,涵蓋數據集成、任務調度、數據開發等模塊,搭建穩定可靠的大數據平臺,保障平臺服務的高效運行;同時,持續進行架構優化與技術迭代,構建集數據存儲、計算、服務于一體的大型分布式數據平臺,滿足公司業務發展對數據處理的需求;
2、數據架構設計:結合公司業務場景和發展戰略,主導數據架構的設計與規劃,制定數據存儲、處理、流通的整體方案;優化數據架構,提升數據處理性能和系統穩定性,保障數據架構與業務需求的高度契合;
3、數據倉庫建模:依據數據倉庫建模理論,負責數據倉庫的模型設計與開發工作,包括維度建模、事實建模等;參與數據 ETL(抽取、轉換、加載)過程的設計與實施,確保數據倉庫數據的質量和可用性;定期對數據模型進行評估和優化,滿足不同業務場景的數據需求;
4、數據處理與計算:熟練運用 Flink 技術,對海量數據進行離線計算和實時計算,實現數據的高效處理與分析;設計并開發數據處理流程,確保數據的準確性、完整性和及時性,為業務決策提供有力的數據支持;
5、技術創新與應用:持續關注大數據領域的新技術、新方法,結合公司實際業務需求,評估并引入合適的技術,推動大數據技術在公司的創新應用;優化集群性能,提高資源利用率,降低運營成本。
【任職要求】
1、具有 5 年及以上大數據相關工作經驗,本科及以上學歷,計算機科學與技術、軟件工程、數據科學與大數據技術等相關專業優先;
2、熟悉 Dataworks 平臺的使用,具備基于 Dataworks 進行大數據項目開發、任務調度和數據管理的經驗;
3、精通數據倉庫建模理論和方法,有豐富的數據倉庫架構設計、數據 ETL、建模或數據分析相關經驗;
4、熟練掌握 Flink 技術,深入理解其原理和架構,能夠運用 Flink 進行離線計算和實時計算任務的開發與優化;
5、具備良好的溝通能力和團隊協作精神,能夠與不同部門的人員進行有效的溝通和協作;具備較強的問題解決能力和邏輯思維能力,善于從復雜的數據問題中找到關鍵路徑;對待工作認真負責,有較強的自驅力和學習能力,能夠快速適應新技術和新環境。