統招大專3年以上工作經驗以上,有主導數據工具鏈研發經驗
崗位職責
主導數據工具鏈研發,覆蓋以下方向:
1、數據平臺:
1.1、ETL開發:設計并實現高效數據抽取、轉換、加載流程,支撐海量數據清洗與集成。
1.2、數據湖倉構建:基于 Iceberg/Hudi 等表格式管理數據資產,優化存儲與查詢性能。
1.3、API/SDK服務:開發數據訪問接口與工具包,提供標準化數據服務能力。
1.4、標注平臺、訓練平臺、評測平臺職責與原圖完全一致(略)。
2、優化系統架構,重點保障數據管道穩定性與服務高可用性。
任職要求
1、學歷背景:統專及以上計算機/電子工程/數學等相關專業。
2、技術能力(關鍵新增項):
2.1、ETL專項能力:
精通分布式ETL開發(Spark/Flink),具備任務調度、容錯與性能優化經驗。
掌握數據建模,能獨立設計業務表結構。
2.2、數據湖倉與表管理:
熟練使用 Iceberg/Hudi/Delta Lake 等表格式,實現ACID事務與版本管理。
熟悉數據湖分層架構。