崗位職責(zé):
1.大數(shù)據(jù)平臺構(gòu)建:搭建和維護數(shù)據(jù)采集、存儲、處理、計算、分析和可視化的平臺;
2.數(shù)據(jù)倉庫設(shè)計和開發(fā):參與數(shù)據(jù)倉庫數(shù)據(jù)模型設(shè)計和開發(fā),ETL相關(guān)的Python和SQL開發(fā),以及開發(fā)文檔的編寫;
3.數(shù)據(jù)處理流程設(shè)計與實現(xiàn):設(shè)計和實現(xiàn)數(shù)據(jù)采集、清洗、轉(zhuǎn)換、處理和存儲的流程,確保數(shù)據(jù)的準(zhǔn)確性和一致性;
4.構(gòu)建數(shù)據(jù)治理體系:落地數(shù)據(jù)治理工具(如Apache Atlas/Apache Griffin),實現(xiàn)元數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量治理;
5.開發(fā)和維護數(shù)據(jù)分析工具:開發(fā)和維護各種數(shù)據(jù)分析工具和算法,如數(shù)據(jù)挖掘、機器學(xué)習(xí)、自然語言處理等。
任職要求:
1.計算機、統(tǒng)計學(xué)或相關(guān)專業(yè),本科及以上學(xué)歷;
2.3年以上大數(shù)據(jù)平臺開發(fā)經(jīng)驗,具有豐富的大數(shù)據(jù)建設(shè)與運維經(jīng)驗;
3.精通Hadoop生態(tài)組件及MPP框架(Flink/ StarRocks);
4.具備軌道交通、能源行業(yè)(如光伏、儲能)項目經(jīng)驗者加分。