崗位職責:
1.技術開發:負責大數據存儲、計算平臺搭建和開發;負責數據倉庫建設,數據抽取、清洗、轉化等數據處理程序開發。
2.技術選型:負責根據具體應用場景進行技術選型,提出解決方案;
3.體系建設:負責數據治理體系建設,能夠從零搭建數據治理產品,包括但不限于數據存儲體系建設、ETL、數據血緣、數據安全、數據分類分級等。
4.團隊協作:參與進行客戶業務需求、數據分析需求的調研、收集與分析。
5.技術預研:負責新技術調研、測試和落地應用,對初中級數據工程師開展帶教。
任職要求:
1.技術技能:精通大數據開發相關技術以及Hadoop/HBae/Hive等開發框架;精通Doris、Flink、Hive、Hbase、ES、Clickhouse等大數據常用技術,熟悉數據提取Flume、Syslog等技術并有實際使用經驗;熟悉國內外大數據安全、網絡安全行業發展,具備大型數據倉庫架構設計、模型設計、存儲設計能力;對數據建模及業務抽象有深入的理解,有海量分布式數據庫系統的需求分析、架構設計經驗;具備扎實的java技術基礎,精通Spring生態體系,熟練掌握SpringBoot/SpringCloud微服務研發體系。
2.工作經驗:計算機相關專業本科及以上學歷,5年以上分布式系統、大數據系統開發工作經驗,有一定項目管理/團隊管理經驗。
3.通用能力:優秀的溝通和協作能力,能夠與團隊成員有效溝通;能提出創新的技術解決方案,推動技術進步;快速學習新技術和新工具的能力。
4.優先條件:熟悉數據分類分級、數據脫敏、數據水印等技術;研究過前沿數據安全技術,如同態加密、數據脫敏、數據鑒權等;有海量數據實踐經驗,閱讀過源碼。