工作內容:
1. 需求溝通和數據鏈路梳理,項目架構設計。
2. 系統數據流梳理,保信數據同步實現方案制定。
3. 數據平臺落地:資源評估+數倉搭建。
4. 客戶現場系統優化,支持項目驗收。
任職要求:
計算機或數學相關專業,本科以上學歷,學信網可查。
1、 熟悉Hadoop生態圈,HDFS分布式文件系統存儲原理,MapReduce計算流程
2、熟悉Spark任務執行流程,理解RDD屬性,SparkStreaming流式計算原理和SparkSQL
3、熟練使用Flink實時流處理技術,并能夠進行數據處理分析,實時數倉搭建
4、熟練掌握Doris,ClickHouse,Hudi,HBase等OLAP數據庫