1. 負責項目所需的數(shù)據(jù)接入,加工處理,數(shù)據(jù)治理;
2. 設計并實現(xiàn)大數(shù)據(jù)處理流程,提取和分析項目相關數(shù)據(jù);
3. 協(xié)助其他團隊成員進行數(shù)據(jù)處理和分析工作,提供技術支持;
4. 對大數(shù)據(jù)平臺各個使用方提供技術支持
任職資質
1、計算機、信息技術、數(shù)據(jù)科學或相關專業(yè)的本科及以上學歷,6年以上實際PB級大數(shù)據(jù)項目經(jīng)驗。
2、熟悉Apache Hive及其生態(tài)(如Hadoop、HDFS等),能夠熟練使用HiveSQL進行數(shù)據(jù)開發(fā)、hiveSQL優(yōu)化,會使用doris優(yōu)先。
3、了解大數(shù)據(jù)架構及相關技術,如Hadoop、Spark、Kafka等,對數(shù)據(jù)流和處理流程有一定的認識。
4、熟悉Azkaban等調度工具,能夠編寫ETL腳本或調度作業(yè)。
5、理解數(shù)據(jù)倉庫、數(shù)據(jù)治理的基本概念及應用,對SQL有扎實的基礎。
6、具備較強的數(shù)據(jù)分析能力和業(yè)務理解能力,能夠根據(jù)業(yè)務需求設計合理的數(shù)據(jù)模型。
7、大數(shù)據(jù)hive開發(fā)項目5年以上經(jīng)驗,有5年以上實際維度數(shù)據(jù)模型經(jīng)驗。