崗位職責(zé):
1. 負(fù)責(zé)系統(tǒng)中大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理工具、流處理平臺(tái)等建設(shè),功能規(guī)劃,平臺(tái)演進(jìn),維護(hù)調(diào)優(yōu)等;
2.結(jié)合AMI的業(yè)務(wù)特征,負(fù)責(zé)系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)規(guī)劃、數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、數(shù)倉(cāng)管理等;
3.負(fù)責(zé)系統(tǒng)中大數(shù)據(jù)處理的程序開(kāi)發(fā);
4.對(duì)部門(mén)人員進(jìn)行大數(shù)據(jù)平臺(tái),處理工具及開(kāi)發(fā)培訓(xùn);
5.負(fù)責(zé)大數(shù)據(jù)處理技術(shù)研究及新技術(shù)引進(jìn),參與超大規(guī)模實(shí)時(shí)/離線數(shù)據(jù)計(jì)算框架,存儲(chǔ)、查詢(xún)、可視化解決方案的設(shè)計(jì)、研發(fā);
6.制定大數(shù)據(jù)程序開(kāi)發(fā)規(guī)范。
任職要求:
1.本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程等相關(guān)專(zhuān)業(yè)。同時(shí),需要具備3-5年或以上的相關(guān)工作經(jīng)驗(yàn),最好有同行業(yè)經(jīng)驗(yàn);
2.負(fù)責(zé)處理和分析大量數(shù)據(jù),包括數(shù)據(jù)采集、清洗、轉(zhuǎn)換和存儲(chǔ)。熟練各種工具和技術(shù),如Hadoop、Spark、Kafka等,來(lái)處理和存儲(chǔ)PB級(jí)的數(shù)據(jù)?;
3.參與大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)工作,包括數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)和處理性能調(diào)優(yōu)等。精通數(shù)據(jù)建模和數(shù)據(jù)處理流程,能夠設(shè)計(jì)高效的數(shù)據(jù)架構(gòu),并確保其穩(wěn)定性和擴(kuò)展性?;
4.熟練掌握J(rèn)ava、Python、Scala等編程語(yǔ)言,具備基于這些語(yǔ)言的數(shù)據(jù)處理和開(kāi)發(fā)能力?。