崗位描述:
1、構(gòu)建基于網(wǎng)絡(luò)信息安全的大數(shù)據(jù)平臺(tái),設(shè)計(jì)并優(yōu)化大數(shù)據(jù)基礎(chǔ)平臺(tái)。支持?jǐn)?shù)據(jù)采集、存儲(chǔ)計(jì)算、分析、監(jiān)控和可視化全過程;
2、解決數(shù)據(jù)規(guī)模增長(zhǎng)帶來的技術(shù)、異地存儲(chǔ)檢索等業(yè)務(wù)問題;支撐上層應(yīng)用對(duì)底層平臺(tái)數(shù)據(jù)采集、存儲(chǔ)/計(jì)算、調(diào)度、數(shù)據(jù)安全等能力的訴求,保障應(yīng)用的高效穩(wěn)定運(yùn)行;
3、搭建基于Flink/Hadoop/Hive/Spark/Storm/Kafka 等的大數(shù)據(jù)平臺(tái),并負(fù)責(zé)集群日常維護(hù)管理,提供穩(wěn)定的平臺(tái)服務(wù);
4、負(fù)責(zé)對(duì)Fink/Hadoop/Spark開發(fā)、使用中的技術(shù)問題提供支持;
5、參與項(xiàng)目的需求分析和設(shè)計(jì)工作,特別是數(shù)據(jù)分析和呈現(xiàn)部分,并完成相關(guān)技術(shù)文檔的編寫;
6、可以解決工作中的技術(shù)難題,并據(jù)業(yè)務(wù)需求提供方案設(shè)計(jì)支持;平臺(tái)組件性能調(diào)優(yōu)和資源調(diào)度優(yōu)化。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)、軟件工程相關(guān)專業(yè),5年以上開發(fā)經(jīng)驗(yàn),其中3年以上大數(shù)據(jù)從業(yè)經(jīng)驗(yàn);
2、掌握常用的Java開發(fā)相關(guān)工具,如Idea,Maven,Git等,具備一定的Flink開發(fā)能力,能夠參與實(shí)時(shí)數(shù)倉(cāng)設(shè)計(jì)與開發(fā);
3、精通Scala語言,熟悉Hadoop/Hive/Spark/Storm/Flink/Kafka/ElasticSearch等大數(shù)據(jù)相關(guān)技術(shù),了解集群的部署升級(jí)、擴(kuò)容縮容、性能和管理優(yōu)化、問題排查等;
4、熟練掌握Python編程語言,及Python相關(guān)的WEB開發(fā)框架(例如Flask、Django);
5、linux操作系統(tǒng)操作熟練,具備進(jìn)行復(fù)雜腳本(Shell/Python等)編程開發(fā)能力;管理及優(yōu)化,以及排查及解決操作系統(tǒng)層常見的問題;
6、精通SQL,熟悉Mysql/Oracle處理機(jī)制及應(yīng)用場(chǎng)景;熟悉NOSQL,如Redis、Hbase、MongoDB等;
7、有Druid、Clickhouse 或Kylin使用及性能優(yōu)化經(jīng)驗(yàn)者優(yōu)先;
8、了解常見的全文搜索引擎,Elasticsearch、Apache Solr、RediSearch等;
9、熟悉大數(shù)據(jù)領(lǐng)域的解決方案,具備該領(lǐng)域全面的技術(shù)積累,思維清晰敏捷,邏輯分析能力強(qiáng),有獨(dú)立進(jìn)行軟件設(shè)計(jì)和解決問題的能力。