崗位職責:
1、全棧工程師,能獨立完成系統架構設計、功能模塊的前、后端全棧開發;
2、負責平臺的研發工作,需求分析、系統設計及開發編碼,把控各類子技術組件的設計合理性、穩定和易用性,把控代碼質量;
3、負責項目實施,保障項目進度和質量;
4、 配合技術規劃落地工作,挖掘技術痛點,制定有效的技術解決方案并落地;
5、配合新技術的研究、設計和關鍵技術的驗證選型等;
6、負責開發并維護現有爬蟲代碼;
7、負責對多源數據采集;
8、負責爬蟲核心算法的策略優化研究,提升爬蟲抓取效率和質量;
9、利用主流的大數據相關技術,對抓取后的數據進行清洗、存儲等;
經驗要求:
1、大學本科及以上學歷,計算機軟件或相關專業優先,5年以上PHP開發經驗,熟練使用相關框架,具備多語言開發經驗者優先;
2、編程基礎扎實,對并發編程有較深理解,具備良好的代碼編寫習慣,具扎實的系統架構設計能力,具有高并發系統性能調優經驗;
3、精通springboot、mybatis、vue等框架,熟悉常用的設計模式,熟練掌握各種常用JS框架和Library,如JQuery, Bootstrap, eChart, 有實際項目開發經驗;
4、精通 HTML/CSS/JavaScript等腳本語言,熟練使用HTML5、CSS3完成web端頁面設計與開發,能夠很好的解決瀏覽器的兼容問題及跨平臺兼容問題;
5、精通MySQL、Oracle數據庫,對數據庫事務、索引等有深入理解;
6、熟練使用redis、kafka、nginx、es、nacos等組件及原理;
7、熟悉TCP/IP、HTTP、XPath、beautifulsoup4、正則表達式等相關技術;
8、熟悉分布式系統、多線程,精通scrapy、selenium框架以及原理;
9、精通爬蟲和反爬技術、精通JS逆向、APP逆向,精通http底層協議;
10、精通深度抓取、動態網頁技術抓取、瀏覽器模擬抓取、APP抓取等技術;
11、熟悉python,熟悉使用numpy、pandas,能對數據做結構化處理;
12、有技術熱情和較強的學習能力,具有良好的團隊合作能力、溝通能力、抗壓能力。