崗位優(yōu)勢:
薪資可談,晉升空間大,各項(xiàng)福利待遇好,公司氛圍好,有發(fā)展前景
崗位職責(zé)
1、完成公司軟件產(chǎn)品的開發(fā)、調(diào)試、單元測試、維護(hù)等工作。
2、研究并優(yōu)化爬蟲調(diào)度策略,提高抓取效率、成功率及內(nèi)容覆蓋率
3、處理反爬機(jī)制、優(yōu)化UA、IP池、動(dòng)態(tài)調(diào)度等策略
4、監(jiān)控和優(yōu)化爬蟲集群性能,優(yōu)化異常檢測,爬取策略調(diào)優(yōu)等機(jī)制
5、協(xié)助技術(shù)文檔、系統(tǒng)說明書、用戶手冊的編輯工作。
任職要求
1.要求本科及以上學(xué)歷,計(jì)算機(jī)或相關(guān)專業(yè),熟悉python。
2. 2年以上的爬蟲經(jīng)驗(yàn),能夠獨(dú)立完成開發(fā)任務(wù)。
3.編程語言?:精通Python,熟悉Node.js等編程語言。
4.?爬蟲框架?:熟悉掌握Scrapy、PySpider等爬蟲框架。
5.?網(wǎng)絡(luò)協(xié)議?:熟悉HTTP、HTTPS原理,理解Cookie機(jī)制,能夠進(jìn)行請求抓包。
6.?數(shù)據(jù)庫?:熟悉SQL數(shù)據(jù)庫(如MySQL、PostgreSQL)和NoSQL數(shù)據(jù)庫(如Redis、MongoDB)。
7.?加分技能:熟悉反爬技術(shù)優(yōu)先:驗(yàn)證碼掌握、IP代理、JS逆向等對抗策略
8.加分技能:熟練掌握Scrapy、PySpider等爬蟲框架,了按照業(yè)務(wù)需求制定爬蟲框架