崗位優勢:
薪資可談,晉升空間大,各項福利待遇好,公司氛圍好,有發展前景
崗位職責
1、完成公司軟件產品的開發、調試、單元測試、維護等工作。
2、研究并優化爬蟲調度策略,提高抓取效率、成功率及內容覆蓋率
3、處理反爬機制、優化UA、IP池、動態調度等策略
4、監控和優化爬蟲集群性能,優化異常檢測,爬取策略調優等機制
5、協助技術文檔、系統說明書、用戶手冊的編輯工作。
任職要求
1.要求本科及以上學歷,計算機或相關專業,熟悉python。
2. 2年以上的爬蟲經驗,能夠獨立完成開發任務。
3.編程語言?:精通Python,熟悉Node.js等編程語言。
4.?爬蟲框架?:熟悉掌握Scrapy、PySpider等爬蟲框架。
5.?網絡協議?:熟悉HTTP、HTTPS原理,理解Cookie機制,能夠進行請求抓包。
6.?數據庫?:熟悉SQL數據庫(如MySQL、PostgreSQL)和NoSQL數據庫(如Redis、MongoDB)。
7.?加分技能:熟悉反爬技術優先:驗證碼掌握、IP代理、JS逆向等對抗策略
8.加分技能:熟練掌握Scrapy、PySpider等爬蟲框架,了按照業務需求制定爬蟲框架