崗位職責： 1、負責公司網絡數據爬取和三方數據分析; 2、參與公司數據倉庫的建設和數據分析平臺的建設； 3、設計公司業務執行策略和防屏蔽規則，提升數據抓取執行的效率和質量, 并對策略持續優化； 4、承擔部分數據開發的工作; 任職要求： 1、熟悉Python和常用的開源庫，熟練使用Django/Flask等至少一種主流的web開發框架； 2、熟悉Mysql，mongoDB， Redis，Clickhouse等數據庫的使用和優化； 3、熟悉HTTP協議、網頁渲染技術，能抓包分析數據; 4、熟悉爬蟲主流框架Scrapy、requests、Selenium、gocolly，webmagic等框架（深入了解其中一種）; 5、熟悉應用IP代理池、Headers認證和Cookie等; 6、有分布式爬蟲、反爬機制經驗者優先; 7、熟悉js逆向，js破解優先考慮; 8、熟練使用sql或python進行數據開發，基于數據倉庫做數據做統計分析，有BI工具使用經驗優先; 9、有參與實時監控爬蟲的進度和警報反饋系統的優先考慮; 10、有參與過相關3C商品與大型分布式爬蟲項目的優先考慮;