崗位職責： 1.負責使用 Python 開發高效、穩定的網絡爬蟲程序，采集公開或授權的網絡數據（如電商、社交媒體、新聞、金融數據等）； 2.處理反爬機制（如驗證碼、IP封禁、動態渲染等），優化爬蟲策略，確保數據獲取的穩定性和效率； 3.對采集的數據進行清洗、去重、結構化存儲（如MySQL、MongoDB、CSV等）； 4.構建自動化數據采集與監控系統，確保數據更新的及時性； 5.配合數據分析師或業務團隊，提供高質量的數據支持； 6.編寫技術文檔，維護爬蟲代碼，優化數據采集流程。 技能要求： 1.熟練掌握 Python，熟悉 Requests、Scrapy、BeautifulSoup、Selenium 等爬蟲工具； 2.熟悉 HTML/CSS/JavaScript，能解析動態網頁（如Ajax、SPA等）； 3.掌握 XPath、正則表達式（Regex） 等數據提取技術； 4.熟悉數據庫（MySQL/MongoDB/Redis），能設計合理的數據存儲方案； 5.了解 HTTP/HTTPS 協議，熟悉 Headers、Cookies、Session 等網絡請求機制； 6.具備反爬應對經驗（如代理IP池、User-Agent輪換、請求限速等）。