崗位職責 - 負責設計和開發分布式網絡爬蟲系統，參與公開數據數據爬取相關工具平臺的架構設計等工作； - 建立自動化數據采集、清洗和存儲管道，滿足業務的數據質量要求； - 監控并維護爬蟲系統，及時處理異常和故障，持續優化系統性能和代碼迭代； - 與產品團隊和大數據團隊緊密合作，確保數據的準確性和及時性。