崗位職責:
1.負責大數據平臺的搭建、配置、優化和維護工作,確保平臺穩定、高效運行,滿足業務需求;
2. 運用大數據技術對數據進行全流程處理,包括數據采集、存儲、分析和可視化等;
3. 負責將各個子系統集成到大數據平臺中,確保各系統模塊協同工作;
4. 跟蹤技術趨勢,評估引入新技術,優化平臺和系統性能以及功能。
任職要求:
1. 擁有本科及以上學歷,計算機科學、軟件工程、數據科學等相關專業優先;
2.掌握數據湖,數據倉庫,數據中臺,數據應用等理論知識,具備6年以上大數據相關工作經驗(數據平臺建設、數據采集、數據建模、數據處理分析、數據可視化等)
3. 熟練掌握 Hadoop、Flink、HBase、Kafka 等大數據框架。精通 Flink 的流批一體化處理,實現高效的數據實時處理;熟悉 HBase 的分布式存儲模型,進行數據的高效讀寫;掌握 Kafka 的消息隊列機制,保障數據的可靠傳輸;熟悉Java,Python者優先考慮;
4. 熟練掌握大數據環境下,數據庫性能優化方法,如數據庫分庫、分表、分層索引等,監控和優化數據庫的性能;
5.具有高度的責任感,優秀的溝通能力和領導能力,有創新意識;具有大規模數據平臺建設和運維的實際經驗,對數據質量管理、數據生命周期管理、數據API發布和數據應用管理等數據治理服務有深刻理解;有從0-1大數據平臺架構搭建能力者優先。