崗位職責:
1. 平臺開發與部署:
? 設計、開發和維護基于Hadoop生態系統的大數據平臺(如HDFS、YARN、Hive、Spark、HBase等)。
? 開發和優化數據管道(Data Pipeline),支持數據采集、存儲、處理和分析。
? 編寫和維護自動化腳本(如Shell、Python)以簡化部署和管理流程。
2. 平臺運維與監控:
? 負責Hadoop集群的日常運維,包括安裝、配置、升級和故障排除。
? 監控集群性能,優化資源利用率,確保系統高可用性和穩定性。
? 使用監控工具(如Ganglia、Nagios、Prometheus等)實時監控集群狀態,及時發現并解決問題。
3. 性能優化:
? 分析和優化Hadoop集群的性能,解決數據傾斜、資源爭用等問題。
? 優化MapReduce、Spark等計算框架的任務執行效率。
? 調整HDFS存儲策略,優化數據讀寫性能。
4. 安全管理:
? 配置和管理Hadoop平臺的安全機制,包括Kerberos認證、權限控制(ACL)和數據加密。
? 定期進行安全審計,確保平臺符合公司安全政策和行業標準。
5. 故障排查與恢復:
? 快速定位和解決Hadoop集群中的故障,包括硬件故障、網絡問題和軟件異常。
? 制定和實施災難恢復計劃,確保數據安全
任職要求:
1. 教育背景:
? 計算機科學、信息技術、軟件工程或相關專業本科及以上學歷。
2. 工作經驗:
? 4年以上大數據平臺開發或運維經驗,熟悉Hadoop生態系統及其核心組件(如HDFS、YARN、Hive、Spark、HBase等)。
? 有大規模集群(100+節點)運維經驗者優先。
3. 技術技能:
? 熟練掌握Hadoop生態系統的部署、配置和優化。
? 熟悉至少一種編程語言(如Java、Python、Scala)。
? 熟悉Linux操作系統,具備Shell腳本編寫能力。
? 熟悉大數據處理框架(如MapReduce、Spark、Flink)。
? 熟悉數據倉庫工具(如Hive、Impala)和消息隊列(如Kafka)。
? 了解容器化技術(如Docker、Kubernetes)和云計算平臺(如AWS、Azure、阿里云)者優先。
4. 軟技能:
? 具備良好的問題分析和解決能力。
? 具備較強的溝通能力和團隊協作精神。
? 能夠在高壓環境下工作,具備快速學習和適應新技術的能力。