生態業務，偶爾需要出差，base 武漢或者深圳 一、技術技能 1.大數據技術棧 Hadoop生態系統 ： 熟悉HDFS、MapReduce、YARN的基本原理與操作 掌握Hive、Spark等數據處理工具 分布式存儲系統 ： 了解HBase、MongoDB等NoSQL數據庫，熟悉對象存儲系統如OBS、OceanStore，數據倉庫與ETL工具 ： 熟悉DolphinScheduler調度工具。 2.數據遷移工具與技術 DistCp ： 熟悉Hadoop DistCp工具的使用，能夠編寫和優化數據遷移腳本 數據同步工具 ： 掌握Apache Sqoop、Flume等數據同步工具 3.API與集成 ： 熟悉RESTful API、SOAP等接口技術，用于系統間數據傳輸 掌握消息隊列系統如Kafka、RabbitMQ在數據遷移中的應用 4.編程與腳本 編程語言 ： 熟練掌握Java、Python、Scala等大數據常用編程語言 腳本編寫 ： 熟悉Shell、Python腳本編寫，用于自動化遷移任務 版本控制 ： 熟悉Git或其他版本控制系統，管理遷移腳本和配置 5.數據庫管理 關系型數據庫 ： 熟悉MySQL、PostgreSQL、Oracle、SQL Server等RDBMS的管理與優化 NoSQL數據庫 ： 熟悉MongoDB、HANA、Redis等NoSQL數據庫的管理與優化 數據遷移策略 ： 掌握數據抽取、轉換、加載（ETL）流程 熟悉數據清洗、去重、驗證等遷移后處理技術 6. 數據質量與驗證 數據校驗工具 ： 熟悉數據校驗和測試工具，掌握數據完整性、一致性、準確性的驗證方法 熟悉數據質量監控與報告工具 7. 系統與網絡 操作系統 ： 熟悉Linux/Unix系統管理，掌握Shell命令與腳本 網絡基礎 ： 理解網絡協議、帶寬管理、網絡安全等基礎知識 熟悉數據傳輸中的網絡優化技術 二、項目經驗 1. 大數據遷移項目 成功案例 ： 至少2-3個完整的大數據遷移項目經驗，涵蓋不同規模和復雜度 遷移類型 ： 經歷過等多種類型 數據量處理 ： 處理過PB級別的數據遷移任務，具備處理大規模數據的能力 2. 問題解決 故障排除 ： 具備快速定位和解決遷移過程中出現的各類技術問題 優化經驗 ： 有遷移過程中性能優化、資源調優的實際經驗 三、其他能力 1. 數據安全與合規 安全措施 ： 熟悉數據加密、訪問控制、身份驗證等安全措施 2. 監控與日志管理 監控工具 ： 熟悉Prometheus、Grafana、Nagios等監控工具的使用 日志分析 ： 掌握ELK Stack（Elasticsearch, Logstash, Kibana）或其他日志管理工具 四、軟技能 1. 溝通能力 團隊溝通 ： 能夠清晰地與技術團隊和非技術人員溝通遷移計劃與進展 文檔編寫 ： 撰寫詳細的技術文檔、遷移報告和用戶手冊 2. 學習能力 技術更新 ： 持續學習新技術和工具，保持對大數據和云計算領域的最新了解 適應變化 ： 能夠快速適應項目需求變化和技術環境的變化 3. 問題解決與決策 分析能力 ： 具備強大的邏輯思維和分析能力，能夠獨立解決復雜問題 決策能力 ： 在關鍵時刻做出合理的技術和項目管理決策 4. 團隊合作 協作精神 ： 能夠在多學科團隊中高效合作，共同完成項目目標 領導能力 ： 具備一定的團隊領導和管理能力，能夠指導和培訓初級成員