崗位職責:
1、負責數據中臺的數據采集、數據同步 、數據建模、數據分析等工作;
2、負責制定數據中臺相關的設計方案和開發計劃,并進行后續的方案的落地與實施;
3、為客戶或項目團隊提供數據庫方面(sql優化、Spark等大數據)技術支持服務;
4、編寫需求功能詳細設計文檔,并完成數據相關的工作和任務;
職位要求:
1、熟悉主流數據庫(oracle、mysql、hive、gbase)的數據開發工作及相關工具的使用;
2、善于運用存儲過程、函數等方法批量處理數據,實現相關的業務需求;
3、熟悉Liunx/unix操作系統,并熟練編寫shell腳本;
4、熟悉編寫表、視圖、存儲過程等程序,性能問題及異常處理,保持程序的穩定性和健壯性;
5、熟悉多數據庫間的數據同步方法及相關工具的使用;
6、熟練掌握Hadoop框架及技術,如SparkCore、Hbase、Hive、HDFS、Kudu、Impala、Yarn等;
7、熟悉大數據ETL工具及技術,如Sqoop、SparkStreaming、Kafka、Flink等;
8、熟悉大數據常用開發語言,如Java、Scala、Python等;
9、對Hadoop性能環境調優有深入了解;
10、大學本科;計算機、數學或計算機相關專業學歷;
11、具有良好的溝通能力、較強的團隊協作精神和責任心、能夠承受一定壓力、有較強的自我學習能力;
12、有大型Hadoop項目開發、實施經驗者優先;有數據中臺經驗者優先;有gbase mpp數據庫使用經驗優先;
13、編程與框架掌握:
精通至少一種流式計算框架,如Apache Flink、Apache Storm或Kafka Streams等,并具備使用這些框架進行實時數據處理和分析的能力。
精通Java、Python或Scala等編程語言,并能編寫高效、可維護的實時計算程序。
14、數據處理能力:
具備對大規模、高并發的數據流進行高效處理的能力,包括數據清洗、轉換、聚合等操作。
熟悉常見的數據結構和算法,能夠針對特定業務場景選擇合適的數據處理策略。
15、系統設計與優化:
能夠根據業務需求設計合理的實時計算系統架構,包括數據流設計、組件選型、資源分配等。
了解性能調優和故障排查的技巧,能夠優化實時計算系統的性能和穩定性。
16、實時分析與建模:
具備使用流式計算進行實時數據分析和建模的能力,包括大跨度統計分析、時間序列分析、機器學習模型在線更新等。
能夠根據業務需求設計并實現實時預警、監控和決策支持等功能。
職位福利:五險一金、年底雙薪、績效獎金