崗位職責:
1. 根據甲方業務需求(如實時監控、離線報表、業務分析等),協助團隊完成分布式數據倉庫架構設計,覆蓋數據采集、存儲、計算、服務層等流程。確保系統在資源有限場景下的高性能與易維護性。
2、針對不同客戶需求(如高并發查詢、數據時效性要求、合規存儲等),設計可擴展的數據模型與ETL流程,優化數據分層。
3、. 實時與離線數據開發,搭建實時數據處理鏈路,支持多種等場景。
4、客戶協作與交付支持
5、快速響應客戶問題,制定數據質量監控規則(如數據一致性校驗、血緣追蹤),提升系統可靠性。
要求:
1、 技術棧精通:熟練使用大數據組件(Hadoop/Spark/Flink/Kafka等)。
2、熟悉分布式數據庫(如Doris、ClickHouse、Greenplum)的部署與優化,具備小型集群調優經驗。
3、熟練掌握數據建模工具與ETL開發工具。
4、熟練掌握至少兩種數據開發語言,如Java、SQL、Python等。
5、熟悉數據模型,數據湖,數據倉等相關的基礎知識。
6、 3年以上大數據開發經驗,主導過2個以上甲方數據倉庫項目,具備從0到1搭建經驗者優先。
7、 客戶導向思維,溝通及理解能力強。