崗位職責:
1、負責環保大數據治理平臺的安裝、部署、運維工作,保證平臺能夠穩定的運行;
2、負責環保大數據接入、清洗、轉換、建模與分析等工作;
3、構建元數據管理、數據質量管理、數據目錄管理等大數據治理系統,并對數據治理開源組件進行二次開發;
4、構建數據湖、數據倉庫、數據集市體系,建立數據分析模型,開發數據服務;
5、構建數據接入體系,將各種數據源的數據導入到大數據治理平臺。
6、兼職時間2-3個月。
任職要求:
1、計算機、數學相關專業大專以上學歷,1年以上基于大數據平臺的開發工作經驗;
2、熟練掌握python,Java,scala等編程語言,有豐富的大數據應用開發經驗;
3、具備hadoop/hive/hbase/spark/flink/kafka/ambari/griffin/atlas等大數據組件應用和二次開發經驗;
4、對數據湖、數據倉庫、數據集市建設、數據治理有理解。