崗位職責:
1、大模型優化算法的研究與設計:負責研究大模型領域(語言模型、多模態模型等)的優化算法、網絡結構優化及改進設計、大模型蒸餾訓練,以及預訓練研發任務等;
2、垂類領域大模型研發與調優:負責針對專業領域場景和數據,利用增量訓練、微調訓練、知識增強、超參數調整等技術訓練垂類領域大模型,提升模型性能,并維護線上模型的穩定性,實現AI項目落地與交付;
3、大模型國產化性能優化與適配:適配昇騰等國產硬件平臺,優化模型算子性能及分布式訓練策;
4、技術探索與創新:跟蹤大預言模型、多模態大模型的預訓練、大模型方向的最新成果,探索其在業務中的應用價值。
任職資格:
1、碩士研究生及以上學歷,計算機及相關專業;
2、具備五年以上相關工作經驗。參與過大模型相關開發工作,包括但不限于:數據清洗、開源模型實際微調、訓練框架開發、評測、推理部署等;
3、精通Python編程語言,熟悉Java等其他編程語言,熟悉常用框架如PyTorch,TensorFlow等深度學習框架;
4、熟悉大語言模型的增量預訓練、指令微調、偏好微調等多種訓練方法,有全場景訓練實戰落地經驗;
5、熟悉全參數、LoRA、QLoRA等微調方法,有微調場景落地經驗;
6、熟悉DeepSpeed、flash-attn、vllm等大模型訓練及推理加速方法;
7、熟悉數據收集、清洗和預處理的流程。有訓練數據構造落地經驗。