職位描述
職位描述
1. 負責 SoC AI 推理引擎軟件的需求分析、架構設計、功能開發等工作。
2. 負責 SoC 上 AI 模型的適配,推理工作流原型開發及性能優化等工作。
3. 負責 Soc 上LLM模型的端到端部署,包括但不限于推理引擎的開發、模型優化和壓縮、模型部署的端到端流程設計等。
職位要求
1.熟悉C/C++,熟悉算法與數據結構,熟悉Python;
2.具有深度學習推理加速和優化的經驗,熟悉常見的加速技術,如剪枝、量化、分布式推理等,并能夠根據不同場景和硬件平臺進行針對性的優化。
3. 熟悉常見的模型量化技術,并能夠進行模型的量化優化。
4. 熟悉mindspore/tensorflow/pytorch訓練框架,有mindspore-lite/TensorRT/OnnxRuntime/TFServing等深度學習推理框架的實際使用經驗;
5. 熟悉LLM相關的算法技術以及推理加速方法。
6. 熟悉NPU/GPU/CPU異構加速方法
7. 具備較強的團隊合作和溝通能力,能夠與團隊成員、業務部門緊密協作,完成項目交付和技術創新。