崗位職責:
1、針對邊緣嵌入式設備,對分類、監測、分割、多模態、LLM等模型進行量化、剪枝和稀疏化處理,并負責將優化后的模型高效部署到邊緣設備上,確保模型在資源受限的硬件環境中實現快速推理和低功耗運行;
2、對部署后的模型進行性能評估和優化,包括但不限于計算精度、吞吐率和延遲等方面的調優,確保在邊緣設備上達到最優的性能表現;
3、撰寫部署步驟、測試計劃、性能分析報告等技術文檔,為邊緣設備的模型部署提供標準化流程和參考。
任職資格:
1、熟練掌握python、C++編程語言,具備良好的代碼實現能力;
2、熟悉主流推理框架以及模型推理工具;
3、具備模型量化、剪枝和壓縮的實際操作經驗,能夠針對邊緣設備進行模型優化;
4、熟悉邊緣設備部署流程(RKNN、昇騰系列芯片等),包括但不限于模型轉換、推理加速和硬件適配。