崗位描述:
1、負責大模型訓練框架、推理框架及Agent框架的設計與開發,優化模型并行、分布式訓練/推理流程
2、針對大模型訓練及推理過程,實現KVCache優化、動態批處理、模型量化/剪枝等技術
3、主導大模型離線部署、嵌入式部署及異構環境的適配,設計負載均衡、資源動態調度及異構編排方案
4、跟蹤業界前沿框架技術(如加速框架、輕量化推理引擎),結合業務需求引入創新方案,解決性能瓶頸
任職資格:
1. 計算機相關專業本科及以上學歷,碩士及以上或有大規模框架開發經驗者優先,2年工作經驗。
2. 熟練使用Python/C/C++/Golang/Java中的兩項,具備扎實的數據結構與算法基礎。
3. 熟悉主流AI框架(PyTorch/TensorFlow等)、大模型框架(Megatron-LM、DeepSpeed等)、推理框架(如 vLLM等)及加速工具(TensorRT等),有深度源碼閱讀和貢獻者優先。
4. 具備KVCache優化、動態批處理、模型并行/流水并行等技術實踐經驗;
5、理解大模型訓練/推理的底層技術(如Transformer架構、分布式訓練通信協議),能針對性能瓶頸設計優化方案;
6、邏輯思維清晰,具備復雜問題排查能力,能推動復雜框架從設計到落地;自驅力強,主動跟蹤前沿技術,樂于分享經驗并主導技術方案迭代。