工作职责：

1、主导大模型在线推理系统的性能攻坚，构建多节点多GPU的分布式推理架构，实现智能请求调度算法与异构硬件的极致性能调优；
2、研究低bit量化、稀疏化attention等解码加速技术，在保障精度前提下显著降低计算资源消耗；
3、设计高并发场景下的负载均衡方案，构建支持动态扩展的弹性计算架构，优化推理引擎运行时环境，实现毫秒级延迟与高QPS吞吐能力。

任职资格：

1、精通C/C++、Python等至少一门编程语言，以及Linux下的系统开发经验
2、熟悉常用机器学习算法，对文本/多模态大模型相关领域模型，对llama、deepseek、qwen等模型有深刻的理解，熟悉TF/Pytorch等深度学习框架，有相关模型训练和模型效果优化者优先
3、熟悉大模型MegatronLM/Deepspeed分布式训练框架，深入了解模型量化、蒸馏、剪枝等模型优化原理和策略，有文本、语音、以及多模态模型相关训练、效果调优经验优先
4、熟练使用包括vllm/sglang/lmdeploy等一种以上模型推理服务框架，有代码分析及性能优化经验优先。
5、有技术敏锐度，善于攻坚，抗压能力比较强，良好的团队合作精神和意识。