The Decoder· Matthias Bastian·· 20 天前精选AI 评分79
DeepSeek 开源其最快最便宜模型背后的推理引擎 DeepInfer
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 以 Apache License 2.0 开源了其内部推理框架 DeepInfer，该框架基于 vLLM 并优化了计算内核与多芯片分布式处理，用于支撑 V4.1-Flash 模型的大规模快速响应。同时发布的 deepseek-recipe 工具可复现官方 API 的 token 处理逻辑，确保自托管环境与官方服务行为一致，旨在帮助社区降低算力成本并减少能源消耗。
推荐理由
DeepInfer 基于 vLLM 优化了多芯片分布式处理，为自托管部署提供了降低推理成本的具体路径。
来源：The Decoder · the-decoder.com