DeepSeek 开源 DeepInfer 推理框架
热点事件历史事件
DeepSeek 开源 DeepInfer 推理框架
1 篇报道1 个报道来源20 天前更新
先了解这件事
AI 综述
DeepSeek 开源了生产级推理引擎 DeepInfer 及 deepseek-recipe 组件。该引擎基于 vLLM 定制，支持 NVIDIA 和昇腾平台，但 KV 缓存管理与负载均衡等核心组件尚未完全开放。 官方披露数据显示，单集群日处理量达 155 万亿 token，输入缓存命中率为 96%，每加速器小时营收为 38 美元。
AI 根据报道生成 · 19 天前更新
最新进展10月21日 14:54
DeepSeek 开源 DeepInfer 推理引擎，披露单集群日处理 155 万亿 token 及高利润率数据报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- Latent SpaceDeepSeek 开源 DeepInfer 推理引擎，披露单集群日处理 155 万亿 token 及高利润率数据
DeepSeek 开源了生产级推理引擎 DeepInfer，披露单集群日处理 155 万亿 token、96% 输入缓存命中率及每加速器小时 38 美元营收。该引擎基于 vLLM 定制，支持 NVIDIA 和昇腾平台，但 KV 缓存管理与负载均衡等核心组件尚未完全开放。