Latent Space· Latent Space·· 20 天前AI 评分90
DeepSeek 开源 DeepInfer 推理引擎，披露单集群日处理 155 万亿 token 及高利润率数据
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了生产级推理引擎 DeepInfer，披露单集群日处理 155 万亿 token、96% 输入缓存命中率及每加速器小时 38 美元营收。该引擎基于 vLLM 定制，支持 NVIDIA 和昇腾平台，但 KV 缓存管理与负载均衡等核心组件尚未完全开放。
来源：Latent Space · latent.space