HPE 建议企业停止统计 Token,转而关注合并代码成本
HPE 建议企业停止统计 Token,转而关注合并代码成本。文章指出,随着 AI 智能体在编码任务中消耗大量 Token,按量计费可能导致高价值工作流成本激增。HPE 提出通过混合部署模式,将常规任务路由至本地开源模型,仅将复杂推理任务交由前沿模型处理,从而在保障代码安全的同时降低整体成本。
HPE 建议企业停止统计 Token,转而关注合并代码成本。文章指出,随着 AI 智能体在编码任务中消耗大量 Token,按量计费可能导致高价值工作流成本激增。HPE 提出通过混合部署模式,将常规任务路由至本地开源模型,仅将复杂推理任务交由前沿模型处理,从而在保障代码安全的同时降低整体成本。
数据中心激增带来的能源需求正加速美国电网现代化进程。Veir 推出的超导电缆传输距离是传统电缆的 5 倍,且所需空间减少 20 倍,该公司近期完成了 1.1 亿美元 C 轮融资。
企业 AI 竞争焦点正从模型能力转向围绕模型构建的服务框架(serving harness),以确认可靠、经济且大规模交付智能。架构设计应基于工作负载约束而非单一模型,通过优化内存管理、调度及 GPU 利用率解决生产瓶颈。这种适应性架构能降低模型迭代成本,使技术升级成为配置决策而非平台重建。
Modal CEO Erik Bernhardsson 在访谈中解释了 AI 算力需求与固定 GPU 合同之间的错配,指出公司通过聚合数千客户实现弹性供给。Modal 已完成 7.5 亿美元 D 轮融资,估值 160 亿美元,年化收入突破 10 亿美元,沙箱业务贡献约三分之一收入。
AI 推理产生的后端数据(如日志、缓存)远超用户可见输出,导致存储成本常被低估。WD 测量显示 8 秒视频生成约 500MB 后端数据,是 3.97MB 输出文件的 130 倍。IDC 调研发现 95% 的企业因生成式 AI 数据量增加,且 96% 预计需更快的归档检索以支持 RAG。
企业 AI 正从孤立实验转变为基础设施,核心指标从单 Token 成本转向“有效成果成本”。文章指出,企业需在定制栈、按需消费和集成私有平台间权衡,其中私有平台通过调度、KV-cache 管理等提升利用率。HPE Private Cloud AI 作为生产级基础,通过高利用率降低有效成本,但实际效果取决于工作负载。
Dyna Robotics 联合创始人 Jason Ma 在 Latent Space 访谈中介绍了 Dyna-2 世界动作模型,该模型基于超过 100 万小时的人类视频预训练,通过预测未来视频来指导机器人动作。Dyna 已部署半人形机器人在 Din Tai Fung 等真实场景折叠餐巾,并探讨了机器人数据瓶颈、硬件限制及智能体框架在长时程任务中的作用。