Thinking Machines 发布 Inkling 2 Small:68 小时预训练 594B 多模态 MoE 模型
Thinking Machines 发布 Inkling 2 Small,这是一款 594B 总参数、17B 激活参数的多模态 MoE 模型,在 GB300 集群上仅用 68 小时完成 8.4T tokens 的原生 NVFP4 预训练。
推荐理由:原文梳理了 Inkling 2 Small 的训练效率、基准表现及对齐过程,为评估西方开源模型竞争力提供了具体参照。
技术方向
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
33 条精选近 30 天 25 条共收录 94 条
Thinking Machines 发布 Inkling 2 Small,这是一款 594B 总参数、17B 激活参数的多模态 MoE 模型,在 GB300 集群上仅用 68 小时完成 8.4T tokens 的原生 NVFP4 预训练。
推荐理由:原文梳理了 Inkling 2 Small 的训练效率、基准表现及对齐过程,为评估西方开源模型竞争力提供了具体参照。
The Decoder 发布 Frontier Radar #5,分析了在 GPT-6 Astra 发布后,Ilya Sutskever、Yann LeCun 等顶尖人才离开大厂创立新实验室的现象。文章将 27 家新实验室分为六类,分别押注持续学习、非语言模态、私有数据、计算效率、自动化科研及垂直应用,并指出这些实验室正通过巨额融资填补大厂未覆盖的研究空白。
推荐理由:文章梳理了27家新实验室的技术押注与融资现状,为理解大模型之后的研究分化提供了具体参照。
Olam Labs 在 Minecraft 和 Mindustry 中测试了 GPT-6.1 Sol 与 Claude Opus 5.5 的多智能体行为。在 50 个 GPT 智能体的 Minecraft 生存实验中,首夜 22 人死亡导致群体陷入极度风险规避,建立了包括“化肥官员”和严格物品交接协议在内的官僚体系。
推荐理由:通过 Minecraft 和 Mindustry 实验对比 GPT 与 Claude 多智能体协作,揭示了竞争模式下的策略差异及合作模式下的官僚化风险。
AI Engineer 发布年度旗舰会议 AIE CODE 议程,聚焦无低质代码扩展、System One 模型及高难度软件重写三大主题。会议采用单轨制并邀请全球前 1000 名智能体工程师参加,旨在复盘 2026 年代码领域趋势并预览 2027 年方向。
推荐理由:原文梳理了年度旗舰会议的主题与议程,读者可据此了解智能体编码领域的年度趋势与关键人物。
Epoch AI 研究人员发现,开源模型 GLM 5.3 能够利用安全补丁发布与用户更新之间的时间差,在 48 小时内自主构建针对 Firefox 的完整漏洞利用链,单次攻击成本约 1000 美元。该模型在无人工干预的情况下识别了被伪装为常规改进的安全修复,并独立重新发现了一个未知漏洞以绕过浏览器沙箱保护。研究人员已将发现披露给 Mozilla,后者在 Firefox 159.0 中修复了该漏洞。
推荐理由:研究展示了开源模型利用补丁时间差自主构建浏览器漏洞利用链的能力,揭示了安全防御面临的新结构性风险。
Mistral 在 Hugging Face 开放了 Mistral Large 4(昵称 Le Chonk)的权重,该模型拥有约 1 万亿参数,其中每步激活 520 亿参数。
推荐理由:独立测试显示该模型在编码速度和成本上具备优势,但在综合排名上仍落后于中国头部开源模型。
Nvidia 发布了开源语音识别模型 Nemotron 3.5 Transcribe,该模型在单张 GPU 上即可运行,支持 40 种语言转录、31 种语言与英语互译及 13 种语言说话人识别。
推荐理由:该模型在单卡上实现了转录、翻译与说话人识别的多任务集成,并提供了大规模开源数据集供垂直领域微调。
NVIDIA 宣布 RTX Spark 笔记本新增 Nemotron 3.5 Transcribe 开源语音模型及 Agent 资源管理功能。Nemotron 3.5 Transcribe 支持 40 种语言转录与翻译,在 Hugging Face Open ASR 榜单排名第一。NVIDIA App 新增资源管理功能,允许用户在前景应用与后台 Agent 之间分配 GPU 资源。
推荐理由:原文展示了端侧 AI 在资源调度与多模态模型上的具体进展,读者可据此评估本地部署智能体的可行性。
C-BRAIN 与 NVIDIA 合作开发 AI 工具以加速阿尔茨海默病研究,利用联邦学习处理各机构私有数据。已发布的 OpenScientist 和 InsightEngine 工具将原本需数周的分析缩短至数分钟,单次成本低于 10 美元,预计每年可释放超百万小时的研究产能。
推荐理由:C-BRAIN 与 NVIDIA 合作构建的 AI 研究工具将分析周期从数周缩短至数小时,展示了联邦学习在保护隐私前提下加速神经退行性疾病研究的可行性。
Amazon SageMaker AI 发布训练会话 API,允许用户在本地 Python 进程中编写训练循环,由服务托管 GPU 执行采样、梯度更新和检查点操作。该功能支持 SFT、RL 等自定义算法,按 token 计费,并配套发布包含 SFT 和 RL 配方的训练会话 cookbook。
推荐理由:该功能将抽象边界下沉至训练操作层,允许用户在本地编写训练循环,由服务托管 GPU 基础设施,从而在算法自由度与运维成本间取得平衡。
NVIDIA 发布基于欧洲气象数据训练的 StormScope EU 模型,支持 10 分钟间隔的云况预测。AXA、Vaisala 等机构正利用 Earth-2 开源框架,将气象 AI 应用于保险风险评估、空气质量建模及太阳能发电预测等实际场景。
推荐理由:文章展示了欧洲机构如何利用开源模型结合本地数据,解决从保险风控到空气质量监测的具体业务问题。
NVIDIA 扩展了 Cosmos 平台,新增 Cosmos Data Factory 蓝图、训练工具和 Cosmos 3 Nano 模型变体,以支持世界模型的快速构建。
推荐理由:NVIDIA 扩展了 Cosmos 平台,提供数据工厂蓝图和模型训练工具,帮助开发者加速物理 AI 系统的开发。
AWS 解决方案架构团队发布开源多智能体系统 Deep Insight,旨在解决生产环境中的执行流控制、模型选择、安全部署、代码隔离及运维监控五大挑战。该系统采用 Strands Agents SDK 的 Graph 模式定义智能体协作流程,并结合 Amazon Bedrock AgentCore 与 AWS Fargate 实现私有 VPC 内的会话隔离与沙箱代码执行。
推荐理由:原文展示了多智能体系统从开发到生产落地的完整架构,读者可参考其分层设计与安全隔离方案。
Recursive 发布免费开源编码模型 Flint,该模型由 AI 系统 Eureka Machine 辅助构建,可在笔记本本地运行。Flint 采用 MoE 架构,激活参数 25 亿,在 SWE-Bench Verified 等基准测试中表现优于同级别模型,并已在 Hugging Face 开放下载。
推荐理由:文章展示了 Recursive 利用 AI 辅助研发流程在四个月内构建出可本地运行的编码模型,为端侧 AI 开发提供了具体案例。
NVIDIA 欧洲云合作伙伴正在扩展区域算力,支持模型训练、推理及智能体应用,并建立智能体访问边界。Nscale 使用 NVIDIA DSX MaxLPS 在相同功耗预算下实现了 37% 的 GPU 数量增加和近 50% 的推理吞吐量提升。
推荐理由:原文展示了欧洲云厂商在算力、开放模型和智能体安全边界上的具体进展,读者可据此了解区域 AI 基础设施的落地形态。
NVIDIA 在 GTC Berlin 展示本地 AI 硬件与模型生态更新,RTX Spark 支持个人智能体,DGX Spark 64GB 系统于 10 月 23 日开售。DGX Station 新增 Windows 版本计划,支持企业级工作负载与机器人参考工作流。Recursive Flint 本地编码模型开放权重,支持 RTX Spark 和 DGX Spark 系统。
推荐理由:原文梳理了本地 AI 硬件与模型生态的更新,读者可据此了解个人智能体在端侧运行的最新进展。
DeepSeek 以 Apache License 2.0 开源了其内部推理框架 DeepInfer,该框架基于 vLLM 并优化了计算内核与多芯片分布式处理,用于支撑 V4.1-Flash 模型的大规模快速响应。同时发布的 deepseek-recipe 工具可复现官方 API 的 token 处理逻辑,确保自托管环境与官方服务行为一致,旨在帮助社区降低算力成本并减少能源消耗。
推荐理由:DeepInfer 基于 vLLM 优化了多芯片分布式处理,为自托管部署提供了降低推理成本的具体路径。
AWS 团队在 Amazon SageMaker HyperPod 上通过 SFT 和 GRPO 微调 GPT-OSS-20B,将多语言推理正确率从 22% 提升至 100%。SFT 解决了模型默认用英语推理的问题,GRPO 进一步将答案语言正确率从 62% 提升至 70%。
推荐理由:文章给出了 SFT 与 GRPO 在能力缺口下的分工结论,读者可据此判断何时使用强化学习微调。
AWS 在 vLLM 中引入双向 KV 缓存传输机制,允许 Decode 节点将已计算的 KV 块返回给 Prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 实例的 1P1D 部署中,该功能使 Qwen3-32B 的 TTFT 降低最高 1.6 倍,zai-org/GLM-5-FP8 降低最高 3.3 倍。
推荐理由:文章展示了双向 KV 传输在 vLLM 中的实现机制,并给出了多轮智能体负载下 TTFT 降低的具体基准数据。
vLLM 新增基于 Push 的 NIXL 连接器,通过将 KV 缓存传输协调移出关键路径,显著降低分离式推理的首 token 延迟(TTFT)和每 token 输出时间(TPOT)。
推荐理由:原文展示了 push 模式如何通过重叠计算与传输协调降低延迟,为高并发推理部署提供了具体的性能优化路径。