跳到正文
  1. AWS Machine Learning Blog72

    SageMaker Inference 支持 Multi-Instance GPU 以最大化模型端点 GPU 利用率

    Amazon SageMaker Inference 新增 GPU 分区功能,利用 NVIDIA MIG 将物理 GPU 划分为独立分区,支持在单 GPU 上部署多个隔离模型。测试显示,H100 的 mig-3g.40gb 分区在吞吐和延迟上优于整卡 A100-40GB,且在长上下文高并发场景下成本降低 18%–34%。

    推荐理由:SageMaker Inference 引入 MIG 分区,允许在单 GPU 上部署多个隔离模型,并提供了 H100 分区与 A100 整卡的性能与成本对比数据。

  1. OpenAI News82

    OpenAI 与学术社区合作构建科学理解

    OpenAI 分享了模型在 Kakeya 猜想、指数时间假设和量子色动力学上的结果,并说明了研究者如何验证和基于这些结果继续工作。

    推荐理由:OpenAI 展示了模型在数学与物理猜想上的具体结果,并说明了研究者如何验证和基于这些结果继续工作。

  1. Microsoft Research85

    Microsoft Research 证明 31 年前提出的 KLS 猜想

    Microsoft Research 研究人员与合著者共同证明了困扰数学界 31 年的 KLS 猜想,确立了高维几何中普适的几何原则。该成果通过人类主导的 AI 智能体研究流程实现,AI 系统探索了超过 100 种候选方法,研究人员负责评估、剪枝和重定向搜索。独立研究者已验证该研究,并发布了基于 Lean 4 的形式化验证,确认了结果的可靠性。

    推荐理由:展示了人类主导 AI 探索数学路径并解决高维几何核心难题的过程,为 AI 辅助科研提供了具体范式。

  1. AWS Machine Learning Blog70

    i14 在 AWS Trainium2 上训练和部署 Laplace 3B 线性注意力模型

    i14 利用 TorchNeuron Native 在 AWS Trainium2 上实现了 Laplace 3B 线性注意力模型的训练与推理。该模型将推理状态固定为每序列 29.5 MB,在单台 trn2.48xlarge 实例上实现了约 120,000 tokens/s 的训练吞吐和 11,544 output tokens/s 的推理吞吐。

    推荐理由:展示了线性注意力模型在 AWS Trainium2 上的训练与推理工程细节,为长上下文场景提供了可复用的部署参考。

  2. AWS Machine Learning Blog67

    在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理

    AWS 团队在 Amazon SageMaker HyperPod 上通过 SFT 和 GRPO 微调 GPT-OSS-20B,将多语言推理正确率从 22% 提升至 100%。SFT 解决了模型默认用英语推理的问题,GRPO 进一步将答案语言正确率从 62% 提升至 70%。

    推荐理由:文章给出了 SFT 与 GRPO 在能力缺口下的分工结论,读者可据此判断何时使用强化学习微调。

  1. AWS Machine Learning Blog78

    在 Amazon Bedrock 上使用 Grok 4.7 构建长时程智能体

    AWS 发布教程,指导如何在 Amazon Bedrock 上构建基于 Grok 4.7 的工具调用智能体,并评估不同推理强度(reasoning effort)对长时程任务的影响。在三个需要搜索而非查表的合成任务中,智能体在 72 次运行中答对 67 次,其中 xhigh 强度下 18 次全部正确,而 low 强度下答对 15 次且输出 token 仅为 xhigh 的约八分之一。

    推荐理由:原文给出了在 Amazon Bedrock 上构建 Grok 4.7 智能体的完整流程,并展示了不同推理强度下的准确率与 token 消耗对比。

  1. Google DeepMind92

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,该模型通过 Fairwind 计划向受信任的网络安全防御者开放,旨在处理复杂的软件工程、企业知识工作及网络安全防御任务。

    推荐理由:原文给出了 Gemini 4 Argon 在长程推理、企业工作流及网络安全防御上的具体基准表现,读者可据此评估其前沿能力边界。

  1. Berkeley AI Research67

    自适应并行推理:高效推理扩展的下一个范式

    Berkeley AI Research 发布关于自适应并行推理(APR)的研究综述,探讨模型如何自主决定任务分解、并行线程数量及协调方式。文章对比了 Multiverse 和 ThreadWeaver 等方案在 KV cache 管理与推理引擎修改上的差异,并分析了通过强化学习训练模型掌握并行控制流的奖励机制设计,指出 APR 在降低延迟与提升准确率方面的潜力及当前存在的稳定性挑战。

    推荐理由:文章梳理了自适应并行推理范式,对比了不同推理引擎实现与训练奖励机制,为优化推理效率提供了技术参考。

已经到底了