跳到正文
  1. AWS Machine Learning Blog67

    在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理

    AWS 团队在 Amazon SageMaker HyperPod 上通过 SFT 和 GRPO 微调 GPT-OSS-20B,将多语言推理正确率从 22% 提升至 100%。SFT 解决了模型默认用英语推理的问题,GRPO 进一步将答案语言正确率从 62% 提升至 70%。

    推荐理由:文章给出了 SFT 与 GRPO 在能力缺口下的分工结论,读者可据此判断何时使用强化学习微调。

  1. AWS Machine Learning Blog67

    vLLM 双向 KV 传输优化多轮智能体负载 TTFT

    AWS 在 vLLM 中引入双向 KV 缓存传输机制,允许 Decode 节点将已计算的 KV 块返回给 Prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 实例的 1P1D 部署中,该功能使 Qwen3-32B 的 TTFT 降低最高 1.6 倍,zai-org/GLM-5-FP8 降低最高 3.3 倍。

    推荐理由:文章展示了双向 KV 传输在 vLLM 中的实现机制,并给出了多轮智能体负载下 TTFT 降低的具体基准数据。

  2. AWS Machine Learning Blog72

    vLLM 引入基于 Push 的 KV 传输机制以优化分离式推理延迟

    vLLM 新增基于 Push 的 NIXL 连接器,通过将 KV 缓存传输协调移出关键路径,显著降低分离式推理的首 token 延迟(TTFT)和每 token 输出时间(TPOT)。

    推荐理由:原文展示了 push 模式如何通过重叠计算与传输协调降低延迟,为高并发推理部署提供了具体的性能优化路径。

  1. NVIDIA Blog72

    NVIDIA Omniverse 结合前沿 AI 智能体构建物理仿真应用

    NVIDIA 展示了开发者利用 GPT-6 Astra 等前沿 AI 智能体结合 Omniverse 库构建物理仿真应用的工作流。案例涵盖使用 Houdini 创建可编辑 3D 资产、在 Isaac Sim 中测试机器人拆解、从现场扫描重建建筑模型以及构建气轮机数字孪生。这些项目通过自然语言指令驱动智能体连接物理、渲染和传感器模拟能力,帮助开发者在物理 AI 仿真中探索场景、调查故障并改进设计。

    推荐理由:展示了前沿模型与 Omniverse 库结合构建物理仿真应用的具体工作流,为开发者提供可复用的智能体辅助开发路径。

已经到底了