跳到正文
  1. AWS Machine Learning Blog70

    i14 在 AWS Trainium2 上训练和部署 Laplace 3B 线性注意力模型

    i14 利用 TorchNeuron Native 在 AWS Trainium2 上实现了 Laplace 3B 线性注意力模型的训练与推理。该模型将推理状态固定为每序列 29.5 MB,在单台 trn2.48xlarge 实例上实现了约 120,000 tokens/s 的训练吞吐和 11,544 output tokens/s 的推理吞吐。

    推荐理由:展示了线性注意力模型在 AWS Trainium2 上的训练与推理工程细节,为长上下文场景提供了可复用的部署参考。

  2. AWS Machine Learning Blog67

    在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理

    AWS 团队在 Amazon SageMaker HyperPod 上通过 SFT 和 GRPO 微调 GPT-OSS-20B,将多语言推理正确率从 22% 提升至 100%。SFT 解决了模型默认用英语推理的问题,GRPO 进一步将答案语言正确率从 62% 提升至 70%。

    推荐理由:文章给出了 SFT 与 GRPO 在能力缺口下的分工结论,读者可据此判断何时使用强化学习微调。

  1. AWS Machine Learning Blog78

    在 Amazon Bedrock 上使用 Grok 4.7 构建长时程智能体

    AWS 发布教程,指导如何在 Amazon Bedrock 上构建基于 Grok 4.7 的工具调用智能体,并评估不同推理强度(reasoning effort)对长时程任务的影响。在三个需要搜索而非查表的合成任务中,智能体在 72 次运行中答对 67 次,其中 xhigh 强度下 18 次全部正确,而 low 强度下答对 15 次且输出 token 仅为 xhigh 的约八分之一。

    推荐理由:原文给出了在 Amazon Bedrock 上构建 Grok 4.7 智能体的完整流程,并展示了不同推理强度下的准确率与 token 消耗对比。

已经到底了