AWS 教程:使用 torchtitan 在 AWS Trainium 上训练 Qwen3
AWS 发布教程,演示如何在 AWS Trainium 上使用 torchtitan 训练 Qwen3 模型。教程提供了三种配置方法:使用 Hugging Face Transformers v5 作为后端、使用 torchtitan 原生 Qwen3 实现,以及通过 Neuron Kernel Interface (NKI) 优化混合专家 (MoE) 层。
AWS 发布教程,演示如何在 AWS Trainium 上使用 torchtitan 训练 Qwen3 模型。教程提供了三种配置方法:使用 Hugging Face Transformers v5 作为后端、使用 torchtitan 原生 Qwen3 实现,以及通过 Neuron Kernel Interface (NKI) 优化混合专家 (MoE) 层。
OpenAI 介绍了 ChatGPT 新型广告系统的构建过程。该系统利用 LLM 理解对话意图,确保广告与答案分离,并实现大规模的相关性广告投放。
推荐理由:原文说明了 ChatGPT 广告系统如何区分答案与广告,读者可据此理解其信任机制设计。
i14 利用 TorchNeuron Native 在 AWS Trainium2 上实现了 Laplace 3B 线性注意力模型的训练与推理。该模型将推理状态固定为每序列 29.5 MB,在单台 trn2.48xlarge 实例上实现了约 120,000 tokens/s 的训练吞吐和 11,544 output tokens/s 的推理吞吐。
推荐理由:展示了线性注意力模型在 AWS Trainium2 上的训练与推理工程细节,为长上下文场景提供了可复用的部署参考。
AWS 团队在 Amazon SageMaker HyperPod 上通过 SFT 和 GRPO 微调 GPT-OSS-20B,将多语言推理正确率从 22% 提升至 100%。SFT 解决了模型默认用英语推理的问题,GRPO 进一步将答案语言正确率从 62% 提升至 70%。
推荐理由:文章给出了 SFT 与 GRPO 在能力缺口下的分工结论,读者可据此判断何时使用强化学习微调。
AWS 发布 Amazon Quick 与 Amazon Bedrock AgentCore 结合 MCP 的供应链智能方案,将原本分散在 ERP、采购、邮件等系统的查询与行动整合到单一对话中。
推荐理由:原文展示了 Amazon Quick 与 Bedrock AgentCore 结合 MCP 的架构,读者可据此理解企业级智能体如何连接多源数据并实现受控决策。
Smartsheet 推出正式可用的 MCP Server,通过 40 多种工具让 AI 智能体以自然语言读写和管理 Smartsheet 数据。该服务部署在 AWS 上,支持 Amazon Quick 和 Kiro 作为客户端,实现跨工具的项目状态更新与任务管理。
Smartsheet 推出通用可用的 MCP 服务器,允许 AI 智能体通过标准化协议读写和管理 Smartsheet 数据。该服务器包含 40 多种工具,支持通过自然语言更新任务状态、创建行及修改项目结构。用户可通过 Amazon Quick 或 Kiro 连接该服务器,在业务或开发工作流中直接查询和更新项目数据。
Octave Reliance 基于 Amazon Bedrock 和 Cohere Embed v4 构建了多租户 AI 基础架构,将每个用例的部署时间缩短 50%。该架构通过 AgentCore Gateway 和 Bedrock Guardrails 确保数据隔离与内容安全,成功处理了 20 亿份文档的嵌入任务。
Eon 利用 Amazon Bedrock AgentCore 部署 MCP Gateway,替代分散的工具凭证与本地 MCP 进程,实现跨 AWS、GCP 和 Azure 的统一访问。新工程师配置调查工具的时间从两天缩短至约两分钟。该方案通过 Cedar 策略实施最小权限控制,支持人类开发者与自主 SRE 智能体以不同身份接入。
AWS 与 Keyfactor 联合发布参考架构,利用 X.509 PKI 解决多智能体系统中 MCP 工具调用的身份验证缺失问题。该架构结合签名请求信封、用户签名委托断言、RFC 8693 受众限定令牌及实时 OCSP 吊销检查,实现智能体间零信任通信。
推荐理由:原文给出了基于 X.509 PKI 的多智能体身份验证参考架构,读者可据此解决 MCP 工具调用中的身份伪造与重放风险。
AWS Agent Registry 支持在运行时通过混合语义搜索发现并实例化 MCP 服务器和 A2A 智能体,避免在编排器中硬编码工具端点。该服务通过审批工作流管理工具目录,将连接元数据与调用凭证分离,使企业系统能根据用户请求动态组装临时智能体。
推荐理由:原文展示了通过语义搜索动态发现 MCP 和 A2A 工具的实现路径,为大型 API 场景下的 Agent 编排提供了可参考的架构模式。
Amazon Bedrock 跨区推理(CRIS)现支持加拿大区域访问 OpenAI GPT-5.6、GPT-6 及 GPT-6.1 系列模型。这些模型支持 100 万 token 上下文窗口、推理模式及工具调用,并可通过 OpenAI Responses API 或 Bedrock Converse API 调用。
三位资深 Java Champion 分享了利用 GitHub Copilot 在开源及生产环境中提升效率的实践。Vlad Mihalcea 借助 Copilot 将原本需数周的应用开发缩短至两天,并通过自定义技能保持代码风格一致。Patrick Baumgartner 则利用其完成大规模演示文稿迁移,并通过视觉对比验证确保内容完整性。
AWS 发布教程,演示如何使用 AtScale 和 Amazon Bedrock AgentCore 为智能体 AI 构建语义层。该方案利用 AtScale 的语义建模语言(SML)将业务逻辑定义在 Git 中,并通过 MCP 协议向 Strands 智能体暴露查询工具。
AWS 发布教程,演示如何使用 Strategy Mosaic 作为语义层,通过 MCP 协议连接 Amazon Bedrock AgentCore 托管的 Strands 智能体。该架构支持跨 Amazon Redshift 和 Amazon Aurora 的无 ETL 联合查询,并将行级和列级安全策略直接应用于智能体调用,确保不同角色用户仅能访问其权限范围内的数据。
推荐理由:演示了如何通过 MCP 协议将语义层接入 Agent,并实现跨数据源查询与细粒度权限控制。
AWS 博客演示了使用 Denodo 平台和 Amazon Bedrock AgentCore 构建智能体语义层的架构。该方案通过 Denodo MCP Server 将治理后的数据视图暴露给智能体,并支持联邦查询 Amazon Aurora、Amazon Redshift 及本地 PostgreSQL 数据库。
GitHub Copilot 支持在 VS Code 中直接打开应用会话,保留对话、代码变更及工作树上下文。用户可在编辑器中逐行审查差异、手动编辑代码并本地运行测试,无需重建会话。完成修改后,可直接提交并推送更新至关联的 Pull Request。
Deepgram 将 Nova-3 语音转文本模型移植至 AWS Trainium2,用于离线批量工作负载。该配置在单台 EC2 trn2.3xlarge 实例上运行 8 个模型副本,相比原有计算方案,每美元处理的音频量提升 11% 至 70%。
AWS 在 vLLM 中引入双向 KV 缓存传输机制,允许 Decode 节点将已计算的 KV 块返回给 Prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 实例的 1P1D 部署中,该功能使 Qwen3-32B 的 TTFT 降低最高 1.6 倍,zai-org/GLM-5-FP8 降低最高 3.3 倍。
推荐理由:文章展示了双向 KV 传输在 vLLM 中的实现机制,并给出了多轮智能体负载下 TTFT 降低的具体基准数据。
vLLM 新增基于 Push 的 NIXL 连接器,通过将 KV 缓存传输协调移出关键路径,显著降低分离式推理的首 token 延迟(TTFT)和每 token 输出时间(TPOT)。
推荐理由:原文展示了 push 模式如何通过重叠计算与传输协调降低延迟,为高并发推理部署提供了具体的性能优化路径。
Third Moment Research 利用 GPT-6 Astra、GPT-6.1 Sol、Codex 及 Daybreak 构建智能体,实现连续运行 10,000 个智能体超过 36 小时。该实验室开发的智能体具备多日专注工作能力,并随使用过程持续改进。
AWS 发布基于 Amazon Bedrock AgentCore 的自改进文档处理方案,利用八个专用智能体协作实现文档分类、提取、验证及自动学习。该系统通过 Strands Agents 构建工作流,能自动适应新文档格式并复用提取指令,将处理时间从 3 分 49 秒缩短至 1 分 30 秒,月处理千份文档成本约 58 美元。
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,在 90 天内将关键云暴露风险降低 90% 以上且无生产事故。该系统通过调查、安全评分、修复及代码生成四个专用智能体,自动处理 CNAPP 发现的安全问题。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可自动化生成演示文稿,内部测试显示耗时不足 90 秒。该方案使用 Strands Agents 框架编排 Claude Sonnet 4.6 进行内容创作,结合 Amazon Titan Text Embeddings v2 实现 RAG 检索以增强内容准确性。
本文演示了如何使用 SageMaker Python SDK 从 Amazon SageMaker JumpStart 部署预训练模型并执行轻量级性能测试。该流程通过发送示例提示词测量延迟、输出长度及生成速率,测试完成后自动清理端点。此方法适用于多种兼容模型,但具体载荷格式和实例类型需根据模型调整。
Amazon Bedrock 托管授权允许从中央账户一次性订阅,即可向组织内多个 AWS 账户分发第三方 AI 模型访问权限。AWS 提供轻量脚本用于一次性激活,或基于 AWS CDK 的事件驱动自动化,通过 EventBridge 和 Lambda 自动验证卖家并激活授权。
Orca Security 基于 Amazon Bedrock 构建 Discovery AI,将自然语言转换为 Sonar 查询,输入 token 降低 93%,成本降低 90%,延迟降低 75%。
AWS 团队在 Amazon SageMaker AI 上实施了多项针对混合专家(MoE)模型的 GPU 内核优化,旨在降低推理延迟并提升吞吐量。通过 Swap-AB 矩阵转置、FP8 量化后端路由调整及消除 Triton JIT 重编译,在 H200 上实现了最高 10% 的吞吐量提升和 9% 的首 token 延迟(TTFT)降低。
AWS 发布教程,指导如何在 Amazon Bedrock 上构建基于 Grok 4.7 的工具调用智能体,并评估不同推理强度(reasoning effort)对长时程任务的影响。在三个需要搜索而非查表的合成任务中,智能体在 72 次运行中答对 67 次,其中 xhigh 强度下 18 次全部正确,而 low 强度下答对 15 次且输出 token 仅为 xhigh 的约八分之一。
推荐理由:原文给出了在 Amazon Bedrock 上构建 Grok 4.7 智能体的完整流程,并展示了不同推理强度下的准确率与 token 消耗对比。
ShipStation Global 基于 Amazon Bedrock AgentCore 构建了名为 Deckhand 的 Slack AI IT 帮助台,用于自动回答常规 IT 问题并创建 Jira 工单。
Amazon Bedrock 通过全球跨区推理在泰国、马来西亚、新加坡、印尼和台湾提供 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra 的调用能力。文章演示了使用 Converse API 和 OpenAI 兼容 API 发起请求,并给出了 IAM 策略、SCP 例外配置、配额计算和 CloudTrail 监控的具体方法。
推荐理由:原文给出了跨区推理的调用路径、权限配置和配额规则,读者可以据此在亚太区域接入 GPT-6 模型。
GitHub Copilot 提供了四种配置项目上下文的方法,帮助模型遵循团队规范并执行复杂任务。用户可通过 .github/copilot-instructions.md 定义全局或路径特定的自定义指令,利用 .github/skills 文件夹封装可复用的 Agent 技能,在 .github/agents 中创建处理跨文件任务的自定义智能体,并接入 MCP 服务器以连接外部工具和数据源。
推荐理由:原文给出了四种配置Copilot项目上下文的具体路径,读者可据此将团队规范转化为可复用的自动化指令。
AWS 推出多节点 Ray LLM 深度学习容器,支持在 Amazon EKS 上通过两个 GPU 节点部署大型语言模型,实现预填充和解码阶段的分离。该容器预集成了 vLLM、Ray Serve、NIXL 和 EFA 组件,通过 OpenAI 兼容接口提供服务,无需编写应用代码即可配置 KV 缓存传输,从而提升大规模推理性能并简化依赖管理。
推荐理由:展示了如何利用预构建容器在 EKS 上实现多节点推理分离,简化了分布式部署流程。
在 Amazon SageMaker AI 上利用 llama.cpp 部署决策模型,支持通过 SemIf 扩展返回选项概率而非自由文本。Qwen3.5-4B 在 GPU 上的 p50 延迟为 0.352 秒,比 CPU 快 4.9 倍,准确率为 77.9%。
Postman 在 Amazon Bedrock 上构建 Agent Mode,通过动态工具选择、Schema 感知读取和专用上下文处理器解决成熟产品集成 AI 智能体的工程挑战。架构利用 Bedrock 的跨区推理、零数据保留和分层提示词缓存,在保障数据合规的同时应对突发流量并控制推理成本。
推荐理由:文章复盘了 Postman 在 4000 万开发者规模下构建 Agent Mode 的工程实践,提供了控制工具膨胀、Schema 读取和上下文管理的可复用架构模式。
NVIDIA 展示了开发者利用 GPT-6 Astra 等前沿 AI 智能体结合 Omniverse 库构建物理仿真应用的工作流。案例涵盖使用 Houdini 创建可编辑 3D 资产、在 Isaac Sim 中测试机器人拆解、从现场扫描重建建筑模型以及构建气轮机数字孪生。这些项目通过自然语言指令驱动智能体连接物理、渲染和传感器模拟能力,帮助开发者在物理 AI 仿真中探索场景、调查故障并改进设计。
推荐理由:展示了前沿模型与 Omniverse 库结合构建物理仿真应用的具体工作流,为开发者提供可复用的智能体辅助开发路径。
Amazon SageMaker HyperPod 提供基于 EKS 的多租户参考架构,支持多团队在共享 GPU 集群时保持隔离与资源公平。该架构利用 AWS IAM Identity Center 进行集中认证,通过 Kubernetes 命名空间实现工作负载隔离,并借助 HyperPod Task Governance 确保资源分配公平。
LegalOn 将 Codex 预估每日成本降低 65%,同时保持开发速度。该公司通过将 Astra、Sol 和 Luna 匹配到具体任务并战略性管理预算实现了这一目标。
Amazon Quick 和 Amazon Bedrock Knowledge Bases 采用双层架构解决企业 RAG 中的权限同步滞后问题。系统在预检索阶段利用向量索引中的缓存 ACL 进行初步过滤,随后在第二阶段通过调用 Google Drive 等数据源 API 进行实时权限验证,确保仅将用户有权访问的文档片段作为上下文输入 LLM。
AWS 提出智能体自动化业务价值评估框架,指出传统 RPA 的 ROI 模型无法衡量智能体在异常处理、决策质量和变更韧性上的价值。该框架建议将投资视为工作流组合,通过量化释放产能、减少纠错成本、提升决策结果和降低维护开销四个价值池,并设定明确的止损规则来验证投资回报。
推荐理由:原文提出了包含时间、异常、决策质量和维护成本四个维度的评估框架,帮助读者量化智能体自动化在现有 RPA 模型之外的真实业务价值。