NVIDIA 全栈协同设计如何提升 AI 内存效率
NVIDIA 提出通过全栈协同设计解决 AI 内存挑战，旨在从每一字节内存中获取更高性能。该策略通过 NVFP4 量化、KV cache 卸载及 RAG 索引优化，在 HBM 容量仅增长约 3% 的情况下，将智能体推理吞吐量每美元提升最高 30 倍。
推荐理由：原文通过具体技术路径解释了全栈协同设计如何缓解 HBM 压力，读者可据此理解 AI 工厂中内存层级优化的实际逻辑。
#部署/工程
NVIDIA Blog精选AI 评分7272
AWS Machine Learning Blog精选AI 评分7272 生产级 AI 智能体的四层上下文工程：Deep Insight 的代码实践
AWS 团队在开源项目 Deep Insight 中展示了生产级 AI 智能体的四层上下文工程实践，通过架构隔离、提示词控制、文件系统外化和独立验证，显著降低 token 消耗。其中，write_and_execute 工具将脚本加入上下文的 token 减少约 95%，按需加载 Skills 使系统提示词缩小约 97%。
推荐理由：文章给出了四层上下文工程的具体代码实现，读者可据此解决生产级智能体的上下文溢出问题。
AWS Machine Learning Blog精选AI 评分6262 U Mobile 基于 Amazon Bedrock AgentCore 构建电信智能体运营平台 AiDaH
马来西亚电信运营商 U Mobile 基于 Amazon Bedrock AgentCore 构建了 AI 驱动的智能体帮助台 AiDaH，用于自动化处理跨系统的电信运营工单。
推荐理由：文章拆解了电信运营商利用多智能体架构处理跨系统工单的具体路径，展示了从试点到生产落地的工程细节。
OpenAI News精选AI 评分6767 OpenAI 推出 Git 兼容后端 Pando 以支持 Codex 规模化开发
OpenAI 构建了 Pando，这是一个 Git 兼容的后端系统，旨在支撑 Codex 所实现的开发规模。
推荐理由：原文介绍了 Pando 作为 Git 兼容后端的设计初衷，读者可据此了解 Codex 规模化开发对基础设施的要求。
AWS Machine Learning Blog精选AI 评分7272 在 Amazon SageMaker AI 上使用知识蒸馏构建高效智能体
AWS 团队演示了如何利用序列级知识蒸馏（SeqKD）在 Amazon SageMaker AI 上微调小型购物智能体。该方法使用 Amazon Bedrock 上的 GLM-5.3 作为教师模型生成多步轨迹，并通过 ShoppingBench 评分器筛选成功样本，对 Qwen3.5-4B 学生模型进行 LoRA 微调。
推荐理由：文章提供了在 Amazon SageMaker AI 上通过序列级知识蒸馏将前沿模型行为迁移至小模型的具体流程与代码示例。
AWS Machine Learning Blog精选AI 评分7272 AWS 发布 Amazon Bedrock 成本端到端管理指南
AWS 发布 Amazon Bedrock 成本端到端管理指南，提出包含归属、观测、执行、优化和运营的五阶段操作模型。该模型利用 IAM 标签和 CUR 2.0 实现按身份的成本归属，通过模型调用日志和请求元数据实现工作负载级观测，并建议根据风险选择监控告警、IAM 拒绝或网关同步拦截等预算执行层级。
推荐理由：文章给出了从成本归属、请求观测到预算强制执行的五阶段操作模型，帮助团队将 Bedrock 支出转化为可治理的工程问题。
AWS Machine Learning Blog精选AI 评分6767 Amazon Bedrock AgentCore 发布 Session endpoints 支持实时预览 Agent 构建的 Web 应用
Amazon Bedrock AgentCore 发布 Session endpoints 功能，允许用户通过认证 URL 在浏览器中实时查看 Agent 会话内运行的 Web 应用。该功能支持 HTTP 和 WebSocket 协议，用户可配置允许访问的端口，在 Agent 修改文件时通过 Vite 热重载即时看到页面变化，无需等待传统部署流程。
推荐理由：原文展示了通过 Session endpoints 在浏览器中实时预览 Agent 修改的 Web 应用，提供了无需部署即可即时查看变更的开发工作流。
AWS Machine Learning Blog精选AI 评分6262 MoEngage 利用 AgentCore Gateway 将 400 多个私有 API 转化为 Agent 工具
MoEngage 使用 Amazon Bedrock AgentCore Gateway 将 400 多个私有 REST API 转化为 Agent 工具，避免了构建 20 多个独立 MCP 服务器。
推荐理由：文章给出了将私有 API 转化为 Agent 工具的具体架构，读者可参考其权限隔离与语义搜索方案解决大规模工具接入问题。
AWS Machine Learning Blog精选AI 评分7272 使用 CDK 在 Amazon Bedrock 托管知识库上构建 Agentic 检索系统
AWS 发布教程，展示如何使用 AWS CDK 在 Amazon Bedrock 托管知识库上构建企业级 Agentic 检索系统。该系统通过 AgentCore Gateway 将知识库暴露为 MCP 工具，支持多知识库语义路由和迭代检索，并内置七层可观测性仪表板及按需与连续评估功能。
推荐理由：原文展示了如何用 CDK 部署带可观测性和评估的 Agentic RAG 系统，读者可参考其架构解决多知识库路由问题。
AWS Machine Learning Blog精选AI 评分7575 Amazon Bedrock 上 OpenAI 模型的 Prompt Caching 模式：降低 AI Agent 成本
AWS 官方博客介绍了在 Amazon Bedrock 上使用 OpenAI 模型时，通过 Prompt Caching 减少 AI Agent 重复读取上下文的成本。文章演示了显式与隐式缓存结合、工具变更、子代理共享前缀等场景的代码实现，并指出在 GPT-6 Astra 的六轮工作负载中，输入成本可降低约 62%。
推荐理由：原文给出了在 Amazon Bedrock 上为 OpenAI 模型配置 Prompt Caching 的具体代码模式，读者可据此降低多轮 Agent 的输入成本。
AWS Machine Learning Blog精选AI 评分6262 AWS 教程：在 Amazon SageMaker AI 上使用 Kokoro TTS 实现 AI 智能体低延迟语音流式传输
AWS 教程演示了如何在 Amazon SageMaker AI 上部署 Kokoro-82M 模型，通过双向 WebSocket 流式传输实现 AI 智能体低延迟语音合成。实测显示，逐句流式传输将首音频字节时间从 329.3 毫秒降至 156.7 毫秒，在部署环境中比批量处理快 2.4 至 3.5 倍。
推荐理由：原文给出了双向流式传输与音频编码的实测对比，读者可据此优化语音智能体的首包延迟。
AWS Machine Learning Blog精选AI 评分7777 AWS 发布 Deep Insight 多智能体系统解决生产环境五大挑战
AWS 解决方案架构团队发布开源多智能体系统 Deep Insight，旨在解决生产环境中的执行流控制、模型选择、安全部署、代码隔离及运维监控五大挑战。该系统采用 Strands Agents SDK 的 Graph 模式定义智能体协作流程，并结合 Amazon Bedrock AgentCore 与 AWS Fargate 实现私有 VPC 内的会话隔离与沙箱代码执行。
推荐理由：原文展示了多智能体系统从开发到生产落地的完整架构，读者可参考其分层设计与安全隔离方案。
AWS Machine Learning Blog精选AI 评分7070 i14 在 AWS Trainium2 上训练和部署 Laplace 3B 线性注意力模型
i14 利用 TorchNeuron Native 在 AWS Trainium2 上实现了 Laplace 3B 线性注意力模型的训练与推理。该模型将推理状态固定为每序列 29.5 MB，在单台 trn2.48xlarge 实例上实现了约 120,000 tokens/s 的训练吞吐和 11,544 output tokens/s 的推理吞吐。
推荐理由：展示了线性注意力模型在 AWS Trainium2 上的训练与推理工程细节，为长上下文场景提供了可复用的部署参考。
AWS Machine Learning Blog精选AI 评分6767 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
AWS 团队在 Amazon SageMaker HyperPod 上通过 SFT 和 GRPO 微调 GPT-OSS-20B，将多语言推理正确率从 22% 提升至 100%。SFT 解决了模型默认用英语推理的问题，GRPO 进一步将答案语言正确率从 62% 提升至 70%。
推荐理由：文章给出了 SFT 与 GRPO 在能力缺口下的分工结论，读者可据此判断何时使用强化学习微调。
AWS Machine Learning Blog精选AI 评分6262 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能
AWS 发布 Amazon Quick 与 Amazon Bedrock AgentCore 结合 MCP 的供应链智能方案，将原本分散在 ERP、采购、邮件等系统的查询与行动整合到单一对话中。
推荐理由：原文展示了 Amazon Quick 与 Bedrock AgentCore 结合 MCP 的架构，读者可据此理解企业级智能体如何连接多源数据并实现受控决策。
AWS Machine Learning Blog精选AI 评分6262 AWS 与 Keyfactor 发布基于 X.509 PKI 的 AI 智能体身份安全参考架构
AWS 与 Keyfactor 联合发布参考架构，利用 X.509 PKI 解决多智能体系统中 MCP 工具调用的身份验证缺失问题。该架构结合签名请求信封、用户签名委托断言、RFC 8693 受众限定令牌及实时 OCSP 吊销检查，实现智能体间零信任通信。
推荐理由：原文给出了基于 X.509 PKI 的多智能体身份验证参考架构，读者可据此解决 MCP 工具调用中的身份伪造与重放风险。
AWS Machine Learning Blog精选AI 评分7373 AWS Agent Registry 支持运行时动态发现 MCP 和 A2A 工具
AWS Agent Registry 支持在运行时通过混合语义搜索发现并实例化 MCP 服务器和 A2A 智能体，避免在编排器中硬编码工具端点。该服务通过审批工作流管理工具目录，将连接元数据与调用凭证分离，使企业系统能根据用户请求动态组装临时智能体。
推荐理由：原文展示了通过语义搜索动态发现 MCP 和 A2A 工具的实现路径，为大型 API 场景下的 Agent 编排提供了可参考的架构模式。
AWS Machine Learning Blog精选AI 评分6262 AWS 教程：使用 Strategy Mosaic 和 Amazon Bedrock AgentCore 构建智能体语义层
AWS 发布教程，演示如何使用 Strategy Mosaic 作为语义层，通过 MCP 协议连接 Amazon Bedrock AgentCore 托管的 Strands 智能体。该架构支持跨 Amazon Redshift 和 Amazon Aurora 的无 ETL 联合查询，并将行级和列级安全策略直接应用于智能体调用，确保不同角色用户仅能访问其权限范围内的数据。
推荐理由：演示了如何通过 MCP 协议将语义层接入 Agent，并实现跨数据源查询与细粒度权限控制。
AWS Machine Learning Blog精选AI 评分6767 vLLM 双向 KV 传输优化多轮智能体负载 TTFT
AWS 在 vLLM 中引入双向 KV 缓存传输机制，允许 Decode 节点将已计算的 KV 块返回给 Prefill 节点，避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 实例的 1P1D 部署中，该功能使 Qwen3-32B 的 TTFT 降低最高 1.6 倍，zai-org/GLM-5-FP8 降低最高 3.3 倍。
推荐理由：文章展示了双向 KV 传输在 vLLM 中的实现机制，并给出了多轮智能体负载下 TTFT 降低的具体基准数据。
AWS Machine Learning Blog精选AI 评分7272 vLLM 引入基于 Push 的 KV 传输机制以优化分离式推理延迟
vLLM 新增基于 Push 的 NIXL 连接器，通过将 KV 缓存传输协调移出关键路径，显著降低分离式推理的首 token 延迟（TTFT）和每 token 输出时间（TPOT）。
推荐理由：原文展示了 push 模式如何通过重叠计算与传输协调降低延迟，为高并发推理部署提供了具体的性能优化路径。