NVIDIA 全栈协同设计如何提升 AI 内存效率
NVIDIA 提出通过全栈协同设计解决 AI 内存挑战，旨在从每一字节内存中获取更高性能。该策略通过 NVFP4 量化、KV cache 卸载及 RAG 索引优化，在 HBM 容量仅增长约 3% 的情况下，将智能体推理吞吐量每美元提升最高 30 倍。
推荐理由：原文通过具体技术路径解释了全栈协同设计如何缓解 HBM 压力，读者可据此理解 AI 工厂中内存层级优化的实际逻辑。
内容形态
教程实践 最新动态
拿来就能用的实操内容：提示词技巧、工作流搭建、工具用法与踩坑经验。
32 条精选近 30 天 28 条共收录 107 条
更新
教程实践的精选
NVIDIA Blog精选AI 评分7272
AWS Machine Learning Blog精选AI 评分6262 AWS 教程：在 Amazon Bedrock AgentCore 评测中使用决策模型
AWS 发布教程，演示如何通过代码型评估器将 Jev 和 Strands Decider 2B 两个决策模型接入 Amazon Bedrock AgentCore Evaluations。
推荐理由：文章给出了将决策模型接入 AgentCore 评测的完整代码示例，读者可据此构建可阈值化的智能体评估流程。
AWS Machine Learning Blog精选AI 评分7272 生产级 AI 智能体的四层上下文工程：Deep Insight 的代码实践
AWS 团队在开源项目 Deep Insight 中展示了生产级 AI 智能体的四层上下文工程实践，通过架构隔离、提示词控制、文件系统外化和独立验证，显著降低 token 消耗。其中，write_and_execute 工具将脚本加入上下文的 token 减少约 95%，按需加载 Skills 使系统提示词缩小约 97%。
推荐理由：文章给出了四层上下文工程的具体代码实现，读者可据此解决生产级智能体的上下文溢出问题。
AWS Machine Learning Blog精选AI 评分6262 U Mobile 基于 Amazon Bedrock AgentCore 构建电信智能体运营平台 AiDaH
马来西亚电信运营商 U Mobile 基于 Amazon Bedrock AgentCore 构建了 AI 驱动的智能体帮助台 AiDaH，用于自动化处理跨系统的电信运营工单。
推荐理由：文章拆解了电信运营商利用多智能体架构处理跨系统工单的具体路径，展示了从试点到生产落地的工程细节。
OpenAI News精选AI 评分6767 OpenAI 推出 Git 兼容后端 Pando 以支持 Codex 规模化开发
OpenAI 构建了 Pando，这是一个 Git 兼容的后端系统，旨在支撑 Codex 所实现的开发规模。
推荐理由：原文介绍了 Pando 作为 Git 兼容后端的设计初衷，读者可据此了解 Codex 规模化开发对基础设施的要求。
AWS Machine Learning Blog精选AI 评分7272 在 Amazon SageMaker AI 上使用知识蒸馏构建高效智能体
AWS 团队演示了如何利用序列级知识蒸馏（SeqKD）在 Amazon SageMaker AI 上微调小型购物智能体。该方法使用 Amazon Bedrock 上的 GLM-5.3 作为教师模型生成多步轨迹，并通过 ShoppingBench 评分器筛选成功样本，对 Qwen3.5-4B 学生模型进行 LoRA 微调。
推荐理由：文章提供了在 Amazon SageMaker AI 上通过序列级知识蒸馏将前沿模型行为迁移至小模型的具体流程与代码示例。
AWS Machine Learning Blog精选AI 评分7272 AWS 发布 Amazon Bedrock 成本端到端管理指南
AWS 发布 Amazon Bedrock 成本端到端管理指南，提出包含归属、观测、执行、优化和运营的五阶段操作模型。该模型利用 IAM 标签和 CUR 2.0 实现按身份的成本归属，通过模型调用日志和请求元数据实现工作负载级观测，并建议根据风险选择监控告警、IAM 拒绝或网关同步拦截等预算执行层级。
推荐理由：文章给出了从成本归属、请求观测到预算强制执行的五阶段操作模型，帮助团队将 Bedrock 支出转化为可治理的工程问题。
AWS Machine Learning Blog精选AI 评分6767 Amazon Bedrock AgentCore 发布 Session endpoints 支持实时预览 Agent 构建的 Web 应用
Amazon Bedrock AgentCore 发布 Session endpoints 功能，允许用户通过认证 URL 在浏览器中实时查看 Agent 会话内运行的 Web 应用。该功能支持 HTTP 和 WebSocket 协议，用户可配置允许访问的端口，在 Agent 修改文件时通过 Vite 热重载即时看到页面变化，无需等待传统部署流程。
推荐理由：原文展示了通过 Session endpoints 在浏览器中实时预览 Agent 修改的 Web 应用，提供了无需部署即可即时查看变更的开发工作流。
OpenAI News精选AI 评分6262 OpenAI 如何检测前沿模型失准
OpenAI 使用分层监控来检测前沿模型失准和未授权智能体行为，以便响应人员在事件升级前介入。
推荐理由：官方说明了分层监控机制，读者可了解其如何识别前沿模型失准并介入干预。
AWS Machine Learning Blog精选AI 评分6262 MoEngage 利用 AgentCore Gateway 将 400 多个私有 API 转化为 Agent 工具
MoEngage 使用 Amazon Bedrock AgentCore Gateway 将 400 多个私有 REST API 转化为 Agent 工具，避免了构建 20 多个独立 MCP 服务器。
推荐理由：文章给出了将私有 API 转化为 Agent 工具的具体架构，读者可参考其权限隔离与语义搜索方案解决大规模工具接入问题。
AWS Machine Learning Blog精选AI 评分7272 使用 CDK 在 Amazon Bedrock 托管知识库上构建 Agentic 检索系统
AWS 发布教程，展示如何使用 AWS CDK 在 Amazon Bedrock 托管知识库上构建企业级 Agentic 检索系统。该系统通过 AgentCore Gateway 将知识库暴露为 MCP 工具，支持多知识库语义路由和迭代检索，并内置七层可观测性仪表板及按需与连续评估功能。
推荐理由：原文展示了如何用 CDK 部署带可观测性和评估的 Agentic RAG 系统，读者可参考其架构解决多知识库路由问题。
AWS Machine Learning Blog精选AI 评分7575 Amazon Bedrock 上 OpenAI 模型的 Prompt Caching 模式：降低 AI Agent 成本
AWS 官方博客介绍了在 Amazon Bedrock 上使用 OpenAI 模型时，通过 Prompt Caching 减少 AI Agent 重复读取上下文的成本。文章演示了显式与隐式缓存结合、工具变更、子代理共享前缀等场景的代码实现，并指出在 GPT-6 Astra 的六轮工作负载中，输入成本可降低约 62%。
推荐理由：原文给出了在 Amazon Bedrock 上为 OpenAI 模型配置 Prompt Caching 的具体代码模式，读者可据此降低多轮 Agent 的输入成本。
AWS Machine Learning Blog精选AI 评分6262 AWS 教程：在 Amazon SageMaker AI 上使用 Kokoro TTS 实现 AI 智能体低延迟语音流式传输
AWS 教程演示了如何在 Amazon SageMaker AI 上部署 Kokoro-82M 模型，通过双向 WebSocket 流式传输实现 AI 智能体低延迟语音合成。实测显示，逐句流式传输将首音频字节时间从 329.3 毫秒降至 156.7 毫秒，在部署环境中比批量处理快 2.4 至 3.5 倍。
推荐理由：原文给出了双向流式传输与音频编码的实测对比，读者可据此优化语音智能体的首包延迟。
AWS Machine Learning Blog精选AI 评分7777 AWS 发布 Deep Insight 多智能体系统解决生产环境五大挑战
AWS 解决方案架构团队发布开源多智能体系统 Deep Insight，旨在解决生产环境中的执行流控制、模型选择、安全部署、代码隔离及运维监控五大挑战。该系统采用 Strands Agents SDK 的 Graph 模式定义智能体协作流程，并结合 Amazon Bedrock AgentCore 与 AWS Fargate 实现私有 VPC 内的会话隔离与沙箱代码执行。
推荐理由：原文展示了多智能体系统从开发到生产落地的完整架构，读者可参考其分层设计与安全隔离方案。
OpenAI News精选AI 评分7777 OpenAI 构建 ChatGPT 新型广告系统以平衡用户信任与相关性
OpenAI 介绍了 ChatGPT 新型广告系统的构建过程。该系统利用 LLM 理解对话意图，确保广告与答案分离，并实现大规模的相关性广告投放。
推荐理由：原文说明了 ChatGPT 广告系统如何区分答案与广告，读者可据此理解其信任机制设计。
AWS Machine Learning Blog精选AI 评分7070 i14 在 AWS Trainium2 上训练和部署 Laplace 3B 线性注意力模型
i14 利用 TorchNeuron Native 在 AWS Trainium2 上实现了 Laplace 3B 线性注意力模型的训练与推理。该模型将推理状态固定为每序列 29.5 MB，在单台 trn2.48xlarge 实例上实现了约 120,000 tokens/s 的训练吞吐和 11,544 output tokens/s 的推理吞吐。
推荐理由：展示了线性注意力模型在 AWS Trainium2 上的训练与推理工程细节，为长上下文场景提供了可复用的部署参考。
Simon Willison精选AI 评分7878 Simon Willison 使用 Claude 构建支持音频联机的 RTS 游戏 Battle Drones
Simon Willison 使用 Claude 构建了一款名为 Battle Drones 的 RTS 游戏，实现了基于音频信号的静态网页多人联机。该项目经历了 12 个主要版本迭代，包含 3D 模型、随机地图生成器以及 LLM 智能体对战模式。作者指出，通过提示词让模型运行模拟测试并调整游戏平衡，显著提升了游戏的可玩性。
推荐理由：作者展示了如何通过多轮提示词让编码智能体完成游戏开发，并实现了基于音频的静态网页多人联机。
AWS Machine Learning Blog精选AI 评分6767 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
AWS 团队在 Amazon SageMaker HyperPod 上通过 SFT 和 GRPO 微调 GPT-OSS-20B，将多语言推理正确率从 22% 提升至 100%。SFT 解决了模型默认用英语推理的问题，GRPO 进一步将答案语言正确率从 62% 提升至 70%。
推荐理由：文章给出了 SFT 与 GRPO 在能力缺口下的分工结论，读者可据此判断何时使用强化学习微调。
AWS Machine Learning Blog精选AI 评分6262 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能
AWS 发布 Amazon Quick 与 Amazon Bedrock AgentCore 结合 MCP 的供应链智能方案，将原本分散在 ERP、采购、邮件等系统的查询与行动整合到单一对话中。
推荐理由：原文展示了 Amazon Quick 与 Bedrock AgentCore 结合 MCP 的架构，读者可据此理解企业级智能体如何连接多源数据并实现受控决策。
AWS Machine Learning Blog精选AI 评分6262 AWS 与 Keyfactor 发布基于 X.509 PKI 的 AI 智能体身份安全参考架构
AWS 与 Keyfactor 联合发布参考架构，利用 X.509 PKI 解决多智能体系统中 MCP 工具调用的身份验证缺失问题。该架构结合签名请求信封、用户签名委托断言、RFC 8693 受众限定令牌及实时 OCSP 吊销检查，实现智能体间零信任通信。
推荐理由：原文给出了基于 X.509 PKI 的多智能体身份验证参考架构，读者可据此解决 MCP 工具调用中的身份伪造与重放风险。