跳到正文
  1. AWS Machine Learning Blog72

    SageMaker Inference 支持 Multi-Instance GPU 以最大化模型端点 GPU 利用率

    Amazon SageMaker Inference 新增 GPU 分区功能,利用 NVIDIA MIG 将物理 GPU 划分为独立分区,支持在单 GPU 上部署多个隔离模型。测试显示,H100 的 mig-3g.40gb 分区在吞吐和延迟上优于整卡 A100-40GB,且在长上下文高并发场景下成本降低 18%–34%。

    推荐理由:SageMaker Inference 引入 MIG 分区,允许在单 GPU 上部署多个隔离模型,并提供了 H100 分区与 A100 整卡的性能与成本对比数据。

  1. NVIDIA Blog72

    NVIDIA Vera CPU 发布:兼顾最高吞吐量与最快智能体性能

    NVIDIA 发布 Vera CPU,旨在为 AI 工厂提供单芯片解决方案以平衡智能体执行速度与每瓦特容量。在 100 兆瓦数据中心对比中,Vera 相比最快 x86 CPU 每瓦特支持 1.6 倍智能体数量,相比最高能效 x86 CPU 速度提升 2 倍。

    推荐理由:原文通过对比 x86 架构展示了 Vera CPU 在能效比和吞吐量上的具体优势,并列举了多家合作伙伴的生产环境实测数据。

  2. NVIDIA Blog72

    NVIDIA 全栈协同设计如何提升 AI 内存效率

    NVIDIA 提出通过全栈协同设计解决 AI 内存挑战,旨在从每一字节内存中获取更高性能。该策略通过 NVFP4 量化、KV cache 卸载及 RAG 索引优化,在 HBM 容量仅增长约 3% 的情况下,将智能体推理吞吐量每美元提升最高 30 倍。

    推荐理由:原文通过具体技术路径解释了全栈协同设计如何缓解 HBM 压力,读者可据此理解 AI 工厂中内存层级优化的实际逻辑。

  1. AWS Machine Learning Blog72

    生产级 AI 智能体的四层上下文工程:Deep Insight 的代码实践

    AWS 团队在开源项目 Deep Insight 中展示了生产级 AI 智能体的四层上下文工程实践,通过架构隔离、提示词控制、文件系统外化和独立验证,显著降低 token 消耗。其中,write_and_execute 工具将脚本加入上下文的 token 减少约 95%,按需加载 Skills 使系统提示词缩小约 97%。

    推荐理由:文章给出了四层上下文工程的具体代码实现,读者可据此解决生产级智能体的上下文溢出问题。

  2. AWS Machine Learning Blog62

    U Mobile 基于 Amazon Bedrock AgentCore 构建电信智能体运营平台 AiDaH

    马来西亚电信运营商 U Mobile 基于 Amazon Bedrock AgentCore 构建了 AI 驱动的智能体帮助台 AiDaH,用于自动化处理跨系统的电信运营工单。

    推荐理由:文章拆解了电信运营商利用多智能体架构处理跨系统工单的具体路径,展示了从试点到生产落地的工程细节。

  1. OpenAI News67

    OpenAI 推出 Git 兼容后端 Pando 以支持 Codex 规模化开发

    OpenAI 构建了 Pando,这是一个 Git 兼容的后端系统,旨在支撑 Codex 所实现的开发规模。

    推荐理由:原文介绍了 Pando 作为 Git 兼容后端的设计初衷,读者可据此了解 Codex 规模化开发对基础设施的要求。

  2. AWS Machine Learning Blog72

    在 Amazon SageMaker AI 上使用知识蒸馏构建高效智能体

    AWS 团队演示了如何利用序列级知识蒸馏(SeqKD)在 Amazon SageMaker AI 上微调小型购物智能体。该方法使用 Amazon Bedrock 上的 GLM-5.3 作为教师模型生成多步轨迹,并通过 ShoppingBench 评分器筛选成功样本,对 Qwen3.5-4B 学生模型进行 LoRA 微调。

    推荐理由:文章提供了在 Amazon SageMaker AI 上通过序列级知识蒸馏将前沿模型行为迁移至小模型的具体流程与代码示例。

  1. AWS Machine Learning Blog72

    AWS 发布 Amazon Bedrock 成本端到端管理指南

    AWS 发布 Amazon Bedrock 成本端到端管理指南,提出包含归属、观测、执行、优化和运营的五阶段操作模型。该模型利用 IAM 标签和 CUR 2.0 实现按身份的成本归属,通过模型调用日志和请求元数据实现工作负载级观测,并建议根据风险选择监控告警、IAM 拒绝或网关同步拦截等预算执行层级。

    推荐理由:文章给出了从成本归属、请求观测到预算强制执行的五阶段操作模型,帮助团队将 Bedrock 支出转化为可治理的工程问题。

  2. AWS Machine Learning Blog67

    Amazon Bedrock AgentCore 发布 Session endpoints 支持实时预览 Agent 构建的 Web 应用

    Amazon Bedrock AgentCore 发布 Session endpoints 功能,允许用户通过认证 URL 在浏览器中实时查看 Agent 会话内运行的 Web 应用。该功能支持 HTTP 和 WebSocket 协议,用户可配置允许访问的端口,在 Agent 修改文件时通过 Vite 热重载即时看到页面变化,无需等待传统部署流程。

    推荐理由:原文展示了通过 Session endpoints 在浏览器中实时预览 Agent 修改的 Web 应用,提供了无需部署即可即时查看变更的开发工作流。

  1. AWS Machine Learning Blog62

    MoEngage 利用 AgentCore Gateway 将 400 多个私有 API 转化为 Agent 工具

    MoEngage 使用 Amazon Bedrock AgentCore Gateway 将 400 多个私有 REST API 转化为 Agent 工具,避免了构建 20 多个独立 MCP 服务器。

    推荐理由:文章给出了将私有 API 转化为 Agent 工具的具体架构,读者可参考其权限隔离与语义搜索方案解决大规模工具接入问题。

  1. AWS Machine Learning Blog62

    AWS SageMaker AI 支持 SOCI 索引镜像以加速任务启动

    AWS 宣布 SageMaker AI 训练和处理任务支持 SOCI 索引镜像,通过懒加载将容器启动时间从分钟级缩短至秒级。基准测试显示,35.4 GB 镜像的下载时间从 7 分 17 秒降至 3-11 秒,GPU 空闲时间最多减少 90%,且不影响后续训练性能。用户可直接使用带 -soci 后缀的预索引 DLC 镜像,或为自定义镜像创建索引,无需修改任务定义。

    推荐理由:原文给出了SOCI索引在SageMaker中的具体加速数据和两种接入方式,读者可据此评估对现有训练工作流的影响。

  1. AWS Machine Learning Blog72

    使用 CDK 在 Amazon Bedrock 托管知识库上构建 Agentic 检索系统

    AWS 发布教程,展示如何使用 AWS CDK 在 Amazon Bedrock 托管知识库上构建企业级 Agentic 检索系统。该系统通过 AgentCore Gateway 将知识库暴露为 MCP 工具,支持多知识库语义路由和迭代检索,并内置七层可观测性仪表板及按需与连续评估功能。

    推荐理由:原文展示了如何用 CDK 部署带可观测性和评估的 Agentic RAG 系统,读者可参考其架构解决多知识库路由问题。

  2. AWS Machine Learning Blog75

    Amazon Bedrock 上 OpenAI 模型的 Prompt Caching 模式:降低 AI Agent 成本

    AWS 官方博客介绍了在 Amazon Bedrock 上使用 OpenAI 模型时,通过 Prompt Caching 减少 AI Agent 重复读取上下文的成本。文章演示了显式与隐式缓存结合、工具变更、子代理共享前缀等场景的代码实现,并指出在 GPT-6 Astra 的六轮工作负载中,输入成本可降低约 62%。

    推荐理由:原文给出了在 Amazon Bedrock 上为 OpenAI 模型配置 Prompt Caching 的具体代码模式,读者可据此降低多轮 Agent 的输入成本。

  1. The Decoder80

    Google 发布 Agent Compute Engine,为每个 Gemini 智能体提供硬件隔离微虚拟机

    Google 宣布推出 Agent Compute Engine,该服务为每个 AI 智能体提供独立的硬件隔离微虚拟机,目前已支持 Gemini 并将在未来几个月开放预览。每个智能体运行在由 Google Titanium 芯片保障安全的 microVM 中,空闲时自动暂停以释放资源,VM 间共享内存进一步降低了运行成本。

    推荐理由:该服务通过硬件隔离微虚拟机和共享内存机制,显著降低了大规模智能体部署的成本与资源占用。

  2. AWS Machine Learning Blog62

    AWS 教程:在 Amazon SageMaker AI 上使用 Kokoro TTS 实现 AI 智能体低延迟语音流式传输

    AWS 教程演示了如何在 Amazon SageMaker AI 上部署 Kokoro-82M 模型,通过双向 WebSocket 流式传输实现 AI 智能体低延迟语音合成。实测显示,逐句流式传输将首音频字节时间从 329.3 毫秒降至 156.7 毫秒,在部署环境中比批量处理快 2.4 至 3.5 倍。

    推荐理由:原文给出了双向流式传输与音频编码的实测对比,读者可据此优化语音智能体的首包延迟。

  3. AWS Machine Learning Blog82

    Amazon SageMaker AI 发布训练会话 API,支持无 GPU 管理自定义训练循环

    Amazon SageMaker AI 发布训练会话 API,允许用户在本地 Python 进程中编写训练循环,由服务托管 GPU 执行采样、梯度更新和检查点操作。该功能支持 SFT、RL 等自定义算法,按 token 计费,并配套发布包含 SFT 和 RL 配方的训练会话 cookbook。

    推荐理由:该功能将抽象边界下沉至训练操作层,允许用户在本地编写训练循环,由服务托管 GPU 基础设施,从而在算法自由度与运维成本间取得平衡。

  1. AWS Machine Learning Blog77

    AWS 发布 Deep Insight 多智能体系统解决生产环境五大挑战

    AWS 解决方案架构团队发布开源多智能体系统 Deep Insight,旨在解决生产环境中的执行流控制、模型选择、安全部署、代码隔离及运维监控五大挑战。该系统采用 Strands Agents SDK 的 Graph 模式定义智能体协作流程,并结合 Amazon Bedrock AgentCore 与 AWS Fargate 实现私有 VPC 内的会话隔离与沙箱代码执行。

    推荐理由:原文展示了多智能体系统从开发到生产落地的完整架构,读者可参考其分层设计与安全隔离方案。

  1. The Decoder76

    Nvidia 发布 DSX POD 模块化数据中心,部署周期缩短至 14 天

    Nvidia 在 GTC Berlin 发布 DSX POD,这是一种基于 Vera Rubin 系统的模块化数据中心参考设计。合作伙伴在工厂完成预装和测试,现场仅需连接电力、冷却和网络,将部署时间从六个月缩短至最少 14 天。该平台采用闭环冷却系统,可减少 100% 的冷却水消耗,首批设备预计 2027 年初全球发货。

    推荐理由:模块化预装方案将部署周期压缩至14天,并显著降低冷却水消耗,为数据中心建设提供了可量化的效率参考。

  2. NVIDIA Blog65

    NVIDIA Vera CPU 助力欧洲构建本地 AI 基础设施

    NVIDIA Vera CPU 正被 Nebius、Nscale 等欧洲云服务商及 Bull、Dell 等硬件厂商采用,用于构建本地 AI 基础设施。Vera 凭借高单核性能与内存带宽,加速了智能体在信息检索、代码执行及沙箱启动等高频任务中的处理速度,支持大规模并发部署。

    推荐理由:原文梳理了 Vera CPU 在欧洲主权 AI 基础设施中的具体落地场景,涵盖云服务商、服务器厂商及 Agent 沙箱平台,展示了其支撑智能体大规模并发执行的能力。

  3. NVIDIA Blog62

    NVIDIA 欧洲云合作伙伴扩展主权、开放且安全的 AI 智能体基础设施

    NVIDIA 欧洲云合作伙伴正在扩展区域算力,支持模型训练、推理及智能体应用,并建立智能体访问边界。Nscale 使用 NVIDIA DSX MaxLPS 在相同功耗预算下实现了 37% 的 GPU 数量增加和近 50% 的推理吞吐量提升。

    推荐理由:原文展示了欧洲云厂商在算力、开放模型和智能体安全边界上的具体进展,读者可据此了解区域 AI 基础设施的落地形态。