跳到正文
10月28日周三
  1. AWS Machine Learning Blog62

    AWS SageMaker AI 支持 SOCI 索引镜像以加速任务启动

    AWS 宣布 SageMaker AI 训练和处理任务支持 SOCI 索引镜像,通过懒加载将容器启动时间从分钟级缩短至秒级。基准测试显示,35.4 GB 镜像的下载时间从 7 分 17 秒降至 3-11 秒,GPU 空闲时间最多减少 90%,且不影响后续训练性能。用户可直接使用带 -soci 后缀的预索引 DLC 镜像,或为自定义镜像创建索引,无需修改任务定义。

    推荐理由:原文给出了SOCI索引在SageMaker中的具体加速数据和两种接入方式,读者可据此评估对现有训练工作流的影响。

10月27日周二
  1. Simon Willison40

    webframe 作为爬虫与沙箱工具的评估

    webframe 被评估为一款快速、轻量级的浏览器 JavaScript 运行器,适合用于网页抓取,性能与 shot-scraper 相当。该工具由 Jeff Lindsay 开发,基于 Go 和 glaze 库构建,利用系统浏览器执行网页并输出日志。评估发现其存在 CSP 失败、0×0 视口、加载挂起及缺失 HTTP 元数据等显著缺陷。

  2. AWS Machine Learning Blog72

    使用 CDK 在 Amazon Bedrock 托管知识库上构建 Agentic 检索系统

    AWS 发布教程,展示如何使用 AWS CDK 在 Amazon Bedrock 托管知识库上构建企业级 Agentic 检索系统。该系统通过 AgentCore Gateway 将知识库暴露为 MCP 工具,支持多知识库语义路由和迭代检索,并内置七层可观测性仪表板及按需与连续评估功能。

    推荐理由:原文展示了如何用 CDK 部署带可观测性和评估的 Agentic RAG 系统,读者可参考其架构解决多知识库路由问题。

  3. AWS Machine Learning Blog75

    Amazon Bedrock 上 OpenAI 模型的 Prompt Caching 模式:降低 AI Agent 成本

    AWS 官方博客介绍了在 Amazon Bedrock 上使用 OpenAI 模型时,通过 Prompt Caching 减少 AI Agent 重复读取上下文的成本。文章演示了显式与隐式缓存结合、工具变更、子代理共享前缀等场景的代码实现,并指出在 GPT-6 Astra 的六轮工作负载中,输入成本可降低约 62%。

    推荐理由:原文给出了在 Amazon Bedrock 上为 OpenAI 模型配置 Prompt Caching 的具体代码模式,读者可据此降低多轮 Agent 的输入成本。

10月26日周一
  1. The Decoder60

    华尔街高频交易机构竞逐AI算力,自建数据中心并投资芯片初创

    Jane Street、Hudson River Trading等高频交易机构正竞逐AI算力,部分机构年支出达10亿美元。Jane Street在德州运营拥有4000多块Nvidia GPU的数据中心,并直接投资CoreWeave及芯片初创Etched;Hudson River则与CoreWeave签订多年期合同。行业高管认为,尽管成本上升和芯片快速老化是风险,但不布局AI比布局更危险。

10月23日周五
  1. NVIDIA Blog42

    哈萨克斯坦扩大 AI 算力部署

    Firebird 获准在哈萨克斯坦部署 45,000 块 NVIDIA Grace Blackwell GPU,首期目标 2027 年 Q3 商用,二期总容量达 500 兆瓦。Kazakhtelecom 已在阿斯塔纳和阿拉木图部署 400 块 H200 和 480 块 B300 GPU,计划明年新增超 1,000 块 GPU 及 1,000 块 Vera Rubin GPU。

  2. MIT Technology Review · AI42

    企业 AI 服务框架(Serving Harness)设计指南:构建可持续的生产架构

    企业 AI 竞争焦点正从模型能力转向围绕模型构建的服务框架(serving harness),以确认可靠、经济且大规模交付智能。架构设计应基于工作负载约束而非单一模型,通过优化内存管理、调度及 GPU 利用率解决生产瓶颈。这种适应性架构能降低模型迭代成本,使技术升级成为配置决策而非平台重建。

  3. The Decoder80

    Google 发布 Agent Compute Engine,为每个 Gemini 智能体提供硬件隔离微虚拟机

    Google 宣布推出 Agent Compute Engine,该服务为每个 AI 智能体提供独立的硬件隔离微虚拟机,目前已支持 Gemini 并将在未来几个月开放预览。每个智能体运行在由 Google Titanium 芯片保障安全的 microVM 中,空闲时自动暂停以释放资源,VM 间共享内存进一步降低了运行成本。

    推荐理由:该服务通过硬件隔离微虚拟机和共享内存机制,显著降低了大规模智能体部署的成本与资源占用。

  4. AWS Machine Learning Blog62

    AWS 教程:在 Amazon SageMaker AI 上使用 Kokoro TTS 实现 AI 智能体低延迟语音流式传输

    AWS 教程演示了如何在 Amazon SageMaker AI 上部署 Kokoro-82M 模型,通过双向 WebSocket 流式传输实现 AI 智能体低延迟语音合成。实测显示,逐句流式传输将首音频字节时间从 329.3 毫秒降至 156.7 毫秒,在部署环境中比批量处理快 2.4 至 3.5 倍。

    推荐理由:原文给出了双向流式传输与音频编码的实测对比,读者可据此优化语音智能体的首包延迟。

  5. AWS Machine Learning Blog82

    Amazon SageMaker AI 发布训练会话 API,支持无 GPU 管理自定义训练循环

    Amazon SageMaker AI 发布训练会话 API,允许用户在本地 Python 进程中编写训练循环,由服务托管 GPU 执行采样、梯度更新和检查点操作。该功能支持 SFT、RL 等自定义算法,按 token 计费,并配套发布包含 SFT 和 RL 配方的训练会话 cookbook。

    推荐理由:该功能将抽象边界下沉至训练操作层,允许用户在本地编写训练循环,由服务托管 GPU 基础设施,从而在算法自由度与运维成本间取得平衡。

  6. AWS Machine Learning Blog75

    SageMaker AI 训练会话正式可用,支持无 GPU 管理自定义模型

    Amazon SageMaker AI 宣布其无服务器模型定制中的训练会话功能正式可用,允许用户在无需管理 GPU 基础设施的情况下自定义后训练逻辑。该功能支持 SFT、DPO、RLVR 及多轮强化学习等技术,用户可编写自定义损失函数和奖励信号,由平台处理 GPU 分配、分布式执行及检查点存储。

    同一新闻,精选展示《Amazon SageMaker AI 发布训练会话 API,支持无 GPU 管理自定义训练循环》

  7. AWS Machine Learning Blog42

    Rescale 如何利用 Strands Agents 和 AI-DLC 构建 AI 分诊智能体

    Rescale 基于 AWS 的 AI-DLC 框架和 Strands Agents 构建了 AI 分诊智能体,用于自动分类和路由夜间端到端测试失败。该智能体调用 Amazon Bedrock 上的 Claude Opus 4.8 识别根本原因,并通过 MCP 查询日志生成修复报告。团队通过五天工作坊完成从需求定义到预发布部署,数周内上线生产环境。

10月22日周四
  1. AWS Machine Learning Blog77

    AWS 发布 Deep Insight 多智能体系统解决生产环境五大挑战

    AWS 解决方案架构团队发布开源多智能体系统 Deep Insight,旨在解决生产环境中的执行流控制、模型选择、安全部署、代码隔离及运维监控五大挑战。该系统采用 Strands Agents SDK 的 Graph 模式定义智能体协作流程,并结合 Amazon Bedrock AgentCore 与 AWS Fargate 实现私有 VPC 内的会话隔离与沙箱代码执行。

    推荐理由:原文展示了多智能体系统从开发到生产落地的完整架构,读者可参考其分层设计与安全隔离方案。

  2. AWS Machine Learning Blog42

    如何利用 AWS PrivateLink 保障 Amazon Quick 的企业内网私有访问

    该指南演示了如何通过 AWS PrivateLink 配置 VPC 端点和连接,使 Amazon Quick 在不经过公共互联网的情况下访问企业内网数据源。此架构利用 AWS 骨干网传输流量,支持 Quick Sight 查询本地数据库及 Quick Agents 调用私有 MCP 服务器,从而满足 HIPAA 等合规要求并降低攻击面。

  3. AWS Machine Learning Blog20

    U.S. Hunger 如何利用 Amazon Quick 连接领导层与数据

    U.S. Hunger 利用 Amazon Quick 连接组织数据,使领导层能直接探索信息并基于共享定义协作。该非营利组织通过 Quick Spaces 整合 KPI 定义与财务文档,17 名员工已接入该工具。数据每晚 2 点从 SQL Server 刷新至 SPICE 引擎,支持 CEO 直接审查 Salesforce 报告并迭代分析指令。

10月21日周三
  1. The Decoder76

    Nvidia 发布 DSX POD 模块化数据中心,部署周期缩短至 14 天

    Nvidia 在 GTC Berlin 发布 DSX POD,这是一种基于 Vera Rubin 系统的模块化数据中心参考设计。合作伙伴在工厂完成预装和测试,现场仅需连接电力、冷却和网络,将部署时间从六个月缩短至最少 14 天。该平台采用闭环冷却系统,可减少 100% 的冷却水消耗,首批设备预计 2027 年初全球发货。

    推荐理由:模块化预装方案将部署周期压缩至14天,并显著降低冷却水消耗,为数据中心建设提供了可量化的效率参考。

  2. NVIDIA Blog65

    NVIDIA Vera CPU 助力欧洲构建本地 AI 基础设施

    NVIDIA Vera CPU 正被 Nebius、Nscale 等欧洲云服务商及 Bull、Dell 等硬件厂商采用,用于构建本地 AI 基础设施。Vera 凭借高单核性能与内存带宽,加速了智能体在信息检索、代码执行及沙箱启动等高频任务中的处理速度,支持大规模并发部署。

    推荐理由:原文梳理了 Vera CPU 在欧洲主权 AI 基础设施中的具体落地场景,涵盖云服务商、服务器厂商及 Agent 沙箱平台,展示了其支撑智能体大规模并发执行的能力。

  3. NVIDIA Blog65

    NVIDIA 在 GTC Berlin 发布 cuDSS 并展示工业 AI 仿真加速案例

    NVIDIA 在 GTC Berlin 宣布 cuDSS 进入通用可用阶段,用于加速结构应力、流体流动等复杂物理仿真。文章列举了多家企业的落地案例:Siemens 利用该方法将工厂校准时间减少 40%;Mercedes-Benz 使用 NVIDIA Cosmos 3 构建车辆检测智能体;imec 和 Infineon 在半导体仿真中分别实现了 40 倍和 12 倍加速。

  4. NVIDIA Blog62

    NVIDIA 欧洲云合作伙伴扩展主权、开放且安全的 AI 智能体基础设施

    NVIDIA 欧洲云合作伙伴正在扩展区域算力,支持模型训练、推理及智能体应用,并建立智能体访问边界。Nscale 使用 NVIDIA DSX MaxLPS 在相同功耗预算下实现了 37% 的 GPU 数量增加和近 50% 的推理吞吐量提升。

    推荐理由:原文展示了欧洲云厂商在算力、开放模型和智能体安全边界上的具体进展,读者可据此了解区域 AI 基础设施的落地形态。

  5. AWS Machine Learning Blog70

    i14 在 AWS Trainium2 上训练和部署 Laplace 3B 线性注意力模型

    i14 利用 TorchNeuron Native 在 AWS Trainium2 上实现了 Laplace 3B 线性注意力模型的训练与推理。该模型将推理状态固定为每序列 29.5 MB,在单台 trn2.48xlarge 实例上实现了约 120,000 tokens/s 的训练吞吐和 11,544 output tokens/s 的推理吞吐。

    推荐理由:展示了线性注意力模型在 AWS Trainium2 上的训练与推理工程细节,为长上下文场景提供了可复用的部署参考。

  6. The Decoder79

    DeepSeek 开源其最快最便宜模型背后的推理引擎 DeepInfer

    DeepSeek 以 Apache License 2.0 开源了其内部推理框架 DeepInfer,该框架基于 vLLM 并优化了计算内核与多芯片分布式处理,用于支撑 V4.1-Flash 模型的大规模快速响应。同时发布的 deepseek-recipe 工具可复现官方 API 的 token 处理逻辑,确保自托管环境与官方服务行为一致,旨在帮助社区降低算力成本并减少能源消耗。

    推荐理由:DeepInfer 基于 vLLM 优化了多芯片分布式处理,为自托管部署提供了降低推理成本的具体路径。

  7. AWS Machine Learning Blog67

    在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理

    AWS 团队在 Amazon SageMaker HyperPod 上通过 SFT 和 GRPO 微调 GPT-OSS-20B,将多语言推理正确率从 22% 提升至 100%。SFT 解决了模型默认用英语推理的问题,GRPO 进一步将答案语言正确率从 62% 提升至 70%。

    推荐理由:文章给出了 SFT 与 GRPO 在能力缺口下的分工结论,读者可据此判断何时使用强化学习微调。

  8. AWS Machine Learning Blog62

    Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能

    AWS 发布 Amazon Quick 与 Amazon Bedrock AgentCore 结合 MCP 的供应链智能方案,将原本分散在 ERP、采购、邮件等系统的查询与行动整合到单一对话中。

    推荐理由:原文展示了 Amazon Quick 与 Bedrock AgentCore 结合 MCP 的架构,读者可据此理解企业级智能体如何连接多源数据并实现受控决策。

  9. AWS Machine Learning Blog42

    Eon 如何利用 Amazon Bedrock AgentCore 上的 MCP Gateway 构建多云调查体系

    Eon 利用 Amazon Bedrock AgentCore 部署 MCP Gateway,替代分散的工具凭证与本地 MCP 进程,实现跨 AWS、GCP 和 Azure 的统一访问。新工程师配置调查工具的时间从两天缩短至约两分钟。该方案通过 Cedar 策略实施最小权限控制,支持人类开发者与自主 SRE 智能体以不同身份接入。

  10. AWS Machine Learning Blog62

    AWS 与 Keyfactor 发布基于 X.509 PKI 的 AI 智能体身份安全参考架构

    AWS 与 Keyfactor 联合发布参考架构,利用 X.509 PKI 解决多智能体系统中 MCP 工具调用的身份验证缺失问题。该架构结合签名请求信封、用户签名委托断言、RFC 8693 受众限定令牌及实时 OCSP 吊销检查,实现智能体间零信任通信。

    推荐理由:原文给出了基于 X.509 PKI 的多智能体身份验证参考架构,读者可据此解决 MCP 工具调用中的身份伪造与重放风险。

  11. AWS Machine Learning Blog73

    AWS Agent Registry 支持运行时动态发现 MCP 和 A2A 工具

    AWS Agent Registry 支持在运行时通过混合语义搜索发现并实例化 MCP 服务器和 A2A 智能体,避免在编排器中硬编码工具端点。该服务通过审批工作流管理工具目录,将连接元数据与调用凭证分离,使企业系统能根据用户请求动态组装临时智能体。

    推荐理由:原文展示了通过语义搜索动态发现 MCP 和 A2A 工具的实现路径,为大型 API 场景下的 Agent 编排提供了可参考的架构模式。