跳到正文
10月13日周二
  1. AWS Machine Learning Blog73

    Amazon Bedrock 通过全球跨区推理在亚太五地接入 OpenAI GPT-6 模型

    Amazon Bedrock 通过全球跨区推理在泰国、马来西亚、新加坡、印尼和台湾提供 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra 的调用能力。文章演示了使用 Converse API 和 OpenAI 兼容 API 发起请求,并给出了 IAM 策略、SCP 例外配置、配额计算和 CloudTrail 监控的具体方法。

    推荐理由:原文给出了跨区推理的调用路径、权限配置和配额规则,读者可以据此在亚太区域接入 GPT-6 模型。

  2. AWS Machine Learning Blog62

    AWS 发布多节点 Ray LLM 深度学习容器以支持 EKS 上的分离式推理

    AWS 推出多节点 Ray LLM 深度学习容器,支持在 Amazon EKS 上通过两个 GPU 节点部署大型语言模型,实现预填充和解码阶段的分离。该容器预集成了 vLLM、Ray Serve、NIXL 和 EFA 组件,通过 OpenAI 兼容接口提供服务,无需编写应用代码即可配置 KV 缓存传输,从而提升大规模推理性能并简化依赖管理。

    推荐理由:展示了如何利用预构建容器在 EKS 上实现多节点推理分离,简化了分布式部署流程。

10月12日周一
  1. NVIDIA Blog70

    NVIDIA 在 OCP 峰会开放 Vera Rubin 架构以助力全球 AI 工厂规模化

    NVIDIA 在 OCP 全球峰会上宣布将 Vera Rubin 机架和计算托盘设计通过 MGX 架构贡献给 OCP,为下一代 AI 工厂基础设施提供共同基础。同时发布了 DSX AI Factory 的开源软件组件,并与 Meta、Google、Cisco 等合作伙伴推进开放网络标准及 800V DC 供电架构。

    推荐理由:原文展示了 Vera Rubin 架构向 OCP 开放及多项开源组件,为构建标准化 AI 工厂提供了具体技术路径。

10月9日周五
  1. AWS Machine Learning Blog72

    Postman 如何在 Amazon Bedrock 上为 4000 万开发者运行 Agent Mode

    Postman 在 Amazon Bedrock 上构建 Agent Mode,通过动态工具选择、Schema 感知读取和专用上下文处理器解决成熟产品集成 AI 智能体的工程挑战。架构利用 Bedrock 的跨区推理、零数据保留和分层提示词缓存,在保障数据合规的同时应对突发流量并控制推理成本。

    推荐理由:文章复盘了 Postman 在 4000 万开发者规模下构建 Agent Mode 的工程实践,提供了控制工具膨胀、Schema 读取和上下文管理的可复用架构模式。

10月8日周四
  1. AWS Machine Learning Blog75

    AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线

    AWS 宣布 Claude Haiku 5.5 现已在 Amazon Bedrock 和 Claude Platform on AWS 上可用。该模型是 Claude 5.5 系列中速度最快、效率最高的模型,专为子智能体和高频、成本敏感型任务设计,大多数任务成本比 Claude Haiku 4.5 低约 75%。

    推荐理由:文章说明了 Claude Haiku 5.5 在 AWS 上的接入方式,并给出了与 Opus 5.5 配合使用的场景建议。

10月7日周三
  1. AWS Machine Learning Blog70

    AWS 提出智能体自动化业务价值评估框架

    AWS 提出智能体自动化业务价值评估框架,指出传统 RPA 的 ROI 模型无法衡量智能体在异常处理、决策质量和变更韧性上的价值。该框架建议将投资视为工作流组合,通过量化释放产能、减少纠错成本、提升决策结果和降低维护开销四个价值池,并设定明确的止损规则来验证投资回报。

    推荐理由:原文提出了包含时间、异常、决策质量和维护成本四个维度的评估框架,帮助读者量化智能体自动化在现有 RPA 模型之外的真实业务价值。

10月2日周五
  1. NVIDIA Blog67

    NVIDIA DGX Spark 64GB 版本发布,支持本地运行百亿参数模型

    NVIDIA 发布 DGX Spark 64GB 配置,起售价 4999 美元,支持在本地运行最高 1000 亿参数的模型。通过 NVIDIA Sync Cluster Assistant,两台 64GB 设备可组成集群,内存池化至 128GB 并支持最高 2000 亿参数模型,性能提升最高 1.7 倍。

    推荐理由:64GB 配置降低了本地运行百亿参数模型的门槛,双机集群方案提供了无需额外配置的扩展路径。

10月1日周四
9月24日周四
  1. GitHub Blog · AI & ML52

    GitHub Copilot 应用重构 Pull Request 视图以支持超大代码差异渲染

    GitHub Copilot 应用重构了 Pull Request 视图,使其能够流畅渲染包含 2200 个文件和超百万行变更的超大代码差异。该方案通过分离确定性代码几何与动态评论块几何,并引入基于空闲和滚动门控的测量调度器,解决了评论高度未知导致的布局抖动问题。此外,团队构建了自主测量循环工具,利用生产环境探针自动检测并修复渲染性能瓶颈。

  2. Microsoft Research75

    Microsoft Research 发布物理 AI 推理卸载工具,提升机器人性能与续航

    Microsoft Research 在 Physical AI Toolchain 中新增推理卸载功能,支持将机器人 AI 工作负载分发至边缘或云端 GPU。研究显示,相比板载 GPU,卸载推理可显著提升任务成功率、支持更大模型并延长电池续航,同时提供基于 Kubernetes 的自动容器化部署工具。

    推荐理由:研究数据表明推理卸载能显著提升机器人任务成功率并延长续航,为物理 AI 系统架构设计提供了关键参考。

7月29日周三
  1. Berkeley AI Research72

    K-Search 实现 CUDA 到 MLX 内核优化知识自动迁移

    IBM Research 与 Berkeley Sky Lab 合作扩展 K-Search 框架,通过结构化翻译层将 CUDA 内核优化知识迁移至 Apple Silicon 的 MLX 后端。在 Attention 内核上达到原生 MLX 性能 0.97 倍,Mamba SSM 内核 prefill 速度较社区实现提升 20 倍,验证了跨硬件内核优化自动化的可行性。

    推荐理由:展示了如何将 CUDA 优化知识自动迁移至 Apple Silicon,为跨硬件内核优化提供了可复用的结构化方法。

5月8日周五
  1. Berkeley AI Research67

    自适应并行推理:高效推理扩展的下一个范式

    Berkeley AI Research 发布关于自适应并行推理(APR)的研究综述,探讨模型如何自主决定任务分解、并行线程数量及协调方式。文章对比了 Multiverse 和 ThreadWeaver 等方案在 KV cache 管理与推理引擎修改上的差异,并分析了通过强化学习训练模型掌握并行控制流的奖励机制设计,指出 APR 在降低延迟与提升准确率方面的潜力及当前存在的稳定性挑战。

    推荐理由:文章梳理了自适应并行推理范式,对比了不同推理引擎实现与训练奖励机制,为优化推理效率提供了技术参考。