跳到正文
10月14日周三
  1. AWS Machine Learning Blog52

    AWS 分享 Amazon SageMaker AI 上 MoE 模型的内核工程优化实践

    AWS 团队在 Amazon SageMaker AI 上实施了多项针对混合专家(MoE)模型的 GPU 内核优化,旨在降低推理延迟并提升吞吐量。通过 Swap-AB 矩阵转置、FP8 量化后端路由调整及消除 Triton JIT 重编译,在 H200 上实现了最高 10% 的吞吐量提升和 9% 的首 token 延迟(TTFT)降低。

  2. AWS Machine Learning Blog78

    在 Amazon Bedrock 上使用 Grok 4.7 构建长时程智能体

    AWS 发布教程,指导如何在 Amazon Bedrock 上构建基于 Grok 4.7 的工具调用智能体,并评估不同推理强度(reasoning effort)对长时程任务的影响。在三个需要搜索而非查表的合成任务中,智能体在 72 次运行中答对 67 次,其中 xhigh 强度下 18 次全部正确,而 low 强度下答对 15 次且输出 token 仅为 xhigh 的约八分之一。

    推荐理由:原文给出了在 Amazon Bedrock 上构建 Grok 4.7 智能体的完整流程,并展示了不同推理强度下的准确率与 token 消耗对比。

10月13日周二
  1. Simon Willison28

    web-edit 0.1a0 发布

    Simon Willison 发布 web-edit 0.1a0,这是一个用于在文件夹中查看和编辑文件的 Python Web 应用。该工具旨在通过 Tailscale 网络运行,允许用户从手机直接编辑文件,从而避免将凭证通过 LLM 传输。

  2. AWS Machine Learning Blog73

    Amazon Bedrock 通过全球跨区推理在亚太五地接入 OpenAI GPT-6 模型

    Amazon Bedrock 通过全球跨区推理在泰国、马来西亚、新加坡、印尼和台湾提供 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra 的调用能力。文章演示了使用 Converse API 和 OpenAI 兼容 API 发起请求,并给出了 IAM 策略、SCP 例外配置、配额计算和 CloudTrail 监控的具体方法。

    推荐理由:原文给出了跨区推理的调用路径、权限配置和配额规则,读者可以据此在亚太区域接入 GPT-6 模型。

  3. GitHub Blog · AI & ML67

    GitHub Copilot 如何通过四种方式理解代码库

    GitHub Copilot 提供了四种配置项目上下文的方法,帮助模型遵循团队规范并执行复杂任务。用户可通过 .github/copilot-instructions.md 定义全局或路径特定的自定义指令,利用 .github/skills 文件夹封装可复用的 Agent 技能,在 .github/agents 中创建处理跨文件任务的自定义智能体,并接入 MCP 服务器以连接外部工具和数据源。

    推荐理由:原文给出了四种配置Copilot项目上下文的具体路径,读者可据此将团队规范转化为可复用的自动化指令。

  4. AWS Machine Learning Blog62

    AWS 发布多节点 Ray LLM 深度学习容器以支持 EKS 上的分离式推理

    AWS 推出多节点 Ray LLM 深度学习容器,支持在 Amazon EKS 上通过两个 GPU 节点部署大型语言模型,实现预填充和解码阶段的分离。该容器预集成了 vLLM、Ray Serve、NIXL 和 EFA 组件,通过 OpenAI 兼容接口提供服务,无需编写应用代码即可配置 KV 缓存传输,从而提升大规模推理性能并简化依赖管理。

    推荐理由:展示了如何利用预构建容器在 EKS 上实现多节点推理分离,简化了分布式部署流程。

10月11日周日
10月9日周五
  1. AWS Machine Learning Blog72

    Postman 如何在 Amazon Bedrock 上为 4000 万开发者运行 Agent Mode

    Postman 在 Amazon Bedrock 上构建 Agent Mode,通过动态工具选择、Schema 感知读取和专用上下文处理器解决成熟产品集成 AI 智能体的工程挑战。架构利用 Bedrock 的跨区推理、零数据保留和分层提示词缓存,在保障数据合规的同时应对突发流量并控制推理成本。

    推荐理由:文章复盘了 Postman 在 4000 万开发者规模下构建 Agent Mode 的工程实践,提供了控制工具膨胀、Schema 读取和上下文管理的可复用架构模式。

  2. Simon Willison12

    ttok 0.4 发布

    ttok 0.4 发布,修复了 Click 警告并更新了 CI,新增 --list-models 命令以列出可用模型。该工具基于 OpenAI 开源的 tiktoken 库,支持通过 uvx 直接运行,例如使用 `cat file.txt | uvx ttok` 统计文件 token 数。

  3. NVIDIA Blog72

    NVIDIA Omniverse 结合前沿 AI 智能体构建物理仿真应用

    NVIDIA 展示了开发者利用 GPT-6 Astra 等前沿 AI 智能体结合 Omniverse 库构建物理仿真应用的工作流。案例涵盖使用 Houdini 创建可编辑 3D 资产、在 Isaac Sim 中测试机器人拆解、从现场扫描重建建筑模型以及构建气轮机数字孪生。这些项目通过自然语言指令驱动智能体连接物理、渲染和传感器模拟能力,帮助开发者在物理 AI 仿真中探索场景、调查故障并改进设计。

    推荐理由:展示了前沿模型与 Omniverse 库结合构建物理仿真应用的具体工作流,为开发者提供可复用的智能体辅助开发路径。

10月8日周四
  1. AWS Machine Learning Blog52

    Amazon Quick 与 Bedrock 如何通过实时 ACL 验证解决 RAG 访问控制难题

    Amazon Quick 和 Amazon Bedrock Knowledge Bases 采用双层架构解决企业 RAG 中的权限同步滞后问题。系统在预检索阶段利用向量索引中的缓存 ACL 进行初步过滤,随后在第二阶段通过调用 Google Drive 等数据源 API 进行实时权限验证,确保仅将用户有权访问的文档片段作为上下文输入 LLM。

10月7日周三
  1. AWS Machine Learning Blog70

    AWS 提出智能体自动化业务价值评估框架

    AWS 提出智能体自动化业务价值评估框架,指出传统 RPA 的 ROI 模型无法衡量智能体在异常处理、决策质量和变更韧性上的价值。该框架建议将投资视为工作流组合,通过量化释放产能、减少纠错成本、提升决策结果和降低维护开销四个价值池,并设定明确的止损规则来验证投资回报。

    推荐理由:原文提出了包含时间、异常、决策质量和维护成本四个维度的评估框架,帮助读者量化智能体自动化在现有 RPA 模型之外的真实业务价值。

9月26日周六
  1. GitHub Blog · AI & ML62

    GitHub Copilot 教程:使用 Canvases 构建自定义工作流

    GitHub Copilot 应用支持通过 /create-canvas 技能,利用自然语言描述生成可自定义的交互界面(Canvases)。该界面支持用户与智能体双向实时协作,可保存为扩展供团队共享,无需手动编码即可将看板、清单等工作流转化为可视化工具。

    推荐理由:文章演示了如何通过自然语言描述生成双向交互界面,展示了智能体与用户实时协作的工作流构建方法。

9月24日周四
  1. GitHub Blog · AI & ML52

    GitHub Copilot 应用重构 Pull Request 视图以支持超大代码差异渲染

    GitHub Copilot 应用重构了 Pull Request 视图,使其能够流畅渲染包含 2200 个文件和超百万行变更的超大代码差异。该方案通过分离确定性代码几何与动态评论块几何,并引入基于空闲和滚动门控的测量调度器,解决了评论高度未知导致的布局抖动问题。此外,团队构建了自主测量循环工具,利用生产环境探针自动检测并修复渲染性能瓶颈。