SageMaker SDK v3 边缘端全车队计算机视觉生命周期管理
基于 SageMaker SDK v3 构建的边缘端计算机视觉全车队生命周期管理方案,利用 SageMaker Neo 替代已弃用的 Edge Manager 进行模型优化。
基于 SageMaker SDK v3 构建的边缘端计算机视觉全车队生命周期管理方案,利用 SageMaker Neo 替代已弃用的 Edge Manager 进行模型优化。
AWS 教程演示了如何在 Amazon SageMaker AI 上部署 Kokoro-82M 模型,通过双向 WebSocket 流式传输实现 AI 智能体低延迟语音合成。实测显示,逐句流式传输将首音频字节时间从 329.3 毫秒降至 156.7 毫秒,在部署环境中比批量处理快 2.4 至 3.5 倍。
推荐理由:原文给出了双向流式传输与音频编码的实测对比,读者可据此优化语音智能体的首包延迟。
AWS 发布 Amazon Quick 的 HIPAA 合规部署指南,明确该服务在 Web、桌面和移动端均符合 HIPAA 资格,但合规性取决于客户自身的配置与管控。
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建了企业知识助手,无需自行管理 RAG 基础设施即可跨四国语言回答员工问题。该方案利用原生 SharePoint 连接器直接摄取文档,并采用混合搜索与文档级访问控制,确保答案基于员工权限内的内容生成。
Rescale 基于 AWS 的 AI-DLC 框架和 Strands Agents 构建了 AI 分诊智能体,用于自动分类和路由夜间端到端测试失败。该智能体调用 Amazon Bedrock 上的 Claude Opus 4.8 识别根本原因,并通过 MCP 查询日志生成修复报告。团队通过五天工作坊完成从需求定义到预发布部署,数周内上线生产环境。
在 Amazon SageMaker AI 上部署 Kokoro-82M 模型时,通过实测 Q_max 和 T_total 两个指标推导自动扩缩容阈值,替代传统猜测值。该方案利用 ConcurrentRequestsPerModel 原生指标,解决了 TTS 非自回归特性导致的默认监控失效问题,确保流量高峰下延迟符合 SLO。
AWS 解决方案架构团队发布开源多智能体系统 Deep Insight,旨在解决生产环境中的执行流控制、模型选择、安全部署、代码隔离及运维监控五大挑战。该系统采用 Strands Agents SDK 的 Graph 模式定义智能体协作流程,并结合 Amazon Bedrock AgentCore 与 AWS Fargate 实现私有 VPC 内的会话隔离与沙箱代码执行。
推荐理由:原文展示了多智能体系统从开发到生产落地的完整架构,读者可参考其分层设计与安全隔离方案。
该指南演示了如何通过 AWS PrivateLink 配置 VPC 端点和连接,使 Amazon Quick 在不经过公共互联网的情况下访问企业内网数据源。此架构利用 AWS 骨干网传输流量,支持 Quick Sight 查询本地数据库及 Quick Agents 调用私有 MCP 服务器,从而满足 HIPAA 等合规要求并降低攻击面。
AWS 发布基于 Strands Agents 的自适应智能体框架(AAIF)教程,通过本地 SLM 处理常规任务、云端模型处理复杂分析来降低 API 成本。该框架使用 llama3.2:1b 作为本地编排器,结合 Ollama 和 Amazon Bedrock,并展示了如何通过 MCP 协议实现分布式工具调用。
U.S. Hunger 利用 Amazon Quick 连接组织数据,使领导层能直接探索信息并基于共享定义协作。该非营利组织通过 Quick Spaces 整合 KPI 定义与财务文档,17 名员工已接入该工具。数据每晚 2 点从 SQL Server 刷新至 SPICE 引擎,支持 CEO 直接审查 Salesforce 报告并迭代分析指令。
AWS 发布教程,演示如何在 AWS Trainium 上使用 torchtitan 训练 Qwen3 模型。教程提供了三种配置方法:使用 Hugging Face Transformers v5 作为后端、使用 torchtitan 原生 Qwen3 实现,以及通过 Neuron Kernel Interface (NKI) 优化混合专家 (MoE) 层。
OpenAI 介绍了 ChatGPT 新型广告系统的构建过程。该系统利用 LLM 理解对话意图,确保广告与答案分离,并实现大规模的相关性广告投放。
推荐理由:原文说明了 ChatGPT 广告系统如何区分答案与广告,读者可据此理解其信任机制设计。
i14 利用 TorchNeuron Native 在 AWS Trainium2 上实现了 Laplace 3B 线性注意力模型的训练与推理。该模型将推理状态固定为每序列 29.5 MB,在单台 trn2.48xlarge 实例上实现了约 120,000 tokens/s 的训练吞吐和 11,544 output tokens/s 的推理吞吐。
推荐理由:展示了线性注意力模型在 AWS Trainium2 上的训练与推理工程细节,为长上下文场景提供了可复用的部署参考。
Simon Willison 使用 Claude 构建了一款名为 Battle Drones 的 RTS 游戏,实现了基于音频信号的静态网页多人联机。该项目经历了 12 个主要版本迭代,包含 3D 模型、随机地图生成器以及 LLM 智能体对战模式。作者指出,通过提示词让模型运行模拟测试并调整游戏平衡,显著提升了游戏的可玩性。
推荐理由:作者展示了如何通过多轮提示词让编码智能体完成游戏开发,并实现了基于音频的静态网页多人联机。
AWS 团队在 Amazon SageMaker HyperPod 上通过 SFT 和 GRPO 微调 GPT-OSS-20B,将多语言推理正确率从 22% 提升至 100%。SFT 解决了模型默认用英语推理的问题,GRPO 进一步将答案语言正确率从 62% 提升至 70%。
推荐理由:文章给出了 SFT 与 GRPO 在能力缺口下的分工结论,读者可据此判断何时使用强化学习微调。
AWS 发布 Amazon Quick 与 Amazon Bedrock AgentCore 结合 MCP 的供应链智能方案,将原本分散在 ERP、采购、邮件等系统的查询与行动整合到单一对话中。
推荐理由:原文展示了 Amazon Quick 与 Bedrock AgentCore 结合 MCP 的架构,读者可据此理解企业级智能体如何连接多源数据并实现受控决策。
Smartsheet 推出正式可用的 MCP Server,通过 40 多种工具让 AI 智能体以自然语言读写和管理 Smartsheet 数据。该服务部署在 AWS 上,支持 Amazon Quick 和 Kiro 作为客户端,实现跨工具的项目状态更新与任务管理。
Smartsheet 推出通用可用的 MCP 服务器,允许 AI 智能体通过标准化协议读写和管理 Smartsheet 数据。该服务器包含 40 多种工具,支持通过自然语言更新任务状态、创建行及修改项目结构。用户可通过 Amazon Quick 或 Kiro 连接该服务器,在业务或开发工作流中直接查询和更新项目数据。
Octave Reliance 基于 Amazon Bedrock 和 Cohere Embed v4 构建了多租户 AI 基础架构,将每个用例的部署时间缩短 50%。该架构通过 AgentCore Gateway 和 Bedrock Guardrails 确保数据隔离与内容安全,成功处理了 20 亿份文档的嵌入任务。
Eon 利用 Amazon Bedrock AgentCore 部署 MCP Gateway,替代分散的工具凭证与本地 MCP 进程,实现跨 AWS、GCP 和 Azure 的统一访问。新工程师配置调查工具的时间从两天缩短至约两分钟。该方案通过 Cedar 策略实施最小权限控制,支持人类开发者与自主 SRE 智能体以不同身份接入。
AWS 与 Keyfactor 联合发布参考架构,利用 X.509 PKI 解决多智能体系统中 MCP 工具调用的身份验证缺失问题。该架构结合签名请求信封、用户签名委托断言、RFC 8693 受众限定令牌及实时 OCSP 吊销检查,实现智能体间零信任通信。
推荐理由:原文给出了基于 X.509 PKI 的多智能体身份验证参考架构,读者可据此解决 MCP 工具调用中的身份伪造与重放风险。
AWS Agent Registry 支持在运行时通过混合语义搜索发现并实例化 MCP 服务器和 A2A 智能体,避免在编排器中硬编码工具端点。该服务通过审批工作流管理工具目录,将连接元数据与调用凭证分离,使企业系统能根据用户请求动态组装临时智能体。
推荐理由:原文展示了通过语义搜索动态发现 MCP 和 A2A 工具的实现路径,为大型 API 场景下的 Agent 编排提供了可参考的架构模式。
Amazon Bedrock 跨区推理(CRIS)现支持加拿大区域访问 OpenAI GPT-5.6、GPT-6 及 GPT-6.1 系列模型。这些模型支持 100 万 token 上下文窗口、推理模式及工具调用,并可通过 OpenAI Responses API 或 Bedrock Converse API 调用。
三位资深 Java Champion 分享了利用 GitHub Copilot 在开源及生产环境中提升效率的实践。Vlad Mihalcea 借助 Copilot 将原本需数周的应用开发缩短至两天,并通过自定义技能保持代码风格一致。Patrick Baumgartner 则利用其完成大规模演示文稿迁移,并通过视觉对比验证确保内容完整性。
AWS 发布教程,演示如何使用 AtScale 和 Amazon Bedrock AgentCore 为智能体 AI 构建语义层。该方案利用 AtScale 的语义建模语言(SML)将业务逻辑定义在 Git 中,并通过 MCP 协议向 Strands 智能体暴露查询工具。
AWS 发布教程,演示如何使用 Strategy Mosaic 作为语义层,通过 MCP 协议连接 Amazon Bedrock AgentCore 托管的 Strands 智能体。该架构支持跨 Amazon Redshift 和 Amazon Aurora 的无 ETL 联合查询,并将行级和列级安全策略直接应用于智能体调用,确保不同角色用户仅能访问其权限范围内的数据。
推荐理由:演示了如何通过 MCP 协议将语义层接入 Agent,并实现跨数据源查询与细粒度权限控制。
AWS 博客演示了使用 Denodo 平台和 Amazon Bedrock AgentCore 构建智能体语义层的架构。该方案通过 Denodo MCP Server 将治理后的数据视图暴露给智能体,并支持联邦查询 Amazon Aurora、Amazon Redshift 及本地 PostgreSQL 数据库。
GitHub Copilot 支持在 VS Code 中直接打开应用会话,保留对话、代码变更及工作树上下文。用户可在编辑器中逐行审查差异、手动编辑代码并本地运行测试,无需重建会话。完成修改后,可直接提交并推送更新至关联的 Pull Request。
Deepgram 将 Nova-3 语音转文本模型移植至 AWS Trainium2,用于离线批量工作负载。该配置在单台 EC2 trn2.3xlarge 实例上运行 8 个模型副本,相比原有计算方案,每美元处理的音频量提升 11% 至 70%。
开发者正利用 Claude Code 等 AI 智能体通过 Wi-Fi 远程清理智能电视,移除预装广告、臃肿应用并定制启动器。部分方案如 dumbtv 和 cleanyourtv 已在 GitHub 开源,支持小米、索尼、LG 等多个品牌。尽管无需 Root 权限且可恢复出厂设置,但用户反馈显示 AI 操作存在误删关键包或导致设备变砖的风险。
AWS 在 vLLM 中引入双向 KV 缓存传输机制,允许 Decode 节点将已计算的 KV 块返回给 Prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 实例的 1P1D 部署中,该功能使 Qwen3-32B 的 TTFT 降低最高 1.6 倍,zai-org/GLM-5-FP8 降低最高 3.3 倍。
推荐理由:文章展示了双向 KV 传输在 vLLM 中的实现机制,并给出了多轮智能体负载下 TTFT 降低的具体基准数据。
vLLM 新增基于 Push 的 NIXL 连接器,通过将 KV 缓存传输协调移出关键路径,显著降低分离式推理的首 token 延迟(TTFT)和每 token 输出时间(TPOT)。
推荐理由:原文展示了 push 模式如何通过重叠计算与传输协调降低延迟,为高并发推理部署提供了具体的性能优化路径。
llm-echo 0.5 发布,该调试插件提供不依赖 LLM 的 echo 模型,仅重复输入提示词。新版本更新了模拟 token 用量统计,纳入工具调用、系统提示词和推理 token。
sparqlite 是一个基于 Rust 的 SQLite 加载扩展,支持在 SQLite 内部原生执行 SPARQL 1.1 查询。该扩展由 Simon Willison 使用 Claude Code 的 Ultracode 模式生成,运行 12 小时后产出完整代码,在计数模式下比 SQL 翻译快 3.5 倍,并通过了 636 个 W3C 评估测试。
Simon Willison 利用 Claude Opus 5.5 Extra 在 Claude Code 中构建了一款名为 Chirp Pong 的双人游戏。该游戏运行于静态 HTML,通过麦克风发送 chirp 音频信号实现两台手机间的数据传输。
Third Moment Research 利用 GPT-6 Astra、GPT-6.1 Sol、Codex 及 Daybreak 构建智能体,实现连续运行 10,000 个智能体超过 36 小时。该实验室开发的智能体具备多日专注工作能力,并随使用过程持续改进。
AWS 发布基于 Amazon Bedrock AgentCore 的自改进文档处理方案,利用八个专用智能体协作实现文档分类、提取、验证及自动学习。该系统通过 Strands Agents 构建工作流,能自动适应新文档格式并复用提取指令,将处理时间从 3 分 49 秒缩短至 1 分 30 秒,月处理千份文档成本约 58 美元。
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,在 90 天内将关键云暴露风险降低 90% 以上且无生产事故。该系统通过调查、安全评分、修复及代码生成四个专用智能体,自动处理 CNAPP 发现的安全问题。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可自动化生成演示文稿,内部测试显示耗时不足 90 秒。该方案使用 Strands Agents 框架编排 Claude Sonnet 4.6 进行内容创作,结合 Amazon Titan Text Embeddings v2 实现 RAG 检索以增强内容准确性。
本文演示了如何使用 SageMaker Python SDK 从 Amazon SageMaker JumpStart 部署预训练模型并执行轻量级性能测试。该流程通过发送示例提示词测量延迟、输出长度及生成速率,测试完成后自动清理端点。此方法适用于多种兼容模型,但具体载荷格式和实例类型需根据模型调整。