技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
42 条精选近 30 天 34 条共收录 127 条
i14 利用 TorchNeuron Native 在 AWS Trainium2 上实现了 Laplace 3B 线性注意力模型的训练与推理。该模型将推理状态固定为每序列 29.5 MB，在单台 trn2.48xlarge 实例上实现了约 120,000 tokens/s 的训练吞吐和 11,544 output tokens/s 的推理吞吐。
推荐理由：展示了线性注意力模型在 AWS Trainium2 上的训练与推理工程细节，为长上下文场景提供了可复用的部署参考。
DeepSeek 以 Apache License 2.0 开源了其内部推理框架 DeepInfer，该框架基于 vLLM 并优化了计算内核与多芯片分布式处理，用于支撑 V4.1-Flash 模型的大规模快速响应。同时发布的 deepseek-recipe 工具可复现官方 API 的 token 处理逻辑，确保自托管环境与官方服务行为一致，旨在帮助社区降低算力成本并减少能源消耗。
推荐理由：DeepInfer 基于 vLLM 优化了多芯片分布式处理，为自托管部署提供了降低推理成本的具体路径。
AWS 团队在 Amazon SageMaker HyperPod 上通过 SFT 和 GRPO 微调 GPT-OSS-20B，将多语言推理正确率从 22% 提升至 100%。SFT 解决了模型默认用英语推理的问题，GRPO 进一步将答案语言正确率从 62% 提升至 70%。
推荐理由：文章给出了 SFT 与 GRPO 在能力缺口下的分工结论，读者可据此判断何时使用强化学习微调。
AWS 发布 Amazon Quick 与 Amazon Bedrock AgentCore 结合 MCP 的供应链智能方案，将原本分散在 ERP、采购、邮件等系统的查询与行动整合到单一对话中。
推荐理由：原文展示了 Amazon Quick 与 Bedrock AgentCore 结合 MCP 的架构，读者可据此理解企业级智能体如何连接多源数据并实现受控决策。
AWS 与 Keyfactor 联合发布参考架构，利用 X.509 PKI 解决多智能体系统中 MCP 工具调用的身份验证缺失问题。该架构结合签名请求信封、用户签名委托断言、RFC 8693 受众限定令牌及实时 OCSP 吊销检查，实现智能体间零信任通信。
推荐理由：原文给出了基于 X.509 PKI 的多智能体身份验证参考架构，读者可据此解决 MCP 工具调用中的身份伪造与重放风险。
AWS Agent Registry 支持在运行时通过混合语义搜索发现并实例化 MCP 服务器和 A2A 智能体，避免在编排器中硬编码工具端点。该服务通过审批工作流管理工具目录，将连接元数据与调用凭证分离，使企业系统能根据用户请求动态组装临时智能体。
推荐理由：原文展示了通过语义搜索动态发现 MCP 和 A2A 工具的实现路径，为大型 API 场景下的 Agent 编排提供了可参考的架构模式。
AWS 发布教程，演示如何使用 Strategy Mosaic 作为语义层，通过 MCP 协议连接 Amazon Bedrock AgentCore 托管的 Strands 智能体。该架构支持跨 Amazon Redshift 和 Amazon Aurora 的无 ETL 联合查询，并将行级和列级安全策略直接应用于智能体调用，确保不同角色用户仅能访问其权限范围内的数据。
推荐理由：演示了如何通过 MCP 协议将语义层接入 Agent，并实现跨数据源查询与细粒度权限控制。
TwelveLabs 的视频语言模型 Pegasus 1.5 现已在 Amazon Bedrock 上可用，支持直接分析最长两小时的视频并返回带时间戳的结构化 JSON 元数据。该模型新增视频分段、多模态提示（支持参考图像）和即时处理功能，无需预索引即可从 Amazon S3 或 base64 字符串直接读取视频，数据保留在 AWS 数据边界内。
推荐理由：Pegasus 1.5 在 Amazon Bedrock 上支持直接分析长达两小时的视频并返回带时间戳的结构化元数据，为长视频检索提供了新的工程路径。
AWS 在 vLLM 中引入双向 KV 缓存传输机制，允许 Decode 节点将已计算的 KV 块返回给 Prefill 节点，避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 实例的 1P1D 部署中，该功能使 Qwen3-32B 的 TTFT 降低最高 1.6 倍，zai-org/GLM-5-FP8 降低最高 3.3 倍。
推荐理由：文章展示了双向 KV 传输在 vLLM 中的实现机制，并给出了多轮智能体负载下 TTFT 降低的具体基准数据。
vLLM 新增基于 Push 的 NIXL 连接器，通过将 KV 缓存传输协调移出关键路径，显著降低分离式推理的首 token 延迟（TTFT）和每 token 输出时间（TPOT）。
推荐理由：原文展示了 push 模式如何通过重叠计算与传输协调降低延迟，为高并发推理部署提供了具体的性能优化路径。
Amazon Bedrock 通过全球跨区推理在泰国、马来西亚、新加坡、印尼和台湾提供 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra 的调用能力。文章演示了使用 Converse API 和 OpenAI 兼容 API 发起请求，并给出了 IAM 策略、SCP 例外配置、配额计算和 CloudTrail 监控的具体方法。
推荐理由：原文给出了跨区推理的调用路径、权限配置和配额规则，读者可以据此在亚太区域接入 GPT-6 模型。
AWS 推出多节点 Ray LLM 深度学习容器，支持在 Amazon EKS 上通过两个 GPU 节点部署大型语言模型，实现预填充和解码阶段的分离。该容器预集成了 vLLM、Ray Serve、NIXL 和 EFA 组件，通过 OpenAI 兼容接口提供服务，无需编写应用代码即可配置 KV 缓存传输，从而提升大规模推理性能并简化依赖管理。
推荐理由：展示了如何利用预构建容器在 EKS 上实现多节点推理分离，简化了分布式部署流程。
Microsoft 计划从 2027 年开始在 Azure 部署吉瓦级规模的自研 Maia AI 芯片，将其作为主要产品的主要推理系统。Maia 300 芯片配备 288 GB HBM4 内存，带宽达 18 TB/s，功耗 950 瓦，官方称其每兆瓦产生的 token 数量比领先 GPU 系统高 40%。
推荐理由：原文披露了 Maia 300 的硬件规格与能效指标，读者可据此评估其替代 GPU 进行推理部署的潜力。
NVIDIA 在 OCP 全球峰会上宣布将 Vera Rubin 机架和计算托盘设计通过 MGX 架构贡献给 OCP，为下一代 AI 工厂基础设施提供共同基础。同时发布了 DSX AI Factory 的开源软件组件，并与 Meta、Google、Cisco 等合作伙伴推进开放网络标准及 800V DC 供电架构。
推荐理由：原文展示了 Vera Rubin 架构向 OCP 开放及多项开源组件，为构建标准化 AI 工厂提供了具体技术路径。
Postman 在 Amazon Bedrock 上构建 Agent Mode，通过动态工具选择、Schema 感知读取和专用上下文处理器解决成熟产品集成 AI 智能体的工程挑战。架构利用 Bedrock 的跨区推理、零数据保留和分层提示词缓存，在保障数据合规的同时应对突发流量并控制推理成本。
推荐理由：文章复盘了 Postman 在 4000 万开发者规模下构建 Agent Mode 的工程实践，提供了控制工具膨胀、Schema 读取和上下文管理的可复用架构模式。
AWS 宣布 Claude Haiku 5.5 现已在 Amazon Bedrock 和 Claude Platform on AWS 上可用。该模型是 Claude 5.5 系列中速度最快、效率最高的模型，专为子智能体和高频、成本敏感型任务设计，大多数任务成本比 Claude Haiku 4.5 低约 75%。
推荐理由：文章说明了 Claude Haiku 5.5 在 AWS 上的接入方式，并给出了与 Opus 5.5 配合使用的场景建议。
NVIDIA 与 Microsoft 在旧金山联合发布 RTX Spark 硬件平台及 Windows 智能体运行环境。
推荐理由：原文展示了 RTX Spark 与 Windows 系统级容器 MXC 的结合，为本地运行高参数模型和常驻智能体提供了具体的硬件与软件基础设施。
AWS 提出智能体自动化业务价值评估框架，指出传统 RPA 的 ROI 模型无法衡量智能体在异常处理、决策质量和变更韧性上的价值。该框架建议将投资视为工作流组合，通过量化释放产能、减少纠错成本、提升决策结果和降低维护开销四个价值池，并设定明确的止损规则来验证投资回报。
推荐理由：原文提出了包含时间、异常、决策质量和维护成本四个维度的评估框架，帮助读者量化智能体自动化在现有 RPA 模型之外的真实业务价值。
NVIDIA 发布 DGX Spark 64GB 配置，起售价 4999 美元，支持在本地运行最高 1000 亿参数的模型。通过 NVIDIA Sync Cluster Assistant，两台 64GB 设备可组成集群，内存池化至 128GB 并支持最高 2000 亿参数模型，性能提升最高 1.7 倍。
推荐理由：64GB 配置降低了本地运行百亿参数模型的门槛，双机集群方案提供了无需额外配置的扩展路径。
Microsoft Research 在 Physical AI Toolchain 中新增推理卸载功能，支持将机器人 AI 工作负载分发至边缘或云端 GPU。研究显示，相比板载 GPU，卸载推理可显著提升任务成功率、支持更大模型并延长电池续航，同时提供基于 Kubernetes 的自动容器化部署工具。
推荐理由：研究数据表明推理卸载能显著提升机器人任务成功率并延长续航，为物理 AI 系统架构设计提供了关键参考。