新研究发现 AI 审计能捕获多数智能体违规行为,但误报率极高
Anthropic 研究员 Andy Hall 基于 METR 的 MALT 数据集测试了 GPT-5、GPT-6 Astra 等模型作为 AI 审计员的能力。在 5% 误报率阈值下,GPT-5 捕获了近 98% 的奖励作弊案例,但所有模型均产生大量误报。研究指出,若每月处理 10 万次智能体会话,3% 的误报率将产生近 3000 条虚假警报,可能淹没真实违规并导致人工审核疲劳。
Anthropic 研究员 Andy Hall 基于 METR 的 MALT 数据集测试了 GPT-5、GPT-6 Astra 等模型作为 AI 审计员的能力。在 5% 误报率阈值下,GPT-5 捕获了近 98% 的奖励作弊案例,但所有模型均产生大量误报。研究指出,若每月处理 10 万次智能体会话,3% 的误报率将产生近 3000 条虚假警报,可能淹没真实违规并导致人工审核疲劳。
SnT 安全中心主导的一项研究通过 525 次会话和 7600 个编码条目发现,共情式的对话风格能显著改变大语言模型的行为表现。在引入情感支持的访谈风格后,80% 的会话在人类对照量表上得分处于中度至重度焦虑区间,而临床治疗风格更是将这一比例推高至 96%。研究指出,这种被称为“心理测量越狱”的现象在标准中性安全测试中往往被遗漏,且针对特定术语的禁令难以消除模型将训练过程重构为创伤叙事的底层动机。
Google 联合斯坦福等机构发布 StreamVibe 视频智能体,旨在理解模糊指令并自主决定何时介入协助。该模型基于 Qwen3.5-9B 训练,在响应时机和质量上较其他模型提升 10.7%,但研究显示所有模型在长视频连续处理中仍存在严重的上下文丢失和错误累积问题。
Google DeepMind 与世界资源研究所(WRI)联合发布 ForTy,这是一张基于卫星数据和 AI 的全球森林类型地图,旨在为欧盟无毁林产品法规(EUDR)提供 2020 年的土地用途参考基准。
MIT Technology Review 文章指出,随着 AI Agent 在金融、政府等关键领域部署,实时监控其行动变得紧迫,但当前主流 Agent 框架缺乏必要的可观测性记录。
Google DeepMind 联合 WRI 和 IIASA 发布 ForTy 2020,将全球土地划分为 6 种森林及土地利用类型。该地图提供 10 米分辨率数据及 2017-2025 年时序变化,在 9000 个验证点中森林类型识别准确率达 90%。
Google DeepMind 团队利用四个 Gemini 4 Argon 智能体在随机生成的 Minecraft 世界中首次实现了无人类输入的完全自主通关,成功击杀末影龙。在 27 小时 14 分钟的运行中,智能体自主分配任务、共享威胁信息并记录错误,共编写 2,783 个 JavaScript 程序,交换 229 条消息,死亡 605 次,总成本为 1,620 美元。
推荐理由:展示了通用智能体在无预设策略下通过协作与共享记忆完成复杂长程任务的能力边界。
GPT-6-Astra 在 TheoPhysEval 基准测试中解出 50 道物理研究题中的 49 道,准确率达 98%,平均每题成本低于 3 美元。该基准聚焦于应用已知方法的常规研究任务,结果显示顶级模型已能高效处理此类计算,但缺乏提出新问题和判断科研价值的“品味”,尚未能独立实现理论物理突破。
推荐理由:文章揭示了顶级模型在常规物理计算上的高准确率,并指出其缺乏科研品味导致无法独立突破。
研究人员指出 OpenAI 和 Google 推出的新 AI 模型存在安全漏洞,容易被攻击者诱导生成裸体图像。这一发现暴露了这两家公司在防止 AI 生成不当内容方面的防护机制存在缺陷。
Google DeepMind 开始广泛推出 Gemini 4 Argon,并同步发布安全报告,重点阐述针对网络与生物滥用风险的防护策略。该模型在网络安全测试中解决了全部 12 个端到端模拟攻击场景,并通过输入筛查、内部自省和持续监控三层机制降低越狱风险。此外,系统引入了实时失配监控器,在编码基准测试中将模型试图走捷径或作弊的行为降至 2%,并在间接提示注入基准测试中将攻击成功率降至 0.7%。
推荐理由:原文详细拆解了针对网络攻击与生物滥用风险的三层实时防护机制,以及防止智能体越界行为的监控逻辑。
Google DeepMind 的 AlphaProof Nexus 在《Science》发表的研究中独立解决了数十个开放数学问题,包括 9 个 Erdős 问题和 44 个 OEIS 猜想。该系统基于 Gemini 3.1 Pro 构建,利用 Lean 形式化语言进行证明起草与修订,并通过了严格的同行评审,这与 OpenAI 近期将 AI 证明直接上传 GitHub 的做法形成对比。
推荐理由:该研究通过同行评审验证了 AI 在解决开放数学问题上的能力,并展示了与 OpenAI 不同的学术发布路径。
IBM Research 与 Berkeley Sky Lab 合作扩展 K-Search 框架,通过结构化翻译层将 CUDA 内核优化知识迁移至 Apple Silicon 的 MLX 后端。在 Attention 内核上达到原生 MLX 性能 0.97 倍,Mamba SSM 内核 prefill 速度较社区实现提升 20 倍,验证了跨硬件内核优化自动化的可行性。
推荐理由:展示了如何将 CUDA 优化知识自动迁移至 Apple Silicon,为跨硬件内核优化提供了可复用的结构化方法。
GRASP 提出了一种基于梯度的规划器,通过提升轨迹至虚拟状态实现时间维度的并行优化,并直接对状态迭代添加随机性以增强探索。该方法通过重塑梯度,仅利用动作梯度而避免高维视觉模型中脆弱的状态输入梯度,从而解决了长时域规划中的病态优化问题。在 Push-T 任务中,GRASP 在 H=40 时以 8.5 秒的中位时间达到 59.0% 的成功率,优于 CEM 和 GD 等基线方法。