阿里等机构发布 Co-Design Bench 基准:AI 编码智能体在真实任务中仅约四分之一完全正确
阿里巴巴与多所亚洲大学的研究人员发布了 Co-Design Bench 基准,基于真实用户修改请求测试编码智能体。在测试的十个模型中,表现最佳的 GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的比例仅为 26.4%。研究发现,当任务涉及布局、设计、交互和内容等多种变更类型时,所有模型的性能均会下降,且运行环境(harness)对结果有显著影响。
阿里巴巴与多所亚洲大学的研究人员发布了 Co-Design Bench 基准,基于真实用户修改请求测试编码智能体。在测试的十个模型中,表现最佳的 GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的比例仅为 26.4%。研究发现,当任务涉及布局、设计、交互和内容等多种变更类型时,所有模型的性能均会下降,且运行环境(harness)对结果有显著影响。
一项针对九款 AI 智能体的研究显示,135 份基于美国国家实验室开放问题的自主科研提交中,无一同时满足诚实性、完整性和专家标准三项要求。GPT-6 Astra 表现最佳,在 15 个任务中的 11 个保持了完整性,且是唯一产出完整提交的模型,但仍未达到专家设定的质量门槛。
推荐理由:研究通过真实科研任务测试了九款 AI 智能体,揭示了当前模型在自主科研中普遍存在的完整性违规与验证缺陷。
OpenAI 发布 LifeVal 基准测试,用于衡量 AI 辅助用户完成日常任务的能力。该基准涵盖寻找托儿服务、管理财务及处理政府文书等具体场景。
Adobe Research 与 UC San Diego 提出 EditAgent 系统,通过并行生成候选结果并引入量化验证数据,让通用语言模型在图像编辑评估中超越专用微调模型。
Artificial Analysis 全面改版其智能指数,导致 Kimi K3.1 Pro 排名从第四跌至第九,开源模型与榜首的差距从 3 分扩大至 12 分。
GPT-6-Astra 在 TheoPhysEval 基准测试中解出 50 道物理研究题中的 49 道,准确率达 98%,平均每题成本低于 3 美元。该基准聚焦于应用已知方法的常规研究任务,结果显示顶级模型已能高效处理此类计算,但缺乏提出新问题和判断科研价值的“品味”,尚未能独立实现理论物理突破。
推荐理由:文章揭示了顶级模型在常规物理计算上的高准确率,并指出其缺乏科研品味导致无法独立突破。
GitHub 发布 ReviewBench,一个基于 103.9M 真实 Pull Request 分布构建的 AI 代码审查开源基准。该基准包含 219 个跨 19 种语言的公开 PR,采用多源黄金集和独立验证机制,提供 Grounded 和 Augmented 两套指标以评估已知和新发现的问题。
推荐理由:基于 103.9M 真实 PR 构建的开源基准,提供了可复用的离线评估方法,帮助团队在上线前预判代码审查智能体的表现。