阿里等机构发布 Co-Design Bench 基准:AI 编码智能体在真实任务中仅约四分之一完全正确
阿里巴巴与多所亚洲大学的研究人员发布了 Co-Design Bench 基准,基于真实用户修改请求测试编码智能体。在测试的十个模型中,表现最佳的 GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的比例仅为 26.4%。研究发现,当任务涉及布局、设计、交互和内容等多种变更类型时,所有模型的性能均会下降,且运行环境(harness)对结果有显著影响。
阿里巴巴与多所亚洲大学的研究人员发布了 Co-Design Bench 基准,基于真实用户修改请求测试编码智能体。在测试的十个模型中,表现最佳的 GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的比例仅为 26.4%。研究发现,当任务涉及布局、设计、交互和内容等多种变更类型时,所有模型的性能均会下降,且运行环境(harness)对结果有显著影响。
Microsoft Research Focus 第 97 期发布,重点介绍 ForkPilot 自改进智能体框架。该框架在六个基准测试中表现媲美最佳现有方法,同时将 AI 处理需求降低最多 59%。本期还涵盖 CABRA 编码智能体评估、TeleTune 技能演化及 Copilot 使用模式分析。
OpenAI 正在改进 ChatGPT 在低资源编程语言中的表现。为此,团队推出了针对软件工程、SQLite 及 COBOL 迁移的新评估基准。
GitHub 发布 ReviewBench,一个基于 103.9M 真实 Pull Request 分布构建的 AI 代码审查开源基准。该基准包含 219 个跨 19 种语言的公开 PR,采用多源黄金集和独立验证机制,提供 Grounded 和 Augmented 两套指标以评估已知和新发现的问题。
推荐理由:基于 103.9M 真实 PR 构建的开源基准,提供了可复用的离线评估方法,帮助团队在上线前预判代码审查智能体的表现。