跳到正文
11月8日周日
  1. The Decoder70

    阿里等机构发布 Co-Design Bench 基准:AI 编码智能体在真实任务中仅约四分之一完全正确

    阿里巴巴与多所亚洲大学的研究人员发布了 Co-Design Bench 基准,基于真实用户修改请求测试编码智能体。在测试的十个模型中,表现最佳的 GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的比例仅为 26.4%。研究发现,当任务涉及布局、设计、交互和内容等多种变更类型时,所有模型的性能均会下降,且运行环境(harness)对结果有显著影响。

10月30日周五
10月20日周二
10月5日周一
  1. GitHub Blog · AI & ML72

    GitHub 发布 ReviewBench:面向 AI 代码审查的开源基准

    GitHub 发布 ReviewBench,一个基于 103.9M 真实 Pull Request 分布构建的 AI 代码审查开源基准。该基准包含 219 个跨 19 种语言的公开 PR,采用多源黄金集和独立验证机制,提供 Grounded 和 Augmented 两套指标以评估已知和新发现的问题。

    推荐理由:基于 103.9M 真实 PR 构建的开源基准,提供了可复用的离线评估方法,帮助团队在上线前预判代码审查智能体的表现。