The Decoder· Jonathan Kemper·· 2 天前AI 评分70
阿里等机构发布 Co-Design Bench 基准：AI 编码智能体在真实任务中仅约四分之一完全正确
AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test
AI 导读
阿里巴巴与多所亚洲大学的研究人员发布了 Co-Design Bench 基准，基于真实用户修改请求测试编码智能体。在测试的十个模型中，表现最佳的 GPT-6 Astra 平均满足约 70% 的任务要求，但完全正确的比例仅为 26.4%。研究发现，当任务涉及布局、设计、交互和内容等多种变更类型时，所有模型的性能均会下降，且运行环境（harness）对结果有显著影响。
来源：The Decoder · the-decoder.com