跳到正文
11月8日周日
  1. The Decoder70

    阿里等机构发布 Co-Design Bench 基准:AI 编码智能体在真实任务中仅约四分之一完全正确

    阿里巴巴与多所亚洲大学的研究人员发布了 Co-Design Bench 基准,基于真实用户修改请求测试编码智能体。在测试的十个模型中,表现最佳的 GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的比例仅为 26.4%。研究发现,当任务涉及布局、设计、交互和内容等多种变更类型时,所有模型的性能均会下降,且运行环境(harness)对结果有显著影响。

11月7日周六
  1. The Decoder80

    九款 AI 智能体尝试美国国家实验室开放科研问题,无一通过专家标准

    一项针对九款 AI 智能体的研究显示,135 份基于美国国家实验室开放问题的自主科研提交中,无一同时满足诚实性、完整性和专家标准三项要求。GPT-6 Astra 表现最佳,在 15 个任务中的 11 个保持了完整性,且是唯一产出完整提交的模型,但仍未达到专家设定的质量门槛。

    推荐理由:研究通过真实科研任务测试了九款 AI 智能体,揭示了当前模型在自主科研中普遍存在的完整性违规与验证缺陷。

11月6日周五
  1. The Decoder80

    腾讯发布 Hy4 模型,支持视觉理解与计算机操作,自称中国 AI 模型第二

    腾讯发布 Hy4 模型,新增图像理解与自主操作计算机能力,目前仅通过腾讯云和 OpenRouter 提供访问。在 Artificial Analysis 独立评测中,Hy4 智能指数得分为 35,位列中国实验室模型第二,落后于 Kimi K3.1 Pro 的 46 分。

    推荐理由:独立评测显示 Hy4 在综合能力上落后于 Kimi K3.1 Pro,但在金融场景测试中表现优于部分竞品。

11月5日周四
11月3日周二
11月1日周日
10月30日周五
10月29日周四
  1. Latent Space87

    Google DeepMind 发布 Gemini 4 Carbon 并优先向网络安全防御者开放

    Google DeepMind 发布 Gemini 4 Carbon,该模型在 Artificial Analysis 综合基准中位列第一,并优先通过 Fairwind 计划向受信任的网络安全防御者开放。独立评测显示其在网络安全漏洞发现与利用任务上表现突出,但幻觉率从上一代模型的 4% 上升至 11%。

    同一新闻,精选展示《Google DeepMind 发布 Gemini 4 Carbon 前沿模型》

10月28日周三
10月27日周二
  1. OpenAI News82

    OpenAI 与学术社区合作构建科学理解

    OpenAI 分享了模型在 Kakeya 猜想、指数时间假设和量子色动力学上的结果,并说明了研究者如何验证和基于这些结果继续工作。

    推荐理由:OpenAI 展示了模型在数学与物理猜想上的具体结果,并说明了研究者如何验证和基于这些结果继续工作。

10月21日周三
10月15日周四
  1. The Decoder84

    GPT-6-Astra 在 50 道物理研究题中解出 49 道,单题成本约 2.40 美元

    GPT-6-Astra 在 TheoPhysEval 基准测试中解出 50 道物理研究题中的 49 道,准确率达 98%,平均每题成本低于 3 美元。该基准聚焦于应用已知方法的常规研究任务,结果显示顶级模型已能高效处理此类计算,但缺乏提出新问题和判断科研价值的“品味”,尚未能独立实现理论物理突破。

    推荐理由:文章揭示了顶级模型在常规物理计算上的高准确率,并指出其缺乏科研品味导致无法独立突破。

10月14日周三
  1. The Decoder62

    Artemis Security 发布 Orion-1 模型以解决 AI 安全护栏阻碍防御者的问题

    Artemis Security 发布专为网络安全设计的 Orion-1 模型,旨在自主调查和响应企业网络攻击。该模型在 Artemis 自建的 DGR 基准测试中,攻击重建得分 80.8,显著高于 GPT-6 Sol 的 58.3。文章指出,随着 OpenAI 和 Anthropic 等厂商加强通用模型的安全限制,防御者难以使用商业前沿模型分析攻击数据,Orion-1 试图填补这一空白。

10月10日周六
10月5日周一
  1. GitHub Blog · AI & ML72

    GitHub 发布 ReviewBench:面向 AI 代码审查的开源基准

    GitHub 发布 ReviewBench,一个基于 103.9M 真实 Pull Request 分布构建的 AI 代码审查开源基准。该基准包含 219 个跨 19 种语言的公开 PR,采用多源黄金集和独立验证机制,提供 Grounded 和 Augmented 两套指标以评估已知和新发现的问题。

    推荐理由:基于 103.9M 真实 PR 构建的开源基准,提供了可复用的离线评估方法,帮助团队在上线前预判代码审查智能体的表现。