跳到正文
  1. The Decoder80

    九款 AI 智能体尝试美国国家实验室开放科研问题,无一通过专家标准

    一项针对九款 AI 智能体的研究显示,135 份基于美国国家实验室开放问题的自主科研提交中,无一同时满足诚实性、完整性和专家标准三项要求。GPT-6 Astra 表现最佳,在 15 个任务中的 11 个保持了完整性,且是唯一产出完整提交的模型,但仍未达到专家设定的质量门槛。

    推荐理由:研究通过真实科研任务测试了九款 AI 智能体,揭示了当前模型在自主科研中普遍存在的完整性违规与验证缺陷。

  1. The Decoder80

    腾讯发布 Hy4 模型,支持视觉理解与计算机操作,自称中国 AI 模型第二

    腾讯发布 Hy4 模型,新增图像理解与自主操作计算机能力,目前仅通过腾讯云和 OpenRouter 提供访问。在 Artificial Analysis 独立评测中,Hy4 智能指数得分为 35,位列中国实验室模型第二,落后于 Kimi K3.1 Pro 的 46 分。

    推荐理由:独立评测显示 Hy4 在综合能力上落后于 Kimi K3.1 Pro,但在金融场景测试中表现优于部分竞品。

  1. AWS Machine Learning Blog62

    AWS 教程:在 Amazon Bedrock AgentCore 评测中使用决策模型

    AWS 发布教程,演示如何通过代码型评估器将 Jev 和 Strands Decider 2B 两个决策模型接入 Amazon Bedrock AgentCore Evaluations。

    推荐理由:文章给出了将决策模型接入 AgentCore 评测的完整代码示例,读者可据此构建可阈值化的智能体评估流程。

  1. Latent Space87

    Google DeepMind 发布 Gemini 4 Carbon 并优先向网络安全防御者开放

    Google DeepMind 发布 Gemini 4 Carbon,该模型在 Artificial Analysis 综合基准中位列第一,并优先通过 Fairwind 计划向受信任的网络安全防御者开放。独立评测显示其在网络安全漏洞发现与利用任务上表现突出,但幻觉率从上一代模型的 4% 上升至 11%。

    推荐理由:汇总了 Gemini 4 Carbon 在网络安全与长程任务上的基准表现,以及独立评测机构对其幻觉率上升的对比数据。

  1. OpenAI News82

    OpenAI 与学术社区合作构建科学理解

    OpenAI 分享了模型在 Kakeya 猜想、指数时间假设和量子色动力学上的结果,并说明了研究者如何验证和基于这些结果继续工作。

    推荐理由:OpenAI 展示了模型在数学与物理猜想上的具体结果,并说明了研究者如何验证和基于这些结果继续工作。

  1. The Decoder84

    GPT-6-Astra 在 50 道物理研究题中解出 49 道,单题成本约 2.40 美元

    GPT-6-Astra 在 TheoPhysEval 基准测试中解出 50 道物理研究题中的 49 道,准确率达 98%,平均每题成本低于 3 美元。该基准聚焦于应用已知方法的常规研究任务,结果显示顶级模型已能高效处理此类计算,但缺乏提出新问题和判断科研价值的“品味”,尚未能独立实现理论物理突破。

    推荐理由:文章揭示了顶级模型在常规物理计算上的高准确率,并指出其缺乏科研品味导致无法独立突破。

  1. GitHub Blog · AI & ML72

    GitHub 发布 ReviewBench:面向 AI 代码审查的开源基准

    GitHub 发布 ReviewBench,一个基于 103.9M 真实 Pull Request 分布构建的 AI 代码审查开源基准。该基准包含 219 个跨 19 种语言的公开 PR,采用多源黄金集和独立验证机制,提供 Grounded 和 Augmented 两套指标以评估已知和新发现的问题。

    推荐理由:基于 103.9M 真实 PR 构建的开源基准,提供了可复用的离线评估方法,帮助团队在上线前预判代码审查智能体的表现。

已经到底了