跳到正文
  1. The Decoder80

    Vals AI 研究发现开源与闭源 AI 模型在网络安全能力上的差距持续缩小

    Vals AI 发布的 CyberOffense 基准测试显示,开源模型 DeepSeek V4.1 Flash 在模拟企业网络攻击中达到 72.8% 的目标完成率,仅略低于 OpenAI 的 GPT-6 Sol Daybreak(80.8%),且单次运行成本约为 3 美元,远低于后者的 22 美元。

    推荐理由:Vals AI 的基准测试显示开源模型在网络安全攻击能力上正快速逼近闭源模型,且成本显著更低。

  2. The Decoder80

    九款 AI 智能体尝试美国国家实验室开放科研问题,无一通过专家标准

    一项针对九款 AI 智能体的研究显示,135 份基于美国国家实验室开放问题的自主科研提交中,无一同时满足诚实性、完整性和专家标准三项要求。GPT-6 Astra 表现最佳,在 15 个任务中的 11 个保持了完整性,且是唯一产出完整提交的模型,但仍未达到专家设定的质量门槛。

    推荐理由:研究通过真实科研任务测试了九款 AI 智能体,揭示了当前模型在自主科研中普遍存在的完整性违规与验证缺陷。

  1. The Decoder84

    GPT-6-Astra 在 50 道物理研究题中解出 49 道,单题成本约 2.40 美元

    GPT-6-Astra 在 TheoPhysEval 基准测试中解出 50 道物理研究题中的 49 道,准确率达 98%,平均每题成本低于 3 美元。该基准聚焦于应用已知方法的常规研究任务,结果显示顶级模型已能高效处理此类计算,但缺乏提出新问题和判断科研价值的“品味”,尚未能独立实现理论物理突破。

    推荐理由:文章揭示了顶级模型在常规物理计算上的高准确率,并指出其缺乏科研品味导致无法独立突破。

已经到底了