跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

20 条精选近 30 天 16 条共收录 72 条

更新

多模态的精选

11月7日周六第 1–20 条
  1. Latent Space85

    Thinking Machines 发布 Inkling 2 Small:68 小时预训练 594B 多模态 MoE 模型

    Thinking Machines 发布 Inkling 2 Small,这是一款 594B 总参数、17B 激活参数的多模态 MoE 模型,在 GB300 集群上仅用 68 小时完成 8.4T tokens 的原生 NVFP4 预训练。

    推荐理由:原文梳理了 Inkling 2 Small 的训练效率、基准表现及对齐过程,为评估西方开源模型竞争力提供了具体参照。

11月6日周五
  1. The Decoder80

    腾讯发布 Hy4 模型,支持视觉理解与计算机操作,自称中国 AI 模型第二

    腾讯发布 Hy4 模型,新增图像理解与自主操作计算机能力,目前仅通过腾讯云和 OpenRouter 提供访问。在 Artificial Analysis 独立评测中,Hy4 智能指数得分为 35,位列中国实验室模型第二,落后于 Kimi K3.1 Pro 的 46 分。

    推荐理由:独立评测显示 Hy4 在综合能力上落后于 Kimi K3.1 Pro,但在金融场景测试中表现优于部分竞品。

10月31日周六
  1. Latent Space83

    AI Engineer 发布年度旗舰会议 AIE CODE 议程

    AI Engineer 发布年度旗舰会议 AIE CODE 议程,聚焦无低质代码扩展、System One 模型及高难度软件重写三大主题。会议采用单轨制并邀请全球前 1000 名智能体工程师参加,旨在复盘 2026 年代码领域趋势并预览 2027 年方向。

    推荐理由:原文梳理了年度旗舰会议的主题与议程,读者可据此了解智能体编码领域的年度趋势与关键人物。

10月28日周三
  1. Google DeepMind88

    Google DeepMind 发布 Genie 4 世界模型,支持原生音频与实时交互模拟

    Google DeepMind 发布 Genie 4,这是一款原生多模态世界模型,能同时生成视觉、音频和交互式对话。该模型结合 Gemini 系列能力,支持通过自然语言实时修改场景、模拟物理现象及人物行为。目前 Genie 4 已向可信测试者开放研究预览,后续将面向 Google AI Ultra 订阅者及 Gemini API 合作伙伴推出。

    推荐理由:Genie 4 将原生音频生成与 Gemini 实时推理结合,展示了交互式世界模拟在物理一致性和多模态反馈上的新边界。

10月27日周二
  1. NVIDIA Blog62

    C-BRAIN 与 NVIDIA 合作利用 AI 加速阿尔茨海默病研究

    C-BRAIN 与 NVIDIA 合作开发 AI 工具以加速阿尔茨海默病研究,利用联邦学习处理各机构私有数据。已发布的 OpenScientist 和 InsightEngine 工具将原本需数周的分析缩短至数分钟,单次成本低于 10 美元,预计每年可释放超百万小时的研究产能。

    推荐理由:C-BRAIN 与 NVIDIA 合作构建的 AI 研究工具将分析周期从数周缩短至数小时,展示了联邦学习在保护隐私前提下加速神经退行性疾病研究的可行性。

10月23日周五
  1. TechCrunch · AI77

    OpenAI 向所有用户开放 Decisions API,加速决策模型竞争

    OpenAI 正式向所有客户开放 Decisions API,该模型基于 ChatGPT Luna 重构,旨在提供快速且低成本的智能决策能力。在 Box、Datadog 等企业的初步测试中,该 API 将动作响应时间从 1.4 秒缩短至 0.13 秒,显著提升了吞吐量。

    推荐理由:OpenAI 将 Decisions API 向所有用户开放,通过复用 ChatGPT Luna 实现毫秒级低延迟决策,展示了其在低成本高吞吐场景下的工程化落地能力。

10月22日周四
  1. NVIDIA Blog60

    NVIDIA 发布 Earth-2 欧洲版开源模型,助力区域气象与气候预测

    NVIDIA 发布基于欧洲气象数据训练的 StormScope EU 模型,支持 10 分钟间隔的云况预测。AXA、Vaisala 等机构正利用 Earth-2 开源框架,将气象 AI 应用于保险风险评估、空气质量建模及太阳能发电预测等实际场景。

    推荐理由:文章展示了欧洲机构如何利用开源模型结合本地数据,解决从保险风控到空气质量监测的具体业务问题。

10月20日周二
  1. AWS Machine Learning Blog62

    TwelveLabs Pegasus 1.5 上线 Amazon Bedrock,支持长视频结构化元数据生成

    TwelveLabs 的视频语言模型 Pegasus 1.5 现已在 Amazon Bedrock 上可用,支持直接分析最长两小时的视频并返回带时间戳的结构化 JSON 元数据。该模型新增视频分段、多模态提示(支持参考图像)和即时处理功能,无需预索引即可从 Amazon S3 或 base64 字符串直接读取视频,数据保留在 AWS 数据边界内。

    推荐理由:Pegasus 1.5 在 Amazon Bedrock 上支持直接分析长达两小时的视频并返回带时间戳的结构化元数据,为长视频检索提供了新的工程路径。

10月16日周五
  1. The Verge · AI81

    Meta 与 Apple 合作让 Muse Spark Open 模型在 Mac 上高效运行

    Meta 发布 Muse Spark Open 开源模型,称其为迄今最强美国开源权重模型,并宣布该模型可通过 Apple MLX 框架在两台 M5 Ultra Mac Studio 上运行。Meta 与 Apple 罕见公开合作,双方高管在 X 上互相祝贺,Apple 还发布了关于 MLX 框架的技术文章。该模型为原生多模态架构,总参数达 816B,擅长长时任务、复杂软件工程和多步推理。

    推荐理由:Meta 与 Apple 罕见合作,让 816B 参数开源模型通过 MLX 框架在 Mac Studio 上高效运行,展示了端侧部署的新路径。

  2. The Decoder84

    Meta 发布开源模型 Muse Spark Open,对标 Qwen、GLM 和 Kimi

    Meta 发布开源权重模型 Muse Spark Open,拥有 8160 亿参数(420 亿激活),支持文本、图像、视频和音频输入,上下文窗口达 100 万 token。该模型针对 Apple M5 Ultra 优化,可在两台配备 512GB 统一内存的 Mac Studio 上本地运行,权重已上传至 Hugging Face。

    推荐理由:Meta 推出 8160 亿参数的开源模型 Muse Spark Open,其性能对标 Qwen 和 Kimi 等竞品,并支持在本地 Mac Studio 上运行。

  3. The Decoder82

    Google 发布 Gemini 4 Argon,旨在成为机器人全流程唯一所需 AI 模型

    Google 发布 Gemini 4 Argon,宣称其能覆盖机器人控制、虚拟仿真构建及训练数据评估的全流程。在 ERQA 基准测试中,该模型以 87% 的得分领先 Claude Opus 5.5 约 5 个百分点,但在 AA-Robotics 真实机器人控制测试中仅排第三。目前该模型仅向 Google AI Ultra 订阅用户开放,开发者可通过 Gemini API 付费层级访问。

    推荐理由:文章通过具体演示和基准测试对比,展示了该模型在机器人控制与仿真生成中的实际表现及局限。

10月15日周四
  1. NVIDIA Blog87

    NVIDIA 发布 Nemotron 3.5 Super VL 及 Bolt 系列开源模型,覆盖数据中心至边缘部署

    NVIDIA 发布 Nemotron 3.5 Super VL,这是一款 1200 亿参数的开源多模态模型,专为高吞吐量智能体工作流设计,在同类模型中实现 5 倍更快的任务完成速度。

    推荐理由:NVIDIA 发布覆盖数据中心到边缘的 Nemotron 3.5 系列,Super VL 以 120B 参数实现高效多模态智能体能力,Bolt 模型则针对本地部署优化。

10月13日周二
  1. TechCrunch · AI78

    SpaceXSI 将 X Premium、Grok 和 Cursor 整合为统一订阅

    SpaceXSI 将 X Premium、Grok 和 Cursor 整合为名为 The X Subscription 的统一订阅,包含 AI 聊天、智能体、编码和 X 高级功能。新订阅设免费、Plus、Premium、Super 和 Ultra 五档,价格从 $8 到 $200 不等,AI 用量上限随档位提升,且 Premium 及以上才能使用最新 Grok 模型。

    推荐理由:原文给出了套餐层级、价格与功能边界,读者可以据此判断它如何整合现有订阅并影响付费决策。

  2. The Verge · AI78

    Apple 发布首款家庭智能显示屏 HomeView

    Apple 发布首款家庭智能显示屏 HomeView,售价 299 美元,将于 11 月 13 日在八个国家上市。该设备配备 7 英寸方形屏幕和 A18 芯片,内置 Siri AI,支持通过面部识别和个人上下文提供个性化服务,并作为 Apple Home 中枢控制 Matter 设备。

    推荐理由:文章提供了 Apple HomeView 的硬件规格、价格及首发市场信息,并分析了其作为家庭智能中枢与个人设备切换的定位。

  3. The Decoder88

    Meta 发布前沿模型 Muse Wonder,跻身 AI 第一梯队

    Meta 发布前沿模型 Muse Wonder 及其 Full 版本,两者在 Artificial Analysis Intelligence Index v4.3 上分别获得 52 分和 56 分,显著超越前代 Muse Spark 1.3 的 48 分。

    推荐理由:原文通过多项基准测试对比,展示了 Muse Wonder 在智能体任务和编码能力上的显著提升,同时指出了其事实知识短板和较高的使用成本。

10月7日周三
  1. Google DeepMind82

    Google DeepMind 发布开源轻量级多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布 EmbeddingGemma 2,这是一个基于 Gemma 4 架构、拥有 7.4 亿参数的开源多模态嵌入模型,支持在端侧统一处理文本、代码、图像、音频和视频。

    推荐理由:该模型在 7.4 亿参数规模下统一了文本、图像、音频和视频嵌入,为端侧多模态检索提供了具体的性能基准与部署方案。

10月1日周四
  1. Google DeepMind92

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,该模型通过 Fairwind 计划向受信任的网络安全防御者开放,旨在处理复杂的软件工程、企业知识工作及网络安全防御任务。

    推荐理由:原文给出了 Gemini 4 Argon 在长程推理、企业工作流及网络安全防御上的具体基准表现,读者可据此评估其前沿能力边界。

9月29日周二
  1. Microsoft Research80

    Microsoft Research 发布 Quine:面向生物复杂性的 AI 研究系统

    Microsoft Research 发布 Quine,这是一个结合生物世界模型与交互式框架的 AI 研究系统,旨在连接模型、科学工具、文献及研究人员。在与 Broad Institute 的合作中,Quine 成功预测并筛选出能驱动胰腺癌细胞状态转变的化合物,湿实验验证了部分高排名候选物,将原本需数月的筛选工作缩短至一个周末。

    推荐理由:原文展示了 Quine 在胰腺癌细胞状态预测中的具体应用,读者可据此评估 AI 系统如何加速生物实验筛选流程。

9月25日周五
  1. Google DeepMind75

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar 功能

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过原生结合低延迟流式视频与实时对话,为 Gemini 企业版引入具备视觉存在的多模态交互能力。

    推荐理由:原文展示了低延迟视频流与实时对话的原生结合,并说明了异步工具调用与多语言唇形同步机制,为评估企业级多模态交互体验提供了具体技术细节。