技术方向
跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
10 条精选近 30 天 6 条共收录 29 条
Recursive 发布免费开源编码模型 Flint，该模型由 AI 系统 Eureka Machine 辅助构建，可在笔记本本地运行。Flint 采用 MoE 架构，激活参数 25 亿，在 SWE-Bench Verified 等基准测试中表现优于同级别模型，并已在 Hugging Face 开放下载。
推荐理由：文章展示了 Recursive 利用 AI 辅助研发流程在四个月内构建出可本地运行的编码模型，为端侧 AI 开发提供了具体案例。
NVIDIA 在 GTC Berlin 展示本地 AI 硬件与模型生态更新，RTX Spark 支持个人智能体，DGX Spark 64GB 系统于 10 月 23 日开售。DGX Station 新增 Windows 版本计划，支持企业级工作负载与机器人参考工作流。Recursive Flint 本地编码模型开放权重，支持 RTX Spark 和 DGX Spark 系统。
推荐理由：原文梳理了本地 AI 硬件与模型生态的更新，读者可据此了解个人智能体在端侧运行的最新进展。
Meta 发布 Muse Spark Open 开源模型，称其为迄今最强美国开源权重模型，并宣布该模型可通过 Apple MLX 框架在两台 M5 Ultra Mac Studio 上运行。Meta 与 Apple 罕见公开合作，双方高管在 X 上互相祝贺，Apple 还发布了关于 MLX 框架的技术文章。该模型为原生多模态架构，总参数达 816B，擅长长时任务、复杂软件工程和多步推理。
推荐理由：Meta 与 Apple 罕见合作，让 816B 参数开源模型通过 MLX 框架在 Mac Studio 上高效运行，展示了端侧部署的新路径。
NVIDIA 发布 Nemotron 3.5 Super VL，这是一款 1200 亿参数的开源多模态模型，专为高吞吐量智能体工作流设计，在同类模型中实现 5 倍更快的任务完成速度。
推荐理由：NVIDIA 发布覆盖数据中心到边缘的 Nemotron 3.5 系列，Super VL 以 120B 参数实现高效多模态智能体能力，Bolt 模型则针对本地部署优化。
Google DeepMind 与新加坡政府技术署（GovTech）合作，基于 Gemma 模型微调并部署在端侧，用于检测本地诈骗对话。该模型采用两阶段流水线，在保护用户隐私的同时实现实时诈骗预警，旨在解决新加坡日益复杂的社交工程诈骗问题。
推荐理由：展示了在端侧运行微调 Gemma 模型检测诈骗的技术路径，为平衡隐私保护与安全防护提供了可参考的工程实践。
NVIDIA 在 RTX Spark 笔记本 10 月 16 日上市前，发布了针对本地 AI 智能体的多项软件更新与性能优化。NVIDIA Nemotron 3.5 Bolt 74B 模型于 10 月 15 日推出，专为 RTX Spark 上的本地智能体设计，采用 2-bit 量化技术将 74B 参数模型压缩至 24GB 内存占用。
推荐理由：NVIDIA 为 RTX Spark 笔记本发布日准备了完整的本地 AI 生态更新，涵盖 Nemotron 3.5 Bolt 74B 模型、PAIR 路由器正式版及 Adobe 等创意工具优化。
NVIDIA 与 Microsoft 在旧金山联合发布 RTX Spark 硬件平台及 Windows 智能体运行环境。
推荐理由：原文展示了 RTX Spark 与 Windows 系统级容器 MXC 的结合，为本地运行高参数模型和常驻智能体提供了具体的硬件与软件基础设施。
Google DeepMind 发布 EmbeddingGemma 2，这是一个基于 Gemma 4 架构、拥有 7.4 亿参数的开源多模态嵌入模型，支持在端侧统一处理文本、代码、图像、音频和视频。
推荐理由：该模型在 7.4 亿参数规模下统一了文本、图像、音频和视频嵌入，为端侧多模态检索提供了具体的性能基准与部署方案。
NVIDIA 发布 DGX Spark 64GB 配置，起售价 4999 美元，支持在本地运行最高 1000 亿参数的模型。通过 NVIDIA Sync Cluster Assistant，两台 64GB 设备可组成集群，内存池化至 128GB 并支持最高 2000 亿参数模型，性能提升最高 1.7 倍。
推荐理由：64GB 配置降低了本地运行百亿参数模型的门槛，双机集群方案提供了无需额外配置的扩展路径。
IBM Research 与 Berkeley Sky Lab 合作扩展 K-Search 框架，通过结构化翻译层将 CUDA 内核优化知识迁移至 Apple Silicon 的 MLX 后端。在 Attention 内核上达到原生 MLX 性能 0.97 倍，Mamba SSM 内核 prefill 速度较社区实现提升 20 倍，验证了跨硬件内核优化自动化的可行性。
推荐理由：展示了如何将 CUDA 优化知识自动迁移至 Apple Silicon，为跨硬件内核优化提供了可复用的结构化方法。