跳到正文
10月7日周三
10月2日周五
  1. NVIDIA Blog67

    NVIDIA DGX Spark 64GB 版本发布,支持本地运行百亿参数模型

    NVIDIA 发布 DGX Spark 64GB 配置,起售价 4999 美元,支持在本地运行最高 1000 亿参数的模型。通过 NVIDIA Sync Cluster Assistant,两台 64GB 设备可组成集群,内存池化至 128GB 并支持最高 2000 亿参数模型,性能提升最高 1.7 倍。

    推荐理由:64GB 配置降低了本地运行百亿参数模型的门槛,双机集群方案提供了无需额外配置的扩展路径。

10月1日周四
9月24日周四
  1. GitHub Blog · AI & ML52

    GitHub Copilot 应用重构 Pull Request 视图以支持超大代码差异渲染

    GitHub Copilot 应用重构了 Pull Request 视图,使其能够流畅渲染包含 2200 个文件和超百万行变更的超大代码差异。该方案通过分离确定性代码几何与动态评论块几何,并引入基于空闲和滚动门控的测量调度器,解决了评论高度未知导致的布局抖动问题。此外,团队构建了自主测量循环工具,利用生产环境探针自动检测并修复渲染性能瓶颈。

  2. Microsoft Research75

    Microsoft Research 发布物理 AI 推理卸载工具,提升机器人性能与续航

    Microsoft Research 在 Physical AI Toolchain 中新增推理卸载功能,支持将机器人 AI 工作负载分发至边缘或云端 GPU。研究显示,相比板载 GPU,卸载推理可显著提升任务成功率、支持更大模型并延长电池续航,同时提供基于 Kubernetes 的自动容器化部署工具。

    推荐理由:研究数据表明推理卸载能显著提升机器人任务成功率并延长续航,为物理 AI 系统架构设计提供了关键参考。

7月29日周三
  1. Berkeley AI Research72

    K-Search 实现 CUDA 到 MLX 内核优化知识自动迁移

    IBM Research 与 Berkeley Sky Lab 合作扩展 K-Search 框架,通过结构化翻译层将 CUDA 内核优化知识迁移至 Apple Silicon 的 MLX 后端。在 Attention 内核上达到原生 MLX 性能 0.97 倍,Mamba SSM 内核 prefill 速度较社区实现提升 20 倍,验证了跨硬件内核优化自动化的可行性。

    推荐理由:展示了如何将 CUDA 优化知识自动迁移至 Apple Silicon,为跨硬件内核优化提供了可复用的结构化方法。

5月8日周五
  1. Berkeley AI Research67

    自适应并行推理:高效推理扩展的下一个范式

    Berkeley AI Research 发布关于自适应并行推理(APR)的研究综述,探讨模型如何自主决定任务分解、并行线程数量及协调方式。文章对比了 Multiverse 和 ThreadWeaver 等方案在 KV cache 管理与推理引擎修改上的差异,并分析了通过强化学习训练模型掌握并行控制流的奖励机制设计,指出 APR 在降低延迟与提升准确率方面的潜力及当前存在的稳定性挑战。

    推荐理由:文章梳理了自适应并行推理范式,对比了不同推理引擎实现与训练奖励机制,为优化推理效率提供了技术参考。