跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。

42 条精选近 30 天 34 条共收录 127 条

更新

精选归档 · 第 3 页

7月29日周三第 41–42 条
  1. Berkeley AI Research72

    K-Search 实现 CUDA 到 MLX 内核优化知识自动迁移

    IBM Research 与 Berkeley Sky Lab 合作扩展 K-Search 框架，通过结构化翻译层将 CUDA 内核优化知识迁移至 Apple Silicon 的 MLX 后端。在 Attention 内核上达到原生 MLX 性能 0.97 倍，Mamba SSM 内核 prefill 速度较社区实现提升 20 倍，验证了跨硬件内核优化自动化的可行性。

    推荐理由：展示了如何将 CUDA 优化知识自动迁移至 Apple Silicon，为跨硬件内核优化提供了可复用的结构化方法。

5月8日周五
  1. Berkeley AI Research67

    自适应并行推理：高效推理扩展的下一个范式

    Berkeley AI Research 发布关于自适应并行推理（APR）的研究综述，探讨模型如何自主决定任务分解、并行线程数量及协调方式。文章对比了 Multiverse 和 ThreadWeaver 等方案在 KV cache 管理与推理引擎修改上的差异，并分析了通过强化学习训练模型掌握并行控制流的奖励机制设计，指出 APR 在降低延迟与提升准确率方面的潜力及当前存在的稳定性挑战。

    推荐理由：文章梳理了自适应并行推理范式，对比了不同推理引擎实现与训练奖励机制，为优化推理效率提供了技术参考。