自适应并行推理：高效推理扩展的下一个范式

Berkeley AI Research 发布关于自适应并行推理（APR）的研究综述，探讨模型如何自主决定任务分解、并行线程数量及协调方式。文章对比了 Multiverse 和 ThreadWeaver 等方案在 KV cache 管理与推理引擎修改上的差异，并分析了通过强化学习训练模型掌握并行控制流的奖励机制设计，指出 APR 在降低延迟与提升准确率方面的潜力及当前存在的稳定性挑战。