AWS 分享 Amazon SageMaker AI 上 MoE 模型的内核工程优化实践

AWS 团队在 Amazon SageMaker AI 上实施了多项针对混合专家（MoE）模型的 GPU 内核优化，旨在降低推理延迟并提升吞吐量。通过 Swap-AB 矩阵转置、FP8 量化后端路由调整及消除 Triton JIT 重编译，在 H200 上实现了最高 10% 的吞吐量提升和 9% 的首 token 延迟（TTFT）降低。