AWS Machine Learning Blog· Shantanu Tripathi·· 3 天前精选AI 评分72
SageMaker Inference 支持 Multi-Instance GPU 以最大化模型端点 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 新增 GPU 分区功能，利用 NVIDIA MIG 将物理 GPU 划分为独立分区，支持在单 GPU 上部署多个隔离模型。测试显示，H100 的 mig-3g.40gb 分区在吞吐和延迟上优于整卡 A100-40GB，且在长上下文高并发场景下成本降低 18%–34%。
推荐理由
SageMaker Inference 引入 MIG 分区，允许在单 GPU 上部署多个隔离模型，并提供了 H100 分区与 A100 整卡的性能与成本对比数据。
来源：AWS Machine Learning Blog · aws.amazon.com