SageMaker Inference 支持 NVIDIA MIG GPU 分区
热点事件历史事件
SageMaker Inference 支持 NVIDIA MIG GPU 分区
1 篇报道1 个报道来源3 天前更新
先了解这件事
AI 综述
Amazon SageMaker Inference 新增基于 NVIDIA Multi-Instance GPU (MIG) 的分区功能，允许将物理 GPU 划分为独立分区以在单卡上部署多个隔离模型。AWS 测试显示，H100 的 mig-3g.40gb 分区在吞吐和延迟上优于整卡 A100-40GB，并在长上下文高并发场景下降低 18%–34% 的成本。
AI 根据报道生成 · 3 天前更新
最新进展11月7日 02:01
SageMaker Inference 支持 Multi-Instance GPU 以最大化模型端点 GPU 利用率报道时间线
沿着报道，了解事件的不同侧面。
11月7日
- AWS Machine Learning Blog精选SageMaker Inference 支持 Multi-Instance GPU 以最大化模型端点 GPU 利用率
Amazon SageMaker Inference 新增 GPU 分区功能，利用 NVIDIA MIG 将物理 GPU 划分为独立分区，支持在单 GPU 上部署多个隔离模型。测试显示，H100 的 mig-3g.40gb 分区在吞吐和延迟上优于整卡 A100-40GB，且在长上下文高并发场景下成本降低 18%–34%。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1011月7日 03:00
- 近 24 小时变化
- -50%
02.557.510
12:0011月8日12:0011月9日
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。