AWS Machine Learning Blog· Jyothirmai Kottu·2026-10-12 23:51· 28 天前AI 评分42

在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型

Deploy decision models with llama.cpp on Amazon SageMaker AI

AI 导读

在 Amazon SageMaker AI 上利用 llama.cpp 部署决策模型，支持通过 SemIf 扩展返回选项概率而非自由文本。Qwen3.5-4B 在 GPU 上的 p50 延迟为 0.352 秒，比 CPU 快 4.9 倍，准确率为 77.9%。

来源：AWS Machine Learning Blog · aws.amazon.com