AWS Machine Learning Blog· Sai Pavan Kasani·· 2 小时前精选AI 评分72
Amazon Bedrock 四个影响推理成本的请求级配置
Four Amazon Bedrock inference choices that affect cost
AI 导读
Amazon Bedrock 的推理成本受缓存时长、服务层级、推理强度和 maxTokens 四个请求级参数影响。文章通过实测展示了不同配置下的 token 消耗和成本差异,例如将推理强度从 high 降至 low 可减少 169% 的输出 token,设置 155 token 上限可避免 1893 个冗余输出 token。
推荐理由
原文给出了缓存、服务层级、推理强度和输出上限的实测数据,读者可据此校准请求参数以控制成本。
来源:AWS Machine Learning Blog · aws.amazon.com