跳到正文
AWS Machine Learning Blog· Sai Pavan Kasani·· 2 小时前精选AI 评分72

Amazon Bedrock 四个影响推理成本的请求级配置

Four Amazon Bedrock inference choices that affect cost

AI 导读

Amazon Bedrock 的推理成本受缓存时长、服务层级、推理强度和 maxTokens 四个请求级参数影响。文章通过实测展示了不同配置下的 token 消耗和成本差异,例如将推理强度从 high 降至 low 可减少 169% 的输出 token,设置 155 token 上限可避免 1893 个冗余输出 token。

推荐理由

原文给出了缓存、服务层级、推理强度和输出上限的实测数据,读者可据此校准请求参数以控制成本。

来源:AWS Machine Learning Blog · aws.amazon.com