AWS Machine Learning Blog· Claudio Mazzoni·· 14 天前精选AI 评分75
Amazon Bedrock 上 OpenAI 模型的 Prompt Caching 模式：降低 AI Agent 成本
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
AWS 官方博客介绍了在 Amazon Bedrock 上使用 OpenAI 模型时，通过 Prompt Caching 减少 AI Agent 重复读取上下文的成本。文章演示了显式与隐式缓存结合、工具变更、子代理共享前缀等场景的代码实现，并指出在 GPT-6 Astra 的六轮工作负载中，输入成本可降低约 62%。
推荐理由
原文给出了在 Amazon Bedrock 上为 OpenAI 模型配置 Prompt Caching 的具体代码模式，读者可据此降低多轮 Agent 的输入成本。
来源：AWS Machine Learning Blog · aws.amazon.com