01 详细解释
系统提示、长文档、工具定义这些每次都不变的部分,第一次算完就存下 KV,之后再请求直接复用。命中后这部分按更低价格计费,首字延迟也大幅下降。
使用要点:把稳定内容放前面、变化内容放后面;缓存有存活时间(常见 5 分钟到 1 小时),太分散的请求命中不了。
把重复的前缀上下文缓存起来,后续请求只算新增部分。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
系统提示、长文档、工具定义这些每次都不变的部分,第一次算完就存下 KV,之后再请求直接复用。命中后这部分按更低价格计费,首字延迟也大幅下降。
使用要点:把稳定内容放前面、变化内容放后面;缓存有存活时间(常见 5 分钟到 1 小时),太分散的请求命中不了。
同样一个模型,费用能差十倍,差别全在缓存、批处理、量化、并行和让它想多久。做容量规划、选部署方式、谈单价,都绕不开这几个词。