如果你在应用里每次请求都带上几千字的系统提示、产品手册或 few-shot 示例,那你很可能一直在为同样的内容反复付费。提示词缓存(Prompt Caching)就是为这类重复前缀设计的:把不变的部分缓存起来,后续请求直接复用。这篇讲清楚它怎么用、什么时候有用。
它的前提:要有稳定的重复前缀
缓存生效的关键,是多次请求之间有一段完全相同且位置靠前的内容。典型场景:固定的系统提示词、长参考文档、统一的输出格式说明、多轮对话里已经积累的历史。反过来,如果每次请求开头都不同,缓存就无从谈起。所以第一步永远是——把不变的内容挪到最前面。
结构怎么摆
把提示词拆成两段:稳定段在前,变化段在后。稳定段放角色设定、规则、参考材料;变化段放用户本轮的输入。这样命中率最高。很多人忽略的一个细节:哪怕只是稳定段里多一个空格、换一次顺序,都可能导致缓存不命中。所以要像对待代码一样对待这段文本——固定下来,别随手改。
成本与延迟的双重收益
命中缓存后,重复部分通常按更低的单价计费,而且省去了重复计算,首字延迟也会下降。对高频调用的应用,这两项叠加往往很可观。不过具体折扣、缓存有效期和最小长度门槛,各家厂商规则不同,请以你所用水平台的官方文档为准,不要照搬别人的数字。
落地四步
- 找出请求里真正重复的那段长文本,确认它位置固定。
- 把它提到提示词最前面,后面再接本次的变化内容。
- 按平台要求设置缓存控制标记(具体写法查官方文档)。
- 监控缓存命中率,用真实流量验证,而不是想当然。
常见误区
一是把随时间变化的内容(时间戳、随机 ID)放进前缀,等于自己破坏命中;二是缓存过期后没有自动重建的机制;三是为省成本牺牲了输出质量却没察觉。建议加一个简单的对照测试:缓存前后各跑一组样本,确认答案质量没有下降。
结论:提示词缓存是典型的"低改动、高回报"优化。前提只有一个——把重复内容稳定地放在前面。先找出你请求里最长的那段固定文本,就是最好的起点。
小7分享网