01 详细解释
主要由预填充阶段决定:上下文越长、模型越大,首字越慢。聊天场景里,TTFT 超过 2 秒用户就开始觉得卡;流式输出能缓解感知,但不能改变真实等待。
优化方向:缩短系统提示、启用提示词缓存、减少检索塞入的材料、用小模型做首轮响应。
从发出请求到收到第一个字的时间。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
主要由预填充阶段决定:上下文越长、模型越大,首字越慢。聊天场景里,TTFT 超过 2 秒用户就开始觉得卡;流式输出能缓解感知,但不能改变真实等待。
优化方向:缩短系统提示、启用提示词缓存、减少检索塞入的材料、用小模型做首轮响应。
同样一个模型,费用能差十倍,差别全在缓存、批处理、量化、并行和让它想多久。做容量规划、选部署方式、谈单价,都绕不开这几个词。