01 详细解释
技术上通常是 SSE 或分块传输:模型每产出一段,服务端立刻推一次,前端逐字渲染。内容没变快,但用户几秒内就看到字,感知延迟大幅下降。
它带来的工程约束不少:中途断连要能收尾、结构化输出不能靠「等完整 JSON」、工具调用和引用标记要在流里正确拼接。
边生成边把 token 逐个推给前端,而不是等整段写完再返回。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
技术上通常是 SSE 或分块传输:模型每产出一段,服务端立刻推一次,前端逐字渲染。内容没变快,但用户几秒内就看到字,感知延迟大幅下降。
它带来的工程约束不少:中途断连要能收尾、结构化输出不能靠「等完整 JSON」、工具调用和引用标记要在流里正确拼接。
回答还没写完,界面上已经从第一个字开始往下滚。
需要机器解析结果时别用流式拼接 JSON,改用结构化输出或等完整响应。
同样一个模型,费用能差十倍,差别全在缓存、批处理、量化、并行和让它想多久。做容量规划、选部署方式、谈单价,都绕不开这几个词。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。