01 详细解释
窗口里装的不只是你的问题:系统提示、历史对话、检索到的文档、工具返回结果、以及即将生成的回答,全部共享这一个额度。窗口写 200K,不代表你能塞 200K 的正文——输出也要占位。
窗口大不等于记得住。放在长文档中间位置的信息,被采用的概率明显低于开头和结尾,这个现象叫「lost in the middle」。所以长上下文要和检索配合用,而不是拿它替代检索。
一次请求里模型能同时「看到」的 token 上限。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
窗口里装的不只是你的问题:系统提示、历史对话、检索到的文档、工具返回结果、以及即将生成的回答,全部共享这一个额度。窗口写 200K,不代表你能塞 200K 的正文——输出也要占位。
窗口大不等于记得住。放在长文档中间位置的信息,被采用的概率明显低于开头和结尾,这个现象叫「lost in the middle」。所以长上下文要和检索配合用,而不是拿它替代检索。
这些词几乎出现在每一篇入门材料里:token 决定成本,上下文窗口决定能塞多少,幻觉决定你敢不敢直接信。先把它们认全,后面读选型、读架构才不卡壳。