基础概念

下一词预测

Next-Token Prediction

大模型预训练的唯一目标:根据前文,猜下一个最可能的 token。

又称 Next-Token Prediction 自回归目标 续写目标

本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正

01 详细解释

目标简单到近乎粗暴,但要在海量文本上把它做到极致,模型就不得不压进语法、事实关联、风格甚至部分推理模式。今天所有看起来「聪明」的表现,都是这个目标的副产品。

也正因如此,模型的本能是「续写最像的话」,而不是「查证后再回答」。理解了这一点,幻觉、提示词、采样参数、结构化输出这些概念就都串起来了。

✦举个例子

看到「今天天气真」,模型给「好」的概率远高于给「区块链」的概率。

✓实战提示

遇到模型爱编造时,别怪它「不诚实」,把材料一起塞进上下文或要求给出处更管用。

02 什么时候会碰到它
刚上手大模型、看文档或教程时

这些词几乎出现在每一篇入门材料里:token 决定成本,上下文窗口决定能塞多少,幻觉决定你敢不敢直接信。先把它们认全,后面读选型、读架构才不卡壳。

03 和这几个词怎么区分
04 接着读这几篇

小7分享网 · 聚焦 AI 的实用博客

每天一篇,跟进 AI 行业动态、实测新工具、拆解实战教程。不堆术语,不炒概念,只写真正用得上的内容。

浏览全部文章关于本站

欢迎回来

登录 小7分享网,继续你的精彩

还没有账号?立即注册

忘记密码 ?

创建账号

注册后即可体验完整功能

已有账号?直接登录

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活