01 详细解释
目标简单到近乎粗暴,但要在海量文本上把它做到极致,模型就不得不压进语法、事实关联、风格甚至部分推理模式。今天所有看起来「聪明」的表现,都是这个目标的副产品。
也正因如此,模型的本能是「续写最像的话」,而不是「查证后再回答」。理解了这一点,幻觉、提示词、采样参数、结构化输出这些概念就都串起来了。
大模型预训练的唯一目标:根据前文,猜下一个最可能的 token。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
目标简单到近乎粗暴,但要在海量文本上把它做到极致,模型就不得不压进语法、事实关联、风格甚至部分推理模式。今天所有看起来「聪明」的表现,都是这个目标的副产品。
也正因如此,模型的本能是「续写最像的话」,而不是「查证后再回答」。理解了这一点,幻觉、提示词、采样参数、结构化输出这些概念就都串起来了。
看到「今天天气真」,模型给「好」的概率远高于给「区块链」的概率。
遇到模型爱编造时,别怪它「不诚实」,把材料一起塞进上下文或要求给出处更管用。
这些词几乎出现在每一篇入门材料里:token 决定成本,上下文窗口决定能塞多少,幻觉决定你敢不敢直接信。先把它们认全,后面读选型、读架构才不卡壳。