01 详细解释
它的训练目标只有一个:给定前文,预测下一个词。把这个目标做到极致之后,模型内部会自发形成语法、事实关联和一定的推理能力,于是看起来像「什么都懂」。
但它没有数据库,也没有查证动作。回答是「根据上下文续写最可能的词」,所以既能写代码,也会一本正经地编造。判断一个模型的实际能力,看三件事:知识截止时间、上下文窗口、以及是否针对推理做过强化学习。
用海量文本训练出来、按概率逐字续写文本的神经网络。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
它的训练目标只有一个:给定前文,预测下一个词。把这个目标做到极致之后,模型内部会自发形成语法、事实关联和一定的推理能力,于是看起来像「什么都懂」。
但它没有数据库,也没有查证动作。回答是「根据上下文续写最可能的词」,所以既能写代码,也会一本正经地编造。判断一个模型的实际能力,看三件事:知识截止时间、上下文窗口、以及是否针对推理做过强化学习。
这些词几乎出现在每一篇入门材料里:token 决定成本,上下文窗口决定能塞多少,幻觉决定你敢不敢直接信。先把它们认全,后面读选型、读架构才不卡壳。