01 详细解释
模型不直接读汉字或单词,而是先由分词器把文本切成 token。中文大致一个汉字 1–2 个 token,英文一个单词约 1.3 个,代码和生僻符号更费。
所有计费、上下文长度、生成速度都按 token 算。这也是「为什么中文更贵」的根源:同样一段意思,中文的 token 数常比英文多。想省钱,先学会看 token 数,而不是看字数。
模型不直接读汉字或单词,而是先由分词器把文本切成 token。中文大致一个汉字 1–2 个 token,英文一个单词约 1.3 个,代码和生僻符号更费。
所有计费、上下文长度、生成速度都按 token 算。这也是「为什么中文更贵」的根源:同样一段意思,中文的 token 数常比英文多。想省钱,先学会看 token 数,而不是看字数。
这些词几乎出现在每一篇入门材料里:token 决定成本,上下文窗口决定能塞多少,幻觉决定你敢不敢直接信。先把它们认全,后面读选型、读架构才不卡壳。