为什么同一段话,中文看起来比英文“更费 Token”?要回答这个问题,得先理解模型眼里的“字”——Token,以及把它切出来的工具:分词器(Tokenizer)。
Token 是什么
模型并不直接读文字,而是读一串编号。分词器负责把文本切成若干片段(Token),再映射成编号。一个 Token 可能是一个汉字、一个英文单词的一部分,甚至一个标点。它是模型处理文本的最小单位,也是计费和计算上下文长度的基本单位。
分词怎么做
主流大模型多采用 BPE 一类的子词切分:高频片段被保留成完整 Token,低频词被拆成更小的片段。英文中一个常见单词可能就是一个 Token,而中文一个汉字常对应一个或更多 Token,具体比例取决于模型的词表——不同模型的词表不同,切分结果也不同,这就是为什么“字符数”无法直接换算成 Token 数。
为什么它影响成本和上下文
- 计费:多数 API 按输入、输出 Token 数量收费,分词效率直接影响账单;
- 上下文:窗口长度按 Token 计,同样字数在不同语言、不同模型下占用的窗口不同;
- 效果:切分方式会影响模型对数字、代码、专有名词的理解。
几个常见误解
一是“一个汉字=一个 Token”,并不准确;二是“字数少就一定便宜”,忽略分词差异会误判成本;三是拿某模型的分词结果去估算另一个模型,误差可能不小。
实用建议
要精确估算,就用目标模型官方的分词器对真实文本跑一遍;写提示词时删掉冗余客套话,能实打实省下 Token;处理长文档时,先估算分词后再决定是否分批。结论:Token 是连接“人的文字”和“模型的计算”之间的桥,理解它,你才能算得清成本、用得满上下文、写得高效提示词。
本文属于专题推理加速与成本9 篇全部专题 →
小7分享网