为什么中文更“费 Token”:分词器 Tokenizer 通俗解读

为什么中文更“费 Token”:分词器 Tokenizer 通俗解读

为什么同一段话,中文看起来比英文“更费 Token”?要回答这个问题,得先理解模型眼里的“字”——Token,以及把它切出来的工具:分词器(Tokenizer)。

Token 是什么

模型并不直接读文字,而是读一串编号。分词器负责把文本切成若干片段(Token),再映射成编号。一个 Token 可能是一个汉字、一个英文单词的一部分,甚至一个标点。它是模型处理文本的最小单位,也是计费和计算上下文长度的基本单位。

分词怎么做

主流大模型多采用 BPE 一类的子词切分:高频片段被保留成完整 Token,低频词被拆成更小的片段。英文中一个常见单词可能就是一个 Token,而中文一个汉字常对应一个或更多 Token,具体比例取决于模型的词表——不同模型的词表不同,切分结果也不同,这就是为什么“字符数”无法直接换算成 Token 数。

为什么它影响成本和上下文

  • 计费:多数 API 按输入、输出 Token 数量收费,分词效率直接影响账单;
  • 上下文:窗口长度按 Token 计,同样字数在不同语言、不同模型下占用的窗口不同;
  • 效果:切分方式会影响模型对数字、代码、专有名词的理解。

几个常见误解

一是“一个汉字=一个 Token”,并不准确;二是“字数少就一定便宜”,忽略分词差异会误判成本;三是拿某模型的分词结果去估算另一个模型,误差可能不小。

实用建议

要精确估算,就用目标模型官方的分词器对真实文本跑一遍;写提示词时删掉冗余客套话,能实打实省下 Token;处理长文档时,先估算分词后再决定是否分批。结论:Token 是连接“人的文字”和“模型的计算”之间的桥,理解它,你才能算得清成本、用得满上下文、写得高效提示词。

本文属于专题推理加速与成本9 篇全部专题 →
文中提到的术语分词器提示词推理术语速查 →
未经允许不得转载:小7分享网 » 为什么中文更“费 Token”:分词器 Tokenizer 通俗解读

评论 抢沙发

小7分享网 · 聚焦 AI 的实用博客

每天一篇,跟进 AI 行业动态、实测新工具、拆解实战教程。不堆术语,不炒概念,只写真正用得上的内容。

浏览全部文章关于本站

欢迎回来

登录 小7分享网,继续你的精彩

还没有账号?立即注册

忘记密码 ?

创建账号

注册后即可体验完整功能

已有账号?直接登录

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活