基础概念

词元

Token

模型读写的最小单位,介于「字」和「词」之间。

又称 Token 词元数

本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正

01 详细解释

模型不直接读汉字或单词,而是先由分词器把文本切成 token。中文大致一个汉字 1–2 个 token,英文一个单词约 1.3 个,代码和生僻符号更费。

所有计费、上下文长度、生成速度都按 token 算。这也是「为什么中文更贵」的根源:同样一段意思,中文的 token 数常比英文多。想省钱,先学会看 token 数,而不是看字数。

02 什么时候会碰到它
刚上手大模型、看文档或教程时

这些词几乎出现在每一篇入门材料里:token 决定成本,上下文窗口决定能塞多少,幻觉决定你敢不敢直接信。先把它们认全,后面读选型、读架构才不卡壳。

03 和这几个词怎么区分
04 接着读这几篇

小7分享网 · 聚焦 AI 的实用博客

每天一篇,跟进 AI 行业动态、实测新工具、拆解实战教程。不堆术语,不炒概念,只写真正用得上的内容。

浏览全部文章关于本站

欢迎回来

登录 小7分享网,继续你的精彩

还没有账号?立即注册

忘记密码 ?

创建账号

注册后即可体验完整功能

已有账号?直接登录

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活