一、先来"看见"分词 在讲任何理论之前，我们先打开一个工具tiktokenizer。这是一个基于 JavaScript 的在线分词可视化工具，在浏览器中实时运行。左侧输入文本，右侧立即显示分词结果，每个 token 用不同颜色高亮。1.1 Tiktokenizer介绍 这是一个开源的在线分词可视化工具，基于 OpenAI 的 tiktoken 库，用 JavaScript 在浏览器中实时运行，不调用任何 API。界面分为 System、User、Assistant 三个输入栏，对应 Chat API 的消息角色。你可以把系统提示、用户消息、模型回复分别贴进去，观察每部分各自被拆成了多少 token。三个栏的分词逻辑完全一样，分开只是方便你估算实际对话场景下的 token 消耗。1.2 举例说明 选择 GPT-4o 分词器，在 User 栏分别输入Hello, world!和你好，世界，你会看到这样的 token 序列： 仔细观察，有几个值得玩味的现象：标点和空格不是"免费的"Hello, world!变成了 4 个 token：Hello（13225）、,（11）、world（2375，注意前面带空格）、!（0）。逗号、感叹号各占一个 token，空格则被粘在了下一个词的开头。中文的切分粒度不同你好，世界变成了 3 个 token：你好（177519）、，（979）、世界（28428）。两个汉字被合并为一个 token，而英文Hello五个字母也才一个 token。同样的"一个 token"，承载的信息量差异很大。这也是为什么中文 prompt 往往比英文更费 token。 这些现象说明一件事：大模型处理文本的第一步，就不是在"词"的层面上操作的。它使用的是一种介于字符和单词之间的切分方案—子词（subword）。而构建这套子词词表的核心算法，就是我们今天要讲的BPE（Byte Pair Encoding，字节对编码）。二、背景：为什么不能直接按词切分 在传统 NLP 中，英文按空格切分就能得到单词，中文用 jieba 等工具也能搞定。但大模型时代，这套方案撑不住了，原因有三个：词表爆炸英文有大量的派生词（running、runner、runs），中文有无穷的组合（“人工智能”、“人工降雨”），如果每个词都分配一个 ID，词表会膨胀到不可控。OOV（未登录词）问题训练时没见过的词怎么办？传统方法只能标记为UNK，直接丢失语义信息。多语言支持一个模型要同时处理中英日韩甚至代码，按语言各搞一套分词器根本不现实。BPE 的思路很巧妙：不以"词"为基本单位，而是通过数据驱动的方式，自动学习一套子词切分方案。高频词保留完整，低频词拆成有意义的碎片。一石三鸟，解决了上面全部问题。三、基础知识：三种分词粒度 在正式讲 BPE 之前，先理清三种分词粒度：粒度示例（“unhappiness”）优点缺点字符级u, n, h, a, p, p, i, n, e, s, s无 OOV序列过长，语义碎片化单词级unhappiness语义完整词表大，OOV 严重子词级un, happi, ness平衡词表大小和语义需要学习切分规则子词分词的核心思想一句话概括：高频的留着，低频的拆开。你可以在 tiktokenizer 中亲手验证：输入the, unhappines