交互 Lab模块一
Token 解剖器
直观感受 AI 是怎么「读」文字的。每个彩色方块代表一个 Token——AI 的最小阅读单位。
10 字符10 tokens1.0 token/字
人0工1智2能3正4在5改6变7世8界9
颜色不同的方块代表不同的 Token。AI 就是用这些「词块」来理解文字的。试试输入英文看看差异。
你学到了什么
- 中文的一个字往往就是一个 Token，但英文一个单词可能被拆成多个
- Token 数量决定了 API 的计费——Token 越多越贵
- 不同 AI 模型的 Tokenizer 不同，拆分结果也不同