Token的正式命名来了!


AI热潮中,一个概念的地位正在渐渐凸显——Token,它是排行榜上大模型调用量的评估标准,也是大模型厂商销售套餐的计费单位。

关于token中文名,全网讨论的热火朝天,一堆大佬将token翻译成了 智元、机器之薪 、量子位、令牌、代币。。

今天Token中文名终于尘埃落定了!

日前在中国发展高层论坛2026年年会上,国家数据局局长刘烈宏表示,Token“词元”不仅是智能时代的价值锚点,更是连接技术供给与商业需求的“结算单位”,为商业模式的落地提供了可量化的可能;也从官方角度上为Token给出了翻译:“词元”。
Token的正式命名来了!

Token是什么?

Token是人工智能大模型理解和生成语言的最小语义单元,也可以通俗地理解为AI世界的“语言原子”,故翻译为“词元”。当AI处理文本时,它并不像人类一样直接理解完整的句子,而是首先将输入的文字“打碎”成这些小片段,这一过程称为“Token化”。
用个更直观的类比,AI大模型就像给人类做饭的厨师,人类的提问是食材,回答是菜品,但是他有个规矩:只能一盘一盘把食材往后厨里运,做好了菜也只能一盘一盘端出来。
Token的正式命名来了!

在具体换算上,不同语言的Token数量有所差异。通常,一个汉字约等于1到2个Token,而一个英文单词约等于1个Token,标点符号也单独计算。例如,中文句子“今天天气很好。”大约会被拆分为7个Token,而同样的英文句子则会生成约6个Token。因此,表达相同的意思,中文消耗的Token往往比英文多30%至50%。


Token在大模型应用中扮演着三个至关重要的角色:


第一,它是AI的“计价器”和“电费”。绝大多数商业大模型都按照Token数量收费,用户输入(提问)和输出(回答)的Token总和,决定了每次交互的费用。不同模型的Token单价差异巨大,国产模型价格可能仅为海外模型的六分之一。


第二,它决定了AI的“记忆力”。每个大模型都有一次性能处理的Token上限,即“上下文窗口”。例如,一个模型可能支持128K Token,大约相当于300页书的内容。超出这个范围的对话内容,AI就会“忘记”,无法在后续交流中引用。


第三,它是驱动AI执行任务的“能源”。模型每进行一步思考和推理,都需要消耗Token。任务越复杂,消耗就越大。


为什么“养龙虾”消耗的Token多呢?因为在“OpenClaw”这类能“动手干活”的AI智能体中,它们需要将一个复杂指令拆解为数十个步骤,每一步都需调用大模型进行决策和执行,导致其Token消耗量是传统聊天AI的100到1000倍,一个复杂任务可能消耗数万乃至上亿的Token。


着AI从“聊天助手”进化为“干活助手”,每个人都会和Token打交道,就像你每天都要用电、用水一样自然。理解Token,就是理解AI时代的底层逻辑!

前沿技术多模态技术新闻资讯

Pulsar特性在AI场景中的使用

2026-4-13 20:39:32

RAG技术前沿技术新闻资讯

AIOps探索:做运维领域的RAG,如何做数据清洗

2026-4-13 21:15:25

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索