词元 (Token) 和词元经济

打开文本图片集
随着OpenClaw(即大家俗称的“龙虾”)火爆出圈,以及一众国产智能体的火速跟进,词元(Token)也很快成为朋友圈和新闻标题高频词汇。
词元究竟是什么?
词元是大模型处理信息的最小单元,大模型的计算成本,本质上取决于处理文本的计算量,词元是基础指标。
举个简单的例子,你向大模型提问,就是你在向大模型输入信息,你的问题越长、表达得越详细,则你向大模型输入的词元越多;反之亦然,大模型回答你的问题,是大模型在向你输出信息,大模型回答得越长、越深入细致,则大模型向你输出的词元越多。(剩余1608字)