Token正式命名为“词元”Token到底是啥

  • 打印
  • 收藏
收藏成功


打开文本图片集

值得注意的是,在人民日报等公开报道里,它被明确写成了“词元”;在国新办新闻发布会上,国家数据局局长也直接说出了“Token,也就是词元”这句话。

最近几天,不少人第一次在许许多多的媒体上看见了这个词。不是流量,不是算力,也不是参数,而是一个原本更常出现在程序员聊天记录和大模型后台里的词——Token,也就是“词元”。(剩余3144字)

monitor