← 返回文章大模型原理

Token 是什么?为什么不是一个字一个 Token?

Token 是模型处理文字的单位,可能对应字、词的一部分或其他片段。

先弄明白

语言和分词方式不同,数量也不同,不能把中文字符数直接当成 Token 数或费用。

分三步试一试

  • 取一段中文和一段含数字、标点的文本。
  • 在所用产品官方计量工具或用量页查看实际值。
  • 记录输入、输出和其他计费项目的差别。

可以这样问

先准备好

先理解单位,再按产品实际提供的计量入口观察;没有计量工具也能完成概念练习。

练习材料(虚构示例)

比较:你好;hello;SKU-001。问它们为什么不必有同样的字符数或 Token 数。不要让聊天模型猜精确值。

把提示词里的占位符换成上面的材料;没有占位符时,将材料接到提示词后。阅读时长不含实际练习。

请解释 Token 和字数的区别,不给固定换算比例;如果没有实际计量工具,不要估算我的账单。

结果怎么核对(供练习对照)

Token 不等于字符;没有指定分词器就没有可靠的精确换算。还缺价格、输入输出用量时不能计算账单。

遇到问题怎么办

网上的“一个字等于几个 Token”只能粗略参考,预算用实际计量和当前价格。

怎么判断学会了

能判断一段费用计算缺少哪些输入,而不是只乘一个字符数。

参考资料与适用范围

以下资料用于核对概念或产品入口,练习步骤由本站整理,不代表官方认证或客户效果。界面和可用功能可能更新,请以当前产品为准。资料核对日期:2026-10-17。

先聊一项具体工作

说说现在怎么做、哪一步最费时间。初次沟通免费。

免费聊聊 ↗
需要帮助?了解小范围实施服务 ↗

继续阅读