Token
Token 是大模型处理文本的最小单位,由分词器把文字切成的子词片段,英文约 0.75 词/token,中文约 1-2 字/token。
模型的输入输出长度、API 计费、上下文窗口全部以 token 计量。同一段话在不同分词器下 token 数不同,这也是跨模型成本比较要先换算 token 的原因。
相关词条
Token 是大模型处理文本的最小单位,由分词器把文字切成的子词片段,英文约 0.75 词/token,中文约 1-2 字/token。
模型的输入输出长度、API 计费、上下文窗口全部以 token 计量。同一段话在不同分词器下 token 数不同,这也是跨模型成本比较要先换算 token 的原因。