这是一个创建于 85 天前的主题，其中的信息可能已经有所发展或是发生改变。
下面是 kimi 给出的结论，是否正确
 |
1
cmos 85 天前  1
用 BPE 分词器，英语子词合并充分，中文语义密度高，不存在也不可能存在 40%这么高的差距。相信月之暗面，不如相信我是秦始皇。搞这些，不如前置一个小模型实现精炼、去除赘余，这才是真正的提高效率和利用率。
|
 |
2
TimePPT PRO @imes 哈哈哈对的。
这个跟 tokenizer 算法强相关，各家各模型其实是有差的。 另外，OpenAI 家自己有个 token 计算器，如果有兴趣自己试试就知道了。 https://platform.openai.com/tokenizer |
|
3
TimePPT PRO 另外，现在很多模型服务厂商是有 cache 的，走 cache 也会便宜不少——比如 OpenAI 家的说明： https://platform.openai.com/docs/guides/prompt-caching
所以你每次请求，多次 context 重复部分实际上花不了多少钱，直接按裸 token 算钱实际上是算多的 |
 |
4
yh7gdiaYW 85 天前
会少但没有这么明显，我自己的应用测算下来把输入转为英文能节省 20%-30%的 token ，模型是 4o 。国产模型的话差距应该会更小甚至反过来
|
 |
5
Dlad 85 天前
感觉差异来自“子任务：翻译”。跟信息密度关系倒不大。
|
 |
6
xuanwu 84 天前
第一个例子，用二楼的 token 计算器测“我爱人工智能” 是 4 个。
自己先做下实验为好。 |
Select Language