AI人工智能研究语言公平联盟（CLEAR）最新研究显示，AI模型在处理不同语言时所需的词元（tokens）数量存在巨大差异。由于分词器工具多针对英语等主流语言优化，非英语语言用户往往面临“词元税”，导致使用成本更高、延迟更长，且有效上下文窗口更小。研究发现，在包含200种语言的模型中，Token成本差距可达17倍，