Tokka-Bench：跨百种自然语言与编程语言评测分词器

2026年10月8日，arXiv Computation and Language 发布一手报道，研究者推出开源框架 Tokka-Bench，用于跨语言评测分词器。该框架采用五项指标：字节每 token、唯一 token 覆盖率、子词丰度、词切分率和词表构成，在 100 种自然语言（覆盖 30 余种文字系统）与 20 种编程语言上进行评测。此前事件标题表述为“在100种自然语言和20种编程语言上评估分词器”，与新报道在范围与指标细节上一致，未见矛盾。报道未提及具体评测对象、分数结果或发布时间表，仅确认框架开源及其评测维度。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。