arXiv · Computation and Language· Ben Gubler·· 4 小时前AI 评分31
Tokka-Bench：跨 100 种自然语言与 20 种编程语言评测分词器
Tokka-Bench: Evaluating Tokenizers Across 100 Natural and 20 Programming Languages
AI 导读
研究者推出开源框架 Tokka-Bench，用字节每 token、唯一 token 覆盖率、子词丰度、词切分率和词表构成五项指标，在 100 种自然语言（30+ 文字系统）与 20 种编程语言上评测分词器。
来源：arXiv · Computation and Language · arxiv.org