Hot eventLive
Tokka-Bench：跨百种自然语言与编程语言评测分词器
1 reports1 sources4 hr ago updated
Get the story
AI overview
2026年10月8日，arXiv Computation and Language 发布一手报道，研究者推出开源框架 Tokka-Bench，用于跨语言评测分词器。该框架采用五项指标：字节每 token、唯一 token 覆盖率、子词丰度、词切分率和词表构成，在 100 种自然语言（覆盖 30 余种文字系统）与 20 种编程语言上进行评测。此前事件标题表述为“在100种自然语言和20种编程语言上评估分词器”，与新报道在范围与指标细节上一致，未见矛盾。报道未提及具体评测对象、分数结果或发布时间表，仅确认框架开源及其评测维度。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
Oct 8, 2026
- arXiv · Computation and LanguageTokka-Bench：跨 100 种自然语言与 20 种编程语言评测分词器
研究者推出开源框架 Tokka-Bench，用字节每 token、唯一 token 覆盖率、子词丰度、词切分率和词表构成五项指标，在 100 种自然语言（30+ 文字系统）与 20 种编程语言上评测分词器。
Heat trend
Current heat 9·Comparable peak 10（Oct 8）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.