arXiv · Computation and Language· Thomas Serval·· 3 小时前AI 评分52
2026 LLM 分词器中法语及地区语言的隐形语言税：Token 溢价测量与法语优化原型
The Invisible Language Tax: Token Premiums of French and Regional Languages in 2026 LLM Tokenizers, and a French-Optimized Prototype
AI 导读
论文测量了 OpenAI o200k、Llama 3、Qwen3、DeepSeek V3/V4、Gemma 3、Mistral Tekken 与 Claude gen-5 分词器在 NTREX-128 和《世界人权宣言》上的 token 溢价。
来源：arXiv · Computation and Language · arxiv.org