arXiv · Artificial Intelligence· Timoth\'ee Lesort, Alejandra L\'opez de Aberasturi G\'omez, Tristan Karch, Tom Veniat, Philippe Modard, Karl Tuyls, Ludovic Denoyer·· 3 小时前AI 评分42
用国际象棋基准测试大语言模型的提示词优化
Benchmarking Prompt Optimization of Large Language Models With Chess
AI 导读
研究者基于 1,118 道 Lichess 谜题构建国际象棋基准，用于评估冻结大语言模型的提示词优化（APO）。Gemini 3.5 Flash 作为元模型仅能解约 55% 谜题；该基准具备低成本精确评分、可扩展难度与新鲜谜题轮换特性，整项研究耗时约 $800。论文开源了谜题、优化与评估代码及数据集更新脚本。
来源：arXiv · Artificial Intelligence · arxiv.org