Skip to content
Hot eventLive

LLM提示优化国际象棋基准测试

1 reports1 sources3 hr ago updated

Get the story

AI overview

研究者基于1,118道Lichess谜题构建国际象棋基准，评估冻结大语言模型的提示词优化（APO）。以Gemini 3.5 Flash为元模型，仅能解约55%谜题。该基准具备低成本精确评分、可扩展难度与新鲜谜题轮换特性，整项研究耗时约800美元。论文开源了谜题、优化与评估代码及数据集更新脚本。

Generated from reports · updated 2 hr ago

LatestOct 2
arXiv发布国际象棋基准测试论文，开源谜题、优化与评估代码及数据集更新脚本。

Timeline

Follow the coverage from different angles.

Oct 2, 2026
  1. arXiv · Artificial Intelligence
    用国际象棋基准测试大语言模型的提示词优化

    研究者基于 1,118 道 Lichess 谜题构建国际象棋基准，用于评估冻结大语言模型的提示词优化（APO）。Gemini 3.5 Flash 作为元模型仅能解约 55% 谜题；该基准具备低成本精确评分、可扩展难度与新鲜谜题轮换特性，整项研究耗时约 $800。论文开源了谜题、优化与评估代码及数据集更新脚本。

Heat trend

There is not enough continuous observation data to draw a trend yet.