Chip Huyen · Notes·· 2024-02-28AI 评分62
Predictive Human Preference:从模型排序到模型路由
Predictive Human Preference: From Model Ranking to Model Routing
AI 导读
Chip Huyen 提出预测性人类偏好,旨在按提示词预测用户更偏好哪个模型回应。以 LMSYS 2023 年 7 月的 33K 人类对比数据为基准,Chatbot Arena 的 Bradley-Terry 排序在非平局样本上准确率为 74.1%。
来源:Chip Huyen · Notes · huyenchip.com