跳到正文
原文
Chip Huyen · Notes·· 2024-02-28AI 评分62

Predictive Human Preference:从模型排序到模型路由

Predictive Human Preference: From Model Ranking to Model Routing

AI 导读

Chip Huyen 提出预测性人类偏好,旨在按提示词预测用户更偏好哪个模型回应。以 LMSYS 2023 年 7 月的 33K 人类对比数据为基准,Chatbot Arena 的 Bradley-Terry 排序在非平局样本上准确率为 74.1%。

来源:Chip Huyen · Notes · huyenchip.com