arXiv · Computers and Society· Yash Dave, Sang T. Truong, Serena Wang, Sanmi Koyejo·· 4 hr agoAI score31
AI 评测生态系统
The AI Evaluation Ecosystem
AI brief
论文提出一个结合规则式市场动态与 LLM 驱动战略行为者的仿真架构,基于生成式智能体建模(GABM),在六维能力空间(推理、编码、知识、安全、沟通、智能体)上建模评测基准、消费者需求与提供方能力。以基准留出集设计为案例,发现从公开基准转向私有留出基准在多数基准上缩小分数与用户满意度差距,但在少数基准上扩大差距,取决于留出权重如何转移评分贡献。
Source: arXiv · Computers and Society · arxiv.org