arXiv · Artificial Intelligence· Andrea Wynn (Nathan), Harsh Satija (Nathan), Seokhyun (Nathan), Baek, Anqi Liu, Eric Nalisnick, Gillian K. Hadfield·· 3 小时前AI 评分35
LLM 规范性能力的基础、设计与挑战
Reading the Room: Foundations, Design, and Challenges of Normative Competence in LLMs
AI 导读
论文提出规范性能力（normative competence）概念，即 AI 智能体仅凭交互识别社区所执行规范的能力，并构建多智能体社区辩论场景加以隔离评估。基线 LLM 智能体即便遵守规范能提升准确率仍学不会；规范性模块对规范风格与底层模型高度敏感，且会把非规范的特异行为一并模仿。该工作自称首次对 LLM 规范性能力进行可操作化评测。
来源：arXiv · Artificial Intelligence · arxiv.org