研究:语言模型单词选择趋同,SFT是主因
Get the story
该研究以“选一个词”任务考察语言模型答案选择的一致性。早先报道称,44 个语言模型在 96 个类别中表现趋同,重度后训练的主流实验室助手最顺从,轻度后训练和人格微调模型最分歧;GPT、Gemini、Grok 和 Qwen 跨版本更顺从,Claude 第 5 代则反转;SFT 是向群体答案靠拢的最大步骤,模型整体在 20 个共享类别中的 18 个比人类更集中。后续报道称样本扩大至 105 个语言模型,其中 46% 在任务中选择 serendipity,96 个类别中有 28 个出现单一答案占比 80% 以上;其余结论与早先报道一致。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Computers and Society单词普查:44 个语言模型的答案选择一致性
105 个语言模型在“选一个词”任务中 46% 选择 serendipity,96 个类别中 28 个出现单一答案占 80% 以上。重度后训练的主流实验室助手最顺从,轻度后训练和人格微调模型最分歧;GPT、Gemini、Grok 和 Qwen 跨版本更顺从,Claude 第 5 代则反转。SFT 是向群体答案靠拢的最大步骤,模型整体在 20 个共享类别中的 18 个比人类更集中。
Heat trend
Current heat 9·Comparable peak 10(Oct 9)·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.