arXiv cs.AI· Fan Huang, Minsuk Kim, C. Tyler Diggans, Filippo Radicchi·· 13 小时前AI 评分42
评估大语言模型生成的偏好分布
Evaluating LLM-Generated Preference Distributions
AI 摘要
研究系统分析了九个开源权重模型在航空、餐饮和消费品领域的偏好分布生成表现。所有模型均表现出自我一致性,但不同模型家族与规模间存在显著分歧,且结果主要受模型选择而非提示词措辞影响。该发现挑战了高能力大语言模型可替代问卷受访者产生相似偏好分布的常见假设。
来源:arXiv cs.AI · arxiv.org