arXiv cs.CL· Soovadeep Bakshi, Apurba Bose, Aishwarya Bose, Sandip Nandi·· 2 小时前精选AI 评分78
七家大模型在重复风险测试下股票配置建议波动达24至35个百分点
Same Person, Different Advice: Auditing LLM Financial Advice with Repeated Risk-Tolerance Responses
AI 导读
该研究通过重复风险偏好测试审计了来自五家提供商的七个大型语言模型(LLM)的金融建议能力,发现当同一用户在不同时间给出不同风险评分时,模型推荐的股票配置比例平均波动10至16个百分点,若仅因回答改变则波动高达24至35个百分点,而相同提示词重复提问的波动仅为0.6至4.2点。这一现象表明当前主流LLM将单次陈述的风险态度视为绝对事实,缺乏对回答可靠性的内在校准机制,导致投资建议随用户情绪或记忆偏差剧烈震荡。
证据细节显示,在不加任何说明的情况下,模型对风险回答的反应强度与被告知“答案非常可靠”时几乎一致(Claude模型除外),且这种不稳定性在40岁以下客户群体中最为显著。研究指出,若依据经典测试理论对不可靠回答进行折扣处理,可将波动幅度降低2.4至3.3倍;添加“答案存在噪声”的提示虽能稳定部分模型,但会使其过度依赖年龄特征并将谨慎型客户的配置拉向中间值(从4%升至22%)。此外,增加三个额外财务问题未能显著减少跨人群差异,但脚本化澄清问答能将修正后的回答波动从33.5点降至1.9点。
事实层面确认了LLM在金融场景中对输入数据信度感知的缺失;推断层面认为这构成了AI投顾落地的系统性风险,需引入重测审计作为标准流程;猜测层面推测未来产品可能内嵌动态置信度评估模块,但这取决于厂商是否将统计校准纳入对齐目标而非仅依赖提示工程。
推荐理由
材料把收入增长拆到客户和成本结构,能直接校正对商业化质量的判断。
来源:arXiv cs.CL · arxiv.org