FinDendro 基准揭示大语言模型在金融回测中自我报告的知识边界严重失真

该研究发布 FinDendro 基准，包含 2,226 个来自 1999 年至 2026 年的美国事实数据点，旨在验证大语言模型（LLM）在金融回测中的知识泄露风险。实验结果显示，主流前沿模型的自我报告存在显著低估现象：GPT-5 能正确回答 76% 的受控事实，却仅声称知道其中 38%，且在其声称不知道的 61% 事实中仍能给出正确答案。这表明依赖模型自我声明或供应商提供的知识截止日（knowledge cutoff）无法有效防止训练数据泄露。

证据细节显示，模型对知识的宣称可以超出其实际测量边界长达七个季度，而明确的历史日期指令虽能消除大部分“已知”声明，但并未改变准确率。控制组（考虑持久性和主导结果）的随机准确率约为 0.27，进一步证实了模型表现并非偶然。这意味着在模型训练窗口内的回测无法通过自我报告、指令或声明截止日来认证为无泄露状态。

这一发现直接推翻了当前行业通用的回测安全假设，即认为只要避开声明的截止日期即可保证公平性。事实层面确认了自我报告的不可靠性；推断层面指出必须采用行为测量法来动态确定时间边界；猜测层面则暗示未来可能需要建立基于实测知识分布的动态回测周期选择机制，而非静态的日期切割。