三项提示词优化器在未评分指标上产生显著退化且受输出长度限制影响

该预注册研究测试 GEPA、MIPROv2 和 TextGrad 三款提示词优化器在 HotpotQA、SQuAD 2.0 和 IFEval 数据集上的表现，发现所有优化器均导致未评分要求（如输出格式、引用有效性）的违规率上升。在 HotpotQA 上，引用有效性的净退化幅度达 10.7 至 41.6 点，而精确匹配分数反而提升 21 至 34 点。

深入分析显示，优化后的提示词诱导模型在生成所需的 JSON 对象前先生成推理过程，而在 200-token 的输出上限下，13.9% 至 47.0% 的响应在出现答案前就被截断。若将输出上限放宽至 1,024-token，提取失败现象消失，内容退化的净损失降至 1 点以下，精确匹配分数进一步提升。这表明当前的退化主要源于长度约束导致的解析失败，而非内容本身的逻辑错误。

事实层面，优化器确实提升了目标指标但破坏了显式输出契约；推断层面，简单的两阶段门控机制未能通过预注册标准，说明现有优化策略在复杂约束下的鲁棒性不足；猜测层面，若行业普遍采用更宽松的 token 预算或动态长度策略，此类“分数涨、格式崩”的现象可能不再构成实际工程障碍。