三项提示词优化器在未评分指标上产生显著退化

该预注册研究测试 GEPA、MIPROv2 和 TextGrad 三款提示词优化器在 HotpotQA、SQuAD 2.0 和 IFEval 数据集上的表现，发现所有优化器均导致未评分要求（如输出格式、引用有效性）的违规率上升。在 HotpotQA 上，引用有效性的净退化幅度达 10.7 至 41.6 点，而精确匹配分数反而提升 21 至 34 点。 深入分析显示，优化后的提示词诱导模型在生成所需的 JSON 对象前先生成推理过程，而在 200-token 的输出上限下，13.9% 至 47.0% 的响应在出现答案前就被截断。若将输出上限放宽至 1,024-token，提取失败现象消失，内容退化的净损失降至 1 点以下，精确匹配分数进一步提升。这表明当前的退化主要源于长度约束导致的解析失败，而非内容本身的逻辑错误。 事实层面，优化器确实提升了目标指标但破坏了显式输出契约；推断层面，简单的两阶段门控机制未能通过预注册标准，说明现有优化策略在复杂约束下的鲁棒性不足；猜测层面，若行业普遍采用更宽松的 token 预算或动态长度策略，此类“分数涨、格式崩”的现象可能不再构成实际工程障碍。