NeurIPS 2026 提出生产环境提示压缩可复现评估框架

该论文针对在实时可变企业数据上运行的对话式 Agent 难以评估的问题，提出了一种离线评估工具链，确保即使后端状态变化也能维持评估的可复现性，并可在基准过时后按需重新生成。作者将这一工具链作为基于 GEPA 的提示词优化的适应度函数，并引入正确性门控机制以防止奖励黑客行为。 实验应用于面向商家的生产级 Agent，结果显示在保持预留任务正确率不下降的前提下，经过正确性门控的压缩能将完整提示词表面缩小 3.5% 至 7.6%。这一结果在三个独立的主体模型族中保持一致，且对其中一个模型而言，正确性指标甚至有所提升。文中未披露具体的压缩算法细节或原始数据分布，仅强调该框架解决了动态数据导致基准静默过期的核心痛点。 事实层面，该工作已提交至 NeurIPS 2026 Workshop on Agents in the Wild，并提供了 8 页正文及附录。推断层面，这种“可再生”的评估机制可能成为未来生产级 Agent 持续迭代的标准基础设施，特别是对于依赖实时数据的场景。猜测层面，若该框架能开源，可能会显著降低企业在大规模 Agent 部署中的测试成本，但具体实施效果仍取决于企业数据结构的复杂度与更新频率。