Property Finder 如何通过消除评估偏差在 Amazon Bedrock 上实现 Llama 4 Maverick 17B Instruct 的高精度低成本推理

Property Finder 团队发现其视觉 AI 工作流的评估数据存在严重偏差，96.8% 的标签直接继承自现有模型的预测而非人工验证，导致任何替代方案在对比中均处于劣势。为打破这一循环，他们构建了包含 356 张阿联酋房源图片的无偏真值数据集，由房地产领域专家进行独立标注，并引入多标签分类机制以解决图像重叠属性的判定难题。在此基础上，团队利用亚马逊云科技生成式人工智能创新中心提供的框架，对 Meta 发布的 Llama 4 Maverick 17B Instruct 模型进行了从 v0 到 v27 的迭代优化。

最终结果显示，经过微调后的 Llama 4 Maverick 17B Instruct 在 356 张图片的评估集上 Micro F1 达到 0.80，相比原专有模型 A（Micro F1 0.56）提升了 47%。该方案不仅实现了 86% 的成本降低（每千张图片成本降至 2.35 美元），还将推理延迟减少了 40–60%。值得注意的是，这种性能提升并非单纯依赖模型架构，而是源于将提示词优化视为强化学习过程：通过错误分析识别视觉模式，结合 MIPROv2 自动优化框架调整指令结构，从而解决了水印误判、房间类型单一标签限制等具体问题。

事实层面，该案例证明了在垂直领域应用中，评估数据的真实性往往比模型本身更关键；推断层面，采用“专家标注 + 多标签 + 进化式提示词”的工程范式可显著释放开源小参数量模型的生产力；猜测层面，若其他企业沿用类似的自动化评估流程而不建立独立验证集，可能会持续低估新模型或开源方案的潜力。