AWS 发布基于 LinUCB 的上下文多臂老虎机优化转化漏斗方案

亚马逊支付团队在 AWS Machine Learning Blog 发布教程，演示如何利用上下文多臂老虎机（Contextual Multi-Armed Bandit）解决生成式 AI 时代的内容选择难题。该方案针对应用启动、提交和审批三个转化阶段，采用线性 UCB（LinUCB）算法构建多目标模型，旨在同时优化整个漏斗而非单一指标，避免“跷跷板效应”。文章提供了完整的 Python 代码库和 Jupyter Notebook，支持用户在合成数据上测试该方法。 核心架构采用周度批处理模式，利用 Amazon SageMaker AI Processing 作业读取 Amazon S3 中的反馈数据更新模型，并将预计算推荐结果写入低延迟键值存储（如 DynamoDB），无需实时推理即可服务流量。为应对审批结果滞后问题，系统引入归因窗口机制，将最终阶段的奖励延迟至后续批次周期再更新模型。内容池方面，采用“组件化”策略，将经过审核的行业主题图片和利益点标语作为基础模块进行组合，既扩大了生成式 AI 可选择的变体空间，又保留了合规审查的可控性。 实验结果显示，该方案在一个客户群体中实现了个位数百分比的最终转化提升，但在另一群体中未能跑赢静态基线，证明内容质量是比算法更关键的约束条件。作者强调，当算法充分探索仍无法超越控制组时，应优先调整内容池而非算法参数。此外，通过将默认静态体验作为一个“手臂”纳入选项，系统能自动回退到非个性化版本，从而限制下行风险。