KiranaBench 论文显示当前 LLM 代理无法可靠独立运营印度社区商店

KiranaBench 是一个模拟印度杂货店的多智能体基准测试，旨在评估大语言模型在长周期、多角色协作及多语言环境下的自主经营能力。该研究构建了一个包含经理、收银员、助手和记账员四个角色的仿真环境，分别由独立的 LLM 代理扮演，客户与供应商交互使用英语、印地语或混合语（Hinglish），需求数据基于印度国家家庭消费支出调查校准。测试结果显示，所有被评估的开源权重模型表现均远差于固定规则的店主基线：表现最好的模型利润仅为基线的八分之一，且有两个模型的表现甚至低于无人管理的店铺。

关键证据显示，当供应商沟通语言为印地语或混合语时，模型性能显著低于英语场景，表明语言能力直接制约了复杂任务中的决策质量。此外，现有评测基准几乎 exclusively 聚焦于英语语境和西方零售背景的单智能体观察模式，而 KiranaBench 通过引入多智能体协作和本土化经济约束，暴露了当前技术在跨语言协作和长期规划上的脆弱性。这一发现挑战了将单语单智能体的高分结果直接外推至真实世界复杂商业场景的假设。

事实层面，该研究证实了当前 LLM 代理在缺乏人类干预的情况下，难以胜任需要多语言理解和多方协作的小型商业运营。推断层面，这意味着针对特定市场（如印度）的商业自动化产品，不能仅依赖通用模型的零样本能力，必须结合领域规则引擎或专门的多智能体协调机制。猜测层面，未来若要在非英语市场实现类似“无人商店”的构想，可能需要重新设计架构，将语言模型从“全能管理者”转变为“执行者”，并引入更强大的外部工具调用和确定性逻辑层来弥补推理缺陷。