Hacker News · AI· Bocajmai·· 12 小时前精选AI 评分80
Sayora 实测 Jev 决策模型:网页检索准确率超向量搜索 18 个百分点
Jev handed our LLM the wrong page a tenth as often as our embeddings
AI 导读
Sayora 团队在 2026 年 10 月的测试中对比了 TypeSafe 发布的决策模型 Jev 与生产环境中的向量搜索(Embeddings),结果显示 Jev 将错误页面交给 LLM 的概率从 33% 降至 3%,并将正确页面排在首位的比例提升至 88%。
该测试基于 168 个模拟客服问题,覆盖四家小型企业网站。Jev 通过多选项选择题形式从完整页面列表中直接选择最匹配项,而非依赖文本分块后的余弦相似度计算。这种机制使其能更好理解“None of these”选项,从而在 40 个无法回答的问题中准确识别出 38 个,而传统向量搜索仅能识别 9 个。
尽管 Jev 在描述不足时存在误判风险,但结合 Embeddings 进行短列表预筛选后,其准确率进一步提升至 95% 以上,同时保持低延迟(中位数 0.28 秒)。这表明决策模型可作为 RAG 系统中更可靠的页面选择器,尤其适用于结构清晰、内容有限的企业官网场景。
推荐理由
实测证明决策模型在网页检索场景下比向量搜索更懂业务意图,且能识别无答案情况。
来源:Hacker News · AI · sayora.ai