Hacker News · AI· dszb·· 3 小时前AI 评分55
TeXposit 用 Jev 模型优化 AI 助手的首回合准备、质量校验与路由决策
This is how Jev makes your AI assistant faster, and Judge Jev
AI 摘要
TeXposit 引入 Jev 作为轻量级决策层,解决 AI 写作助手在首回合需加载技能、文件与工具导致的延迟问题。实测案例中,处理复杂概念可视化请求时,传统流程前 59 秒用于加载 TikZ 技能、读取项目注释及主文件,仅最后 14 秒生成答案;启用 Jev 预检后,模型通过 42 个二选一问题快速锁定所需资源,显著缩短等待时间。该方案允许主模型仍保留最终决策权,任何编辑均经过原有验证流程,确保输出质量不受影响。
在质量校验环节,团队将原本基于 LLM 的 Rigour Mode 替换为 Jev 驱动的 Judge Jev,以应对高耗时与高 Token 成本。对比数据显示,评估五个示例时,旧版 LLM 耗时约 28 秒,Jev 仅需 2.4 秒,且两者判定结果基本一致。尽管存在个别误判(如错误拒绝未披露限制的优秀回答),但系统设定三次修正失败后强制放行并提示用户,避免任务因严格规则而阻塞。此外,Jev 还承担三层模型路由职能,根据任务复杂度动态分配快、通、智三类模型,并替代原有 NLP 短语列表实现更精准的自动技能发现。
事实层面,该架构已应用于 TeXposit 内部,但未公开整体性能基准数据;推断层面,这种“小模型做决策、大模型做执行”的模式可能成为复杂 Agent 系统的通用工程范式;猜测层面,若未来开源生态中出现类似 Jev 的专用路由模型,或可进一步降低对特定厂商模型的依赖。需注意,当前路由逻辑不适用于自带 OpenRouter 密钥的用户,以避免模型切换带来的体验折损。
来源:Hacker News · AI · texposit.com