Jevcrawl 发布：一种在爬取循环中不使用大语言模型的网页爬虫工具

开发者 rayenmlayeh 发布了 Jevcrawl，这是一个专为 AI Agent 设计的网页爬虫工具，其核心机制是在爬取决策阶段完全剔除 LLM，仅使用轻量级评分模型判断链接相关性。该工具旨在解决现有方案要么因读取全量内容导致 Token 浪费和导航干扰，要么因让 LLM 逐跳选择链接而造成的速度慢、成本高问题。根据作者提供的 WebWalkerQA 基准测试，Jevcrawl 找到答案页面的成功率达到 54%，显著高于 Claude 逐跳选择的 33% 和 Crawl4AI 目标导向爬取的 27%（基于文中 2x 倍数推算）。

关键证据显示，Jevcrawl 在单位经济上具有压倒性优势。在相同任务预算下，其单次任务成本约为 0.01 美元，比 LLM 驱动的爬取便宜约 8 倍，若按正确回答计算则便宜 10 倍。架构设计上，页面文本仅作为数据被评分，绝不生成或执行指令，从而从原理上杜绝了提示词注入风险。工具支持 MCP 协议，可无缝集成至 Claude Code、Cursor 等环境，并提供了 crawl、scrape、map 三种 API 接口及命令行工具。测试结果显示，处理 Python 文档查询时，系统仅需调用 11 次 Jev 模型，耗时 8.3 秒，花费 0.0069 美元即可返回精确片段。

事实层面，该工具目前依赖 TypeSafe 的 Jev API 服务，且明确声明不运行 JavaScript、不遵守 robots.txt 且需用户自行负责合规性。推断层面，这种将“决策”与“生成”彻底解耦的模式可能成为未来 Agent 浏览任务的低成本标准配置，特别是对于需要深度遍历复杂网站结构的场景。猜测层面，随着更多类似工具的出现，Agent 的长期记忆成本和实时检索效率可能会发生结构性变化，但具体行业迁移速度取决于 MCP 生态的普及程度及评分模型的泛化能力。