开发者构建 shad0w 工具利用缓存将本地 LLM 重复分类任务的响应时间降至微秒级

开发者 /u/gauravc2796 发布开源项目 shad0w，该工具部署在 OpenAI 兼容服务器前端，通过记录并编译本地模型的回答来加速重复查询。当输入问题与历史数据匹配且置信度达到 95% 以上时，系统直接在 CPU 上返回结果，耗时仅为微秒级；若超出阈值则仍转发至模型进行推理。

该项目支持 Ollama 等主流本地服务，仅需配置上游地址即可运行。其核心机制是在积累约 1,000 个样本后生成小型查找表，并在验证集上确保一致性。演示案例显示，该工具能学习 Snake 游戏的策略并以每秒 10 次的速度运行，远超模型实时推理能力。代码采用 Apache-2.0 协议，包含 Python、JS 和 C 实现。

事实层面，该工具确实实现了基于缓存的加速，适用于高重复性的分类或问答场景。推断层面，这种模式可能降低本地部署的算力消耗，但依赖特定问题的分布特征。猜测层面，对于动态变化或非结构化任务，其效果可能受限，需进一步观察实际部署中的泛化表现。