跳到正文
原文
Reddit · MachineLearning· /u/Ok_Cartographer5609·· 2 天前AI 评分42

Rust 版 Chunkr 库发布:速度提升约 20 倍

A chunking lib in Rust that is ~20x faster [P]

AI 摘要

Rust 编写的 Chunkr 库在多种文本分块策略下比 LangChain、LlamaIndex 等现有方案快约 20 倍,支持字符、递归、Markdown 及 PDF 加载。该库在 Chroma 基准测试中保持与主流工具相当的准确率,并提供原生 PDF 解析器以优化端到端处理延迟。

来源:Reddit · MachineLearning · reddit.com