跳到正文
原文
Hacker News · AI· eluusive·· 1 天前AI 评分42

Scrubbed 发布:LLM 训练数据清洗原生二进制工具

Show HN: Scrubbed – fast native web-data cleaning for LLM training

AI 摘要

Scrubbed 是一款用于 LLM 训练的原生二进制工具,将编码修复、内容提取和 PII 扫描整合为单一部署单元。在 Apple M4 上处理 400 个文件时,其速度比 Python 流水线快约 37 倍,且能精确修复 mojibake 并检测邮件、电话等隐私信息。该工具目前支持 macOS 15+ 和 Linux x86_64/aarch64 平台的本地单机运行。

来源:Hacker News · AI · schancel.github.io