微调网络爬取数据时遭遇的模板污染与去重问题

作者微调自收集网络数据时发现，导航菜单和页脚等模板污染导致模型生成畸形 HTML 结构。通过采用激进 DOM 目标提取配合旋转住宅代理层清洗原始 HTML，并调整精确去重先于模糊去重的顺序，有效改善了训练集质量。目前多语言近重复检测仍是未解难题，且缺乏判断数据清洗完成度的原则性方法。