LLM驱动Agent爬虫追踪行为研究

该研究对比了基于LLM的智能体爬虫与传统非智能体爬虫在2000个热门网站上的表现，发现智能体爬虫记录的第三方追踪组织数量是后者的1.5至1.7倍，尤其在涉及同意管理的页面上更为显著。尽管智能体爬虫能恢复82-87%的人类参与者观察到的追踪器（非智能体为58-68%），但其自身观测中约有一半的数据并未出现在人类访问记录中。 核心证据显示，针对标准浏览器自动化的网站拦截行为在离开着陆页后会显著增加，而采用抗检测框架虽能避免这种升级且不增加记录到的追踪量，却导致智能体爬虫因更复杂的交互路径触发了更多追踪逻辑。这意味着“避免网站干预”、“提高追踪可见性”和“与人类观察达成一致”这三个目标在自动化测量中并不总是同步实现的。 事实层面，研究基于26名参与者的浏览数据和不同自动化框架配置得出上述量化差异；推断层面，这表明当前依赖单一类型爬虫进行的隐私合规审计或广告追踪分析可能存在系统性偏差；猜测层面，若行业继续将智能体视为更优的测量工具，可能会高估实际用户面临的追踪风险规模，需根据具体测量目标重新验证爬虫选择策略。