Mozilla 工程师 Dennis Schubert 通过其参与维护的 diaspora 开源项目的网站访问日志，在过去 60 天的 Web 访问请求中，有 70% 来自大模型公司的爬虫访问。

大模型公司的这种玩法，会在事实上对内容源头的网站产生类似 DDoS 攻击的效果，即大量网站开销来在 bot 机器人。

与之形成对比的，传统搜索引擎 Google 和 Bing 的爬虫只占了网站访问负载的 0.3% 不到。

传统搜索引擎和大模型理论上都可以给内容源网站引流，但大模型爬虫比例如此之大，越来越多网站会思考 “性价比问题”。

所有网站访问中，来