AI 爬虫这种 “无止尽” 的爬取网站 Web 数据，同时带来极少的用户访问流量。绝大部份回答就在对话框解决，极少有人会不辞辛苦跳转链接到企业官网 ——— 这是与 “传统搜索为大家引流量” 截然不同的模式。

越来越多企业的官网都在用 Cloudflare 的服务来判断每次访问是否是“真人”。

“尽量让真人访问官网” 会成为越来越多的付费类的技术需求。

对于大模型公司，最核心的技能之一就是不断升级的超级爬虫，这些东西在 Paper 和媒体采访时基本不会讲。

但在招聘人员的面试笔试中，爬虫技术就是重点了 ……

#什么是面子上的