一项针对超过660亿次机器人请求的研究揭示了AI在用户搜索习惯中日益加深的影响。报告指出，AI爬虫的覆盖范围正在迅速扩大，而传统搜索引擎爬虫的活动则保持平稳。这表明AI并非取代传统搜索，而是在其之上增加了一个新的决策层。
研究显示，网站所有者若为保护知识产权而屏蔽AI机器人，可能会面临双重风险：一方面失去对AI助手如何解读其内容的控制，另一方面削弱自身的品牌地位与权威性。AI驱动的发现机制可能导致用户无需访问原始网站，即可通过AI助手获得内容摘要或产品推荐，这改变了传统的网络发现路径。
具体数据显示，部分用于AI训练的机器人（如GPTBot）的网站覆盖率出现显著下降，反映出内容创作者对其的抵触情绪。与此同时，一些用于搜索的AI爬虫（如OpenAI的SearchBot）覆盖率则有所上升。
对于企业和出版商而言，关键在于如何在新兴的AI渠道中被发现，同时不丧失对品牌形象、定价和价值呈现的控制。报告建议网站所有者考虑使用特定的工具或文件来提升对AI助手的响应可见性，并呼吁对“全面禁止”的做法加强治理，以平衡保护与曝光的需求。
总体而言，AI正在重塑网络信息的获取与呈现方式。品牌需要超越传统搜索引擎优化策略，积极适应这一变化，以确保在AI与搜索融合的新环境中保持可见性与影响力。
