robots.txt 审计

检查网站的robots.txt文件配置，确保正确允许或禁止AI爬虫访问特定路径和内容。