爬虫权限

爬虫权限指网站通过robots.txt等文件控制AI爬虫的访问范围，用于保护隐私、限制数据抓取或优化资源分配。