OAI-SearchBot

OpenAI推出的专用爬虫工具，用于抓取网页内容以训练AI模型，需通过robots.txt管理访问。