免费
robots.txt 优化器
检测 robots.txt 是否封禁了 AI 爬虫(GPTBot/ClaudeBot/Bytespider等12种)，一键生成 AI 友好版本。
这个工具是什么？
很多网站的 robots.txt 在不知情的情况下封禁了 AI 爬虫，导致豆包、ChatGPT、Claude 等大模型无法抓取你的内容，也就无法在回答中推荐你。
这个工具帮你检测 robots.txt 中所有与 AI 爬虫相关的规则，并一键生成对 AI 友好的优化版本。
检测范围
GPTBot
ClaudeBot
Bytespider
PerplexityBot
Applebot
Meta AI
使用流程
1
粘贴 robots.txt
访问你的网站 /robots.txt 复制全部内容
2
查看检测结果
AI友好度评分 + 封禁/允许/未提及明细
3
获取优化版
一键复制或下载 AI 友好的 robots.txt
robots.txt 内容
如果不知道在哪找，访问你的网站根目录 /robots.txt 即可
分析结果
粘贴 robots.txt 内容后点击"开始分析"
什么是 robots.txt 优化？
robots.txt 是网站根目录下的一个文本文件，用来告诉搜索引擎和AI爬虫哪些页面可以抓取、哪些不可以。很多网站管理员在配置 robots.txt 时会使用 User-agent: * 加 Disallow: / 的方式封禁所有爬虫，或者单独封禁了某些AI爬虫却没有意识到。
在 GEO 时代，如果你的 robots.txt 封禁了 GPTBot、ClaudeBot、Bytespider 等AI爬虫，这些大模型就无法抓取你的网站内容，自然也不会在回答用户问题时推荐你的品牌。robots.txt 优化器帮你快速发现这些问题，并生成一个既安全又对 AI 友好的版本。相关技术操作可以搭配AI爬虫追踪和llms.txt生成器一起使用。
常见问题
封禁AI爬虫有什么影响？
封禁AI爬虫意味着大模型无法抓取你的网站内容。当用户在豆包、ChatGPT、Claude中问到你的行业时，AI无法引用你的内容，也就不会推荐你。这相当于在AI搜索时代主动放弃了曝光机会。
允许AI爬虫会不会有安全风险？
正常的AI爬虫只读取公开页面内容，不会修改数据。你可以保留 /admin/、/api/ 等路径的Disallow规则，只需要确保公开内容页面允许抓取。优化版robots.txt会自动保留你的安全限制。
"未明确提及"是什么意思？
如果你的robots.txt只有 User-agent: * 的规则，没有单独为某个AI爬虫写规则，这些爬虫会使用通配符规则。建议为重要的AI爬虫显式添加 Allow 规则，让它们确定你欢迎被抓取。