omiGeo
指南

如何在 robots.txt 中允许 GPTBot 与 AI 爬虫

为 GPTBot、ClaudeBot、PerplexityBot、Googlebot 配置 robots.txt 的步骤说明。

omiGeo 更新于 2026-07-21

若屏蔽 AI 爬虫,助手可能无法抓取页面进行引用。

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

Sitemap: https://yourdomain.com/sitemap.xml

准备好查看 GEO 分数了吗?

几秒内免费预览 — 需要修复计划时再解锁完整报告。

免费扫描网站