若屏蔽 AI 爬虫,助手可能无法抓取页面进行引用。
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
Sitemap: https://yourdomain.com/sitemap.xml为 GPTBot、ClaudeBot、PerplexityBot、Googlebot 配置 robots.txt 的步骤说明。
若屏蔽 AI 爬虫,助手可能无法抓取页面进行引用。
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
Sitemap: https://yourdomain.com/sitemap.xml几秒内免费预览 — 需要修复计划时再解锁完整报告。