# MCBBB 导航站 robots.txt
# 允许所有搜索引擎爬取，方便海外网站收录

User-agent: *
Allow: /
Disallow:

# Google Image 爬虫
User-agent: Googlebot-Image
Allow: /

# Google Ads
User-agent: Google-Ads-Optimizer
Allow: /

# 海外主要爬虫
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: Sogou Spider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: YandexBot
Allow: /

# 训练用 AI 爬虫（如不希望被爬取可改为 Disallow: /）
User-agent: GPTBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: CCBot
Allow: /

# 站点地图位置（请根据实际部署域名修改）
Sitemap: https://www.mcbbb.top/sitemap.xml
Sitemap: https://www.mcbbb.top/sitemap-index.xml