# LEARN.INVEST robots.txt
# 政策 (2026-06-23 智慧分流):
#   1. 搜尋引擎              → 全開 (SEO)
#   2. AI 搜尋索引 + 即時瀏覽 → 放行 (GEO:讓 Claude/ChatGPT/Perplexity 引用我們,附連結回流)
#   3. AI 訓練爬蟲          → 全擋 (以模型訓練為主;Google-Extended 另管 Gemini 引用,見該段註解)
#   4. SEO 垃圾 / 內容抓取   → 全擋
#
# ⚠️ robots.txt 只是「請求」,不會回 403。真正的硬擋在 Vercel Firewall「AI Bots Block」。
#    要讓第 2 類真的進得來,必須「同步」把 Vercel Firewall 那條 managed AI block 關掉、
#    改用只擋訓練 UA 的 custom rule。只改這個檔沒用。

# ─── 1. 主流搜尋引擎: 全開 ───
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Slurp
Allow: /

User-agent: Baiduspider
Allow: /

# ─── 2. AI 搜尋索引 + 即時瀏覽: 放行 (GEO 引用管道) ───
# OpenAI / ChatGPT
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic / Claude
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# ─── 3. AI 訓練爬蟲: 全擋 (被訓練 ≠ 被引用) ───
# OpenAI 訓練
User-agent: GPTBot
Disallow: /

# Anthropic 訓練 + 舊 UA
User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

# Google Gemini 訓練 (跟 Googlebot 不同 UA)
# Google-Extended 也控制 Gemini Apps 能否用本站內容做 grounding 引用;擋它不影響 Google 搜尋與 AI Overviews (那走 Googlebot);2026-10-10 決定維持封鎖
User-agent: Google-Extended
Disallow: /

# Common Crawl (多數 AI 訓練資料源頭)
User-agent: CCBot
Disallow: /

# ByteDance / TikTok AI
User-agent: Bytespider
Disallow: /

# Meta / Llama 訓練
User-agent: FacebookBot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# Apple
User-agent: Applebot-Extended
Disallow: /

# Amazon
User-agent: Amazonbot
Disallow: /

# Yandex (俄系)
User-agent: YandexBot
Disallow: /

# Cohere
User-agent: cohere-ai
Disallow: /

# Diffbot
User-agent: Diffbot
Disallow: /

# Omgili
User-agent: omgili
Disallow: /

User-agent: OmgiliBot
Disallow: /

# ─── 4. SEO 垃圾 / 內容抓取爬蟲: 全擋 ───
User-agent: MJ12bot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

# ─── 預設 (其他爬蟲): 允許主要內容, 限制 build 輸出資料夾 ───
User-agent: *
Allow: /
Disallow: /api/
Disallow: /*.json$

# ─── Sitemap ───
Sitemap: https://learninvest.co/sitemap.xml
Sitemap: https://learninvest.co/sitemap-index.xml