# robots.txt — PocoLoco Restaurants (pocoloco-restaurant.de)
# Ziel: KI-/LLM-Bots aktiv einladen, sensible Bereiche ausnehmen,
#       und höfliche Crawl-Delays für Nicht-Google-Bots setzen.

############################
# Allgemeine Standardregeln
############################
User-agent: *
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Allow: /

# XML-Sitemap(s)
Sitemap: https://pocoloco-restaurant.de/sitemap.xml

# Hinweisdatei für KI-Agents (nur Info/Hinweis; kein offizieller Standard)
LLMS.txt: https://pocoloco-restaurant.de/llms.txt

###########################################
# OpenAI / ChatGPT / Search (explizit erlauben)
###########################################
# Training-Crawler
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 1

# On-demand Browsing (wenn ChatGPT-Nutzer Links öffnen)
User-agent: ChatGPT-User
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 1

# OpenAI Search / SearchGPT
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 1

############################
# Anthropic / Claude
############################
User-agent: ClaudeBot
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 1

User-agent: Claude-User
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 1

User-agent: Claude-SearchBot
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 1

############################
# Perplexity
############################
User-agent: PerplexityBot
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 2

############################
# Common Crawl (Basis für viele LLM-Datensätze)
############################
User-agent: CCBot
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 2

############################
# Google KI-Policy-Token
############################
# Erlaubt Verwendung für Gemini/AI-Features (kein klassischer Crawler)
User-agent: Google-Extended
Allow: /

############################
# Apple AI-Policy-Token
############################
# Erlaubt Verwendung für Apple Intelligence/AI-Features
User-agent: Applebot-Extended
Allow: /

############################
# Meta / Facebook / Instagram
############################
# Link-Previews (Open Graph)
User-agent: facebookexternalhit
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/

# Historischer/Ads-Crawler (wird teils noch gesehen)
User-agent: Facebot
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 1

# AI-Training/Indexing (Meta AI / Llama)
User-agent: meta-externalagent
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 1

# User-initiierte Abrufe für Meta-AI-Funktionen
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 1

############################
# Weitere AI-/Suche-Crawler (freundlich erlauben)
############################
User-agent: YouBot
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 2

User-agent: Kagibot
Allow: /
Disallow: /admin/
Disallow: /admin_dark/
Disallow: /scripts/
Crawl-delay: 2