robots.txt 2026: Welche KI-Crawler du erlauben solltest (und welche nicht)

Die robots.txt ist der erste Kontakt zwischen deiner Webseite und jedem Crawler — auch jedem KI-Crawler. Eine falsche Zeile dort und du verschwindest still und leise aus den Antworten von ChatGPT, Perplexity oder Claude.

Warum die robots.txt 2026 wichtiger ist denn je

Bis 2023 war die robots.txt für die meisten Webseiten kaum relevant — man hat sie einmal eingerichtet und nie wieder angefasst. Mit dem Aufkommen generativer KI hat sich das geändert: Jeder große KI-Anbieter hat einen eigenen Bot, und jeder dieser Bots respektiert (idealerweise) die robots.txt.

Die wichtigsten KI-Bots im Überblick

• GPTBot — OpenAI, für ChatGPT und Custom GPTs
• OAI-SearchBot — OpenAI, für SearchGPT
• ChatGPT-User — OpenAI, On-Demand-Abrufe durch Nutzer
• PerplexityBot — Perplexity AI
• ClaudeBot & anthropic-ai — Anthropic, für Claude
• Google-Extended — Google, separater Schalter für Bard/Gemini-Training
• CCBot — Common Crawl, Quelle für viele Open-Source-Modelle

Empfohlene Konfiguration

Für die meisten Unternehmen, die in KI-Antworten auftauchen wollen, ist die einfachste und beste Konfiguration: alle Bots erlauben.

User-agent: *
Allow: /

# KI-Crawler ausdrücklich erlaubt
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

Sitemap: https://example.com/sitemap.xml

Wer einzelne Bereiche (z. B. Kundenbereich, Admin-Panel) ausschließen will, ergänzt entsprechende Disallow-Direktiven. Wer bestimmte Bots aussperren möchte (z. B. um Training-Daten-Nutzung zu verhindern), setzt für diesen User-Agent Disallow: / — sollte sich dabei aber bewusst sein, dass damit auch KI-Empfehlungen wegfallen.