Die **robots.txt** steuert per User-Agent-Regeln, welche Bots welche Pfade crawlen dürfen.

Für GEO entscheidend: KI-Crawler nicht versehentlich aussperren. Eine zu strikte robots.txt kann Inhalte unsichtbar für ChatGPT, Perplexity und Co. machen.

Verwandte Begriffe

[GPTBot](/content/V4/Blog/Glossar/gptbot/index.html) [KI-Crawler](/content/V4/Blog/Glossar/crawler/index.html) [llms.txt](/content/V4/Blog/Glossar/llms-txt/index.html)

Artikel, die das erklären

[📄\ KI-Prompts recherchieren — wie Menschen die KI zu deinem Thema fragen\ 11 Min](/content/V4/Blog/ki-prompts-recherchieren/index.html) [📄\ Bestehenden Content GEO-fit machen — der Refresh-Workflow\ 13 Min](/content/V4/Blog/content-geo-refresh/index.html) [📄\ Fakten-Tabellen & Listen richtig einsetzen\ 12 Min](/content/V4/Blog/fakten-tabellen-listen/index.html) [📄\ FAQ- & Q&A-Content für die KI-Suche\ 13 Min](/content/V4/Blog/faq-content-fuer-ki/index.html)

### Prüf deine KI-Sichtbarkeit

ki-check: in 30 Sekunden sehen, ob KI-Suchen dich zitieren.

[ki-check starten →](/content/ki-check/index.html)