robots.txt — Definition · SEOlyze Glossar
Die robots.txt steuert per User-Agent-Regeln, welche Bots welche Pfade crawlen dürfen.
Für GEO entscheidend: KI-Crawler nicht versehentlich aussperren. Eine zu strikte robots.txt kann Inhalte unsichtbar für ChatGPT, Perplexity und Co. machen.
Verwandte Begriffe
Artikel, die das erklären
📄\ KI-Prompts recherchieren — wie Menschen die KI zu deinem Thema fragen\ 11 Min 📄\ Bestehenden Content GEO-fit machen — der Refresh-Workflow\ 13 Min 📄\ Fakten-Tabellen & Listen richtig einsetzen\ 12 Min 📄\ FAQ- & Q&A-Content für die KI-Suche\ 13 Min
Prüf deine KI-Sichtbarkeit
ki-check: in 30 Sekunden sehen, ob KI-Suchen dich zitieren.