KOSTENLOSES TOOLRobots.txt-Tester. Ohne Anmeldung.Ohne Anmeldung.

Teste deine robots.txt-Regeln

Gib eine URL ein und teste sie gegen die echte robots.txt, oder füg neue Regeln ein, um sie vor dem Veröffentlichen auszuprobieren.

✓ Kostenlos, ohne Anmeldung✓ Ergebnisse in Sekunden✓ Eine Lösung für jedes Problem

30 kostenlose Tests pro Tag. Nichts wird gespeichert.

Was es prüft

Was es prüft.

Robots.txt-Tester

Erlaubt oder blockiert für 18 Such-, KI- und Trainings-Crawler, plus jeden User-Agent, den du eingibst
Die genaue Zeile, die für jeden Crawler zutrifft
Zeilen, die Crawler ignorieren, etwa unbekannte Felder oder Regeln vor jedem User-agent
Ob robots.txt lädt und eine Sitemap angibt

Kurze Antworten

Häufige Fragen.

Welche Regel gilt, wenn mehrere zutreffen?

Google nutzt die spezifischste Regel, also die mit dem längsten Pfad. Sind ein Allow und ein Disallow gleich spezifisch, gewinnt Allow. Der Tester wendet dieselbe Logik an.

Kann ich Regeln testen, bevor ich sie veröffentliche?

Ja. Füg die neue robots.txt in das Feld ein, und die URL wird gegen deine eingefügten Regeln statt gegen die echte Datei getestet.

Entfernt eine Sperre in robots.txt eine Seite aus Google?

Nein. Eine gesperrte URL kann über Links trotzdem indexiert werden, nur ohne ihren Inhalt. Um eine Seite aus der Suche herauszuhalten, erlaube das Crawlen und verwende ein noindex-Tag.

Schließ die Lücken mit Realword.

Article Studio schreibt recherchierte Artikel, die mit einer direkten Antwort beginnen und jede Statistik mit ihrer Quelle verlinken, inklusive Tabellen, FAQ und Schema. Content Ideas findet die Themen, die deiner Website fehlen.

Kostenlos starten Article Studio ansehen

Du startest mit 500 kostenlosen Credits und ohne Karte.