robots.txt-Generator
Eine übersichtliche und kompakte robots.txt erstellen.
robots.txt-Generator
Erstelle eine übersichtliche robots.txt, um Suchmaschinen zu steuern, deine Sitemap anzugeben, bestimmte Crawler zu begrenzen und unerwünschte Bots zu blockieren.
Website-Profil
Allgemeine Regeln
Sitemap
Zu blockierende Bots
Erweitert
erstellt robots.txt
robots.txt gibt Crawlern Anweisungen. Es ist kein Sicherheitsschutz.
Kurze Erklärung
Wähle ein Ausgangsprofil, ergänze allgemeine Regeln, trage bei Bedarf die Sitemap ein und wähle anschließend die Bots aus, die blockiert werden sollen. Die erzeugte Datei bleibt kompakt und vermeidet unnötige Wiederholungen.
Auch ausprobieren
Möchtest du echte Crawler-Besuche prüfen?
Mit der Apache-Log-Analyse siehst du IP-Adressen, Suchmaschinen, Fehler und URLs, die auf deiner Website tatsächlich angefragt wurden.
Weitere Informationen
Eine übersichtliche robots.txt vorbereiten
Die robots.txt gibt Bots Anweisungen für das Crawlen einer Website. Sie kann Bereiche vom Crawling ausschließen, die Adresse der Sitemap angeben, für bestimmte Bots eine Crawl-Verzögerung festlegen oder einzelne User-Agents blockieren.
Dieser Generator setzt auf eine kurze und gut lesbare Ausgabe: Gemeinsame Direktiven werden zusammengefasst, unnötige Blöcke vermieden und das Ergebnis kann direkt in eine robots.txt-Datei kopiert werden.
Blockieren, ohne alles zu verkomplizieren
Schnellprofile bieten einen sauberen Ausgangspunkt: normale Website, alles erlauben, alles blockieren oder Website in Vorbereitung. Danach kannst du Allow- und Disallow-Pfade ergänzen und gezielt nur die Bots auswählen, die ausgeschlossen werden sollen.
Eine robots.txt ist keine Sicherheitsfunktion. Private Seiten müssen mit echtem serverseitigem Schutz, Authentifizierung oder einer passenden Zugriffsregel abgesichert werden.
Nach der Veröffentlichung kontrollieren
Prüfe nach dem Veröffentlichen das tatsächliche Verhalten der Crawler mit der Apache-Log-Analyse. Die Logs zeigen, welche URLs aufgerufen werden, welche Bots häufig vorbeikommen und welche Fehler wiederholt auftreten.
Grenzen und Wiederverwendung
Die AppErgo-Tools werden kostenlos für praktische und informative Zwecke bereitgestellt. Trotz sorgfältiger Entwicklung kann ein Ergebnis unvollständig, unerwartet oder fehlerhaft sein. Prüfe ein Ergebnis mit einer geeigneten Methode, bevor du dich bei einer wichtigen Verwendung darauf verlässt.
Um einen Fehler im Tool zu melden, kannst du das dafür vorgesehene Fehlerformular verwenden.
Ergebnisse aus AppErgo-Tools dürfen frei kopiert und wiederverwendet werden. Bei öffentlicher Wiederverwendung eines Ergebnisses, einer Methode oder einer AppErgo-Seite freuen wir uns über einen Link zur entsprechenden Seite.
Sofern nicht anders angegeben, bleiben Texte, Bilder, visuelle Elemente, Skripte, Vorlagen und interne Komponenten von AppErgo Eigentum von AppErgo.
Für andere Anfragen kannst du den Webmaster kontaktieren.