robots.txt
Die „robots.txt“ ist so etwas wie der Türsteher für deine Website. Sie sagt Suchmaschinen, welche Bereiche deiner Website sie betreten dürfen und welche nicht. Wir zeigen dir, was diese Textdatei kann, wie sie einzusetzen ist und welche Bedeutung sie für die SEO hat.
Definition
robots.txt
Die „robots.txt“ ist eine Textdatei auf dem Server deiner Website. Sie gibt Crawlern und Bots Anweisungen, welche Teile deiner Website gecrawlt werden dürfen und welche nicht.
Mit der robots.txt-Datei kannst du somit bestimmte Seiten, Verzeichnisse oder Dateitypen vom Crawling ausschließen. So kannst du gezielt steuern, welche URLs auf deiner Webseite wie viel Aufmerksamkeit von Suchmaschinen-Bots wie, dem Google Bot erhalten sollen.
Inhaltsübersicht
Bedeutung für die SEO
Für die SEO kannst du die robots.txt für folgende Bereiche einsetzen:
- Effizientes Crawling der Webseite, zum Beispiel durch den Ausschluss von Filter-URLs, falls diese keine SEO-Relevanz auf deiner Webseite haben
- Reduktion von Crawling-Fehlern
- Priorisierung wichtiger Inhalte durch Lenkung des Crawlers
Die robots.txt ist jedoch nicht dafür zuständig, Seiten aus den Suchergebnissen auszuschließen. Möchtest du, dass bestimmte Seiten nicht indexiert werden, musst du die entsprechende URL auf „noindex“ (via meta-robots) setzen.
Anwendung
In 5 einfachen Schritten zu deiner robots.txt
Die meisten CMS bzw. SEO-Plugins erstellen automatisch eine robots.txt. Prüfe, ob das auch bei deiner Website der Fall ist. Wenn ja, brauchst du natürlich keine neue robots.txt zu erstellen, sondern kannst einfach die bestehende anpassen.
Falls du deine robots.txt händisch anlegen musst, folge dieser Anleitung:
1. Robots.txt-Datei erstellen
Erstelle eine Textdatei mit einem Texteditor deiner Wahl und speichere die Datei unter dem Namen „robots.txt“ ab.
2. Anweisungen hinzufügen
In diese Datei kannst du deine gewünschten Anweisungen eintragen. Lege nun fest, welche Teile deiner Website gecrawlt werden sollen und welche nicht:
User-agent: *
Disallow: /verstecktes-verzeichnis/
Allow: /erlaubtes-verzeichnis/
3. Datei auf den Server laden
Nach dem Erstellen und Befüllen der robots.txt-Datei musst du diese nun auf den Server deiner Website laden. Nutze hierfür ein FTP-Programm oder das Dateiverwaltungstool deines Webhosts. Die robots.txt soll immer im Root-Verzeichnis deiner Webseite liegen.
4. Überprüfung der Datei
Stelle nun sicher, dass die robots.txt-Datei korrekt auf dem Server hochgeladen wurde. Öffne hierfür www.deine-webiste.de/robots.txt im Webbrowser. Wenn du die Inhalte deiner Datei angezeigt bekommst, hast du deine Textdatei erfolgreich in deine Website eingebunden.
5. Regelmäßige Aktualisierung
Überprüfe und aktualisiere deine robots.txt-Datei regelmäßig, besonders wenn du Änderungen an der Struktur deiner Website vorgenommen hast.
Anweisungen
Für deine robots.txt-Datei kannst du verschiedene Anweisungen verwenden:
User-agent
Hier kannst du definieren, für welchen Bot die folgenden Anweisungen gelten. In den meisten Fällen findest du hier ein * als Wildcard für alle Bots. In diesem Fall sind die Crawling-Anweisungen für alle Webcrawler gültig. Wenn du spezifische Anweisungen pro Bot definieren möchtest, kannst du diese untereinander listen.
Disallow
Mit dieser Anweisung kannst du den Suchmaschinen-Bots signalisieren, dass diese Seite oder ein ganzes Verzeichnis nicht gecrawlt werden soll:
Disallow: /verzeichnis/
Allow
Diese Anweisung erlaubt das Crawling von bestimmten Seiten oder Verzeichnissen:
Allow: /erlaubtes-verzeichnis/
Crawl-Delay
Mit dieser Anweisung kannst du festlegen, wie lange ein Crawler warten soll, bevor er eine neue Anfrage sendet. Ein Crawl-Delay von 10 bedeutet, dass die Crawler nur alle 10 Sekunden eine neue Seite aufrufen dürfen. Ein Crawl-Delay ist insbesondere dann sinnvoll, wenn deine Webseite auf einem weniger leistungsstarken Sever liegt, der gerne mal in die Knie geht.
Crawl-Delay: 10
Sitemap
Diese Anweisung gibt den Pfad zur XML-Sitemap an:
Sitemap: https://www.deine-website.de/sitemap.xml
Beachte hierbei, dass nicht jede Suchmaschine alle Anweisungen unterstützt. Nimm dir hierzu die offiziellen Dokumentationen der Suchmaschinen zu Hilfe, damit du deine Textdatei ordnungsmäßig befüllen kannst.
Außerdem verstehen die Crawler deine Anweisungen als Empfehlung. Die seriösen Crawler halten sich in aller Regel daran. Ein Spam-Crawler wird von deinen Anweisungen in der robots.txt jedoch ziemlich unbeeindruckt sein.
Verwandte Artikel
Noch nicht das Richtige gefunden?
Willst du richtig tief in ein Thema eintauchen und mit einer Anleitung ein spezifisches Problem lösen? Dann findest du in unserem Ratgeber für SEO und Content-Marketing genau die passenden Inhalte!