SEO & Web

Robots.txt

Die robots.txt ist eine kleine Textdatei im Wurzelverzeichnis, mit der du Suchmaschinen-Bots das Crawlen bestimmter Bereiche erlaubst oder verbietest.

Die robots.txt liegt im Wurzelverzeichnis deiner Domain und gibt Suchmaschinen-Bots Anweisungen, welche Bereiche sie crawlen dürfen und welche nicht. Sie arbeitet mit Regeln wie Disallow und Allow für einzelne Pfade oder ganze Verzeichnisse. Wichtig: Sie steuert nur das Crawling, nicht die Indexierung - eine gesperrte Seite kann trotzdem im Index landen, wenn sie verlinkt ist. Üblicherweise verweist sie auch auf den Speicherort deiner Sitemap.

Was die Robots.txt regelt

Die Robots.txt ist eine schlichte Textdatei, die im Wurzelverzeichnis deiner Domain liegt und unter deinedomain.de/robots.txt erreichbar ist. Sie ist das Erste, was viele Suchmaschinen-Bots abrufen, bevor sie mit dem Crawling beginnen. In ihr legst du mit einfachen Regeln fest, welche Bereiche ein Bot besuchen darf und welche nicht. Eine Disallow-Zeile sperrt einen Pfad, eine Allow-Zeile gibt ihn ausdrücklich frei. Du kannst die Regeln für alle Bots gemeinsam oder für einzelne wie den Googlebot getrennt definieren, etwa wenn du einem aggressiven Bot strengere Grenzen setzen willst. Typische Anwendungsfälle sind das Aussperren von Admin-Bereichen, internen Suchergebnissen, Warenkorb-Seiten oder Test-Verzeichnissen, die nichts in der Suche verloren haben. So lenkst du das wertvolle Crawl-Budget auf die Seiten, die wirklich zählen, und hältst technischen Ballast aus dem Crawling-Prozess heraus. Gerade bei großen Websites ist diese Steuerung ein spürbarer Hebel für eine effiziente Erfassung durch Suchmaschinen.

Crawling sperren ist nicht Indexierung verbieten

Das größte Missverständnis bei der Robots.txt: Eine gesperrte Seite ist nicht automatisch aus der Suche verschwunden. Die Robots.txt steuert ausschließlich das Crawling, nicht die Indexierung. Sperrst du eine Seite per Disallow, kann der Bot ihren Inhalt zwar nicht mehr lesen - aber wenn andere Seiten sie verlinken, kann Google sie trotzdem mit der URL und einem Linktext in den Index aufnehmen. Das Ergebnis ist ein wenig hilfreicher Eintrag ohne Beschreibung. Willst du eine Seite sicher aus der Suche fernhalten, brauchst du stattdessen das noindex-Meta-Tag im head der Seite. Damit das greift, muss die Seite aber gecrawlt werden dürfen - du darfst sie also nicht gleichzeitig per Robots.txt sperren, sonst sieht der Bot das noindex nie. Diese beiden Werkzeuge ergänzen sich, schließen sich aber je nach Ziel gegenseitig aus.

Robots.txt und Sitemap verbinden

Die Robots.txt erfüllt neben dem Sperren noch eine zweite nützliche Aufgabe: Sie kann auf den Speicherort deiner Sitemap verweisen. Mit einer einzigen Sitemap-Zeile am Ende der Datei teilst du jedem Crawler mit, wo er die vollständige Liste deiner URLs findet. Das ist praktisch, weil so auch Suchmaschinen, bei denen du keine Search-Console-Zugänge eingerichtet hast, deine Sitemap automatisch entdecken. Du kannst sogar mehrere Sitemaps angeben, etwa wenn du Inhalte, Bilder und News getrennt verwaltest. Diese Verknüpfung kostet dich kaum Aufwand, beschleunigt aber das Auffinden neuer Inhalte spürbar. Achte nur darauf, dass die in der Robots.txt genannte Sitemap-Adresse vollständig und korrekt ist - eine tote Sitemap-Zeile bringt nichts. So wird die kleine Textdatei zum Wegweiser, der Crawlern den Einstieg in deine Seite erleichtert.

Fehler in der Robots.txt vermeiden

Eine fehlerhafte Robots.txt gehört zu den gefährlichsten technischen SEO-Pannen, weil ein einziges falsches Zeichen ganze Websites unsichtbar machen kann. Der berüchtigtste Fall ist die Zeile Disallow Schrägstrich, die mit nur einem Slash das komplette Crawling der Domain blockiert - ein Klassiker, der nach Relaunches oft versehentlich vom Testsystem übernommen wird. Prüfe deine Robots.txt deshalb nach jedem größeren Eingriff. Ein zweiter häufiger Fehler ist, Ressourcen wie CSS- oder JavaScript-Dateien zu sperren, die Google zum Rendern der Seite braucht - dann kann der Bot deine OnPage-Optimierung nicht richtig bewerten. Die Google Search Console bietet einen Tester, mit dem du einzelne URLs gegen deine Regeln prüfst. Halte die Datei schlank, kommentiere komplexe Regeln und verlasse dich für den echten Indexierungsschutz nie allein auf die Robots.txt. Im Zweifel lässt du sie von einer SEO-Agentur gegenprüfen.