SEO & Web

Crawling

Crawling ist der Vorgang, bei dem Suchmaschinen mit automatischen Programmen das Web durchsuchen und die Inhalte deiner Seiten abrufen.

Beim Crawling rufen Suchmaschinen-Bots wie der Googlebot deine Webseiten auf, lesen ihren Inhalt und folgen den enthaltenen Links zu weiteren Seiten. Dieser Vorgang ist die Voraussetzung dafür, dass eine Seite überhaupt in den Suchindex gelangen kann. Wie oft und wie tief gecrawlt wird, hängt von der Größe, Aktualität und Autorität deiner Website ab - das nennt man Crawl-Budget. Über die robots.txt und interne Verlinkung steuerst du, welche Bereiche gecrawlt werden.

Wie Crawling funktioniert

Crawling ist der erste Schritt, mit dem deine Seite in der Suche überhaupt eine Chance bekommt. Suchmaschinen schicken automatische Programme - bei Google heißt das der Googlebot - durch das Web. Diese Bots starten bei bekannten URLs, laden die Seite, lesen den Quelltext und folgen allen Links, die sie darauf finden. So springen sie von Seite zu Seite und entdecken nach und nach das gesamte erreichbare Web. Jede neu gefundene URL wird in eine Warteschlange gelegt und später ebenfalls abgerufen. Damit dieser Prozess bei dir gut läuft, brauchst du zwei Dinge: erreichbare Seiten, die schnell laden, und eine klare interne Verlinkung, die den Bot von Seite zu Seite führt. Eine Sitemap hilft zusätzlich, weil sie dem Crawler direkt eine Liste deiner wichtigen URLs liefert, statt dass er sie erst über Links finden muss.

Crawling und Indexierung trennen

Crawling und Indexierung werden oft verwechselt, sind aber zwei verschiedene Schritte. Crawling bedeutet nur: Der Bot hat deine Seite abgerufen und gelesen. Ob sie danach auch in den Suchindex aufgenommen und damit für Nutzer auffindbar wird, entscheidet die anschließende Indexierung. Eine Seite kann gecrawlt, aber nicht indexiert werden - etwa weil sie als Duplikat erkannt wurde, dünnen Inhalt hat oder per noindex ausgeschlossen ist. Umgekehrt kann eine Seite nur indexiert werden, wenn sie zuvor crawlbar war. Diese Reihenfolge ist wichtig, wenn du Probleme analysierst, denn die Lösung liegt je nach Schritt an einer ganz anderen Stelle. In der Google Search Console siehst du im Bericht zur Seitenindexierung genau, ob eine URL gecrawlt wurde und warum sie gegebenenfalls nicht im Index gelandet ist. Steht dort gecrawlt, aber nicht indexiert, liegt das Problem inhaltlich - bleibt sie ganz ungecrawlt, ist es ein technisches Hindernis. Wer beide Begriffe sauber auseinanderhält, findet technische SEO-Probleme deutlich schneller.

Crawl-Budget verstehen

Suchmaschinen crawlen nicht unbegrenzt. Für jede Website gibt es ein Crawl-Budget - eine grobe Obergrenze, wie viele Seiten der Bot in einem Zeitraum abruft. Bei kleinen Websites spielt das selten eine Rolle, weil das Budget locker für alle Seiten reicht. Bei großen Shops oder Portalen mit Hunderttausenden URLs wird es dagegen entscheidend. Verschwendet die Seite Budget auf endlose Filter-URLs, Duplikate oder Sackgassen, bleiben wichtige Seiten ungecrawlt. Du schonst das Budget, indem du unnötige URLs per Robots.txt sperrst, Duplikate über das Canonical-Tag bündelst und kaputte Links sowie überflüssige Weiterleitungsketten beseitigst. Auch schnelle Ladezeiten zahlen ein: Je flotter deine Seiten antworten, desto mehr URLs schafft der Bot in derselben Zeit. Ein häufig genutzter Server, der sauber und ohne Fehlerseiten antwortet, signalisiert Google zusätzlich, dass es sich lohnt, öfter vorbeizuschauen. Crawl-Budget-Optimierung ist deshalb vor allem eine Aufräumaufgabe, die im selben Atemzug auch die technische Gesundheit deiner Seite verbessert.

Crawling gezielt steuern

Du bist dem Crawler nicht ausgeliefert - du kannst seinen Weg lenken. Das wichtigste Werkzeug ist die Robots.txt: Mit ihr sperrst du Verzeichnisse, die nicht gecrawlt werden sollen, etwa interne Suchergebnisse oder Admin-Bereiche. Achtung: Eine per Robots.txt gesperrte Seite kann trotzdem im Index landen, wenn sie stark verlinkt ist - zum sicheren Ausschluss brauchst du stattdessen das noindex-Meta-Tag, das aber nur greift, wenn die Seite gecrawlt werden darf. Über die interne Verlinkung steuerst du zusätzlich die Priorität: Seiten, die von vielen anderen verlinkt werden, gelten als wichtiger und werden häufiger besucht. Saubere OnPage-Optimierung und eine flache Seitenstruktur sorgen dafür, dass kein wichtiger Inhalt mehr als drei bis vier Klicks von der Startseite entfernt liegt. So findet der Bot alles Relevante zuverlässig.