Wenn dein Onlineshop aus vielen Produkt-, Kategorie- und Informationsseiten besteht, kann es schwierig werden, technische Probleme manuell zu finden. Fehlerhafte Links, doppelte Seitentitel oder schlecht erreichbare Seiten fallen bei einer einzelnen Überprüfung möglicherweise gar nicht auf.
Website-Crawler übernehmen einen großen Teil dieser Arbeit automatisch. Sie bewegen sich systematisch durch Websites, folgen Links und erfassen Informationen über die gefundenen Seiten. Suchmaschinen verwenden Crawler unter anderem, um Inhalte für ihren Suchindex zu entdecken. SEO-Crawler helfen dir dagegen dabei, deine eigene Website technisch zu analysieren. In diesem Beitrag erfährst du, wie Website-Crawler funktionieren, wofür du sie einsetzen kannst, welche Tools es gibt und wie sie dir bei der SEO-Analyse deines Onlineshops helfen können.
Was ist ein Website-Crawler?
Ein Website-Crawler ist ein automatisiertes Programm, das Websites systematisch aufruft, deren Inhalte analysiert und vorhandenen Links zu weiteren Seiten folgt. Crawler werden unter anderem von Suchmaschinen zur Indexierung und von Unternehmen für technische Website- und SEO-Analysen eingesetzt. Sie werden auch als Web-Crawler, Spider oder Bots bezeichnet.
Wie funktioniert ein Website-Crawler?
Ein Crawler benötigt zunächst einen Ausgangspunkt. Das kann beispielsweise die Startseite einer Website oder eine XML-Sitemap sein. Von dort arbeitet sich das Programm durch die Website.
Vereinfacht läuft Crawling in fünf Schritten ab:
- Der Crawler ruft eine bekannte URL auf.
- Er analysiert die dort vorhandenen Inhalte und Links.
- Er fügt neu gefundene URLs zu seiner Liste hinzu.
- Er besucht diese Seiten und wiederholt den Vorgang.
- Die erfassten Informationen werden gespeichert und ausgewertet.
Suchmaschinen-Crawler prüfen dabei auch Anweisungen, die Website-Betreiber:innen über die robots.txt bereitstellen. Diese Datei kann Bots Hinweise dazu geben, welche Bereiche einer Website gecrawlt werden sollen und welche nicht.
Wie ausführlich ein Crawler eine Website analysieren kann, hängt vom jeweiligen Tool ab. Ein Unterschied besteht beispielsweise beim Umgang mit JavaScript. Moderne Crawler können teilweise dynamisch erzeugte Inhalte verarbeiten, diese Funktion wird jedoch nicht von jedem Crawler gleichermaßen unterstützt.
Wofür werden Website-Crawler eingesetzt?
Je größer eine Website wird, desto schwieriger ist es, technische Fehler und strukturelle Probleme manuell zu erkennen. Das gilt besonders für Onlineshops mit zahlreichen Produkt-, Kategorie- und Informationsseiten. Ein Website-Crawler analysiert viele URLs automatisiert und stellt die Ergebnisse gebündelt zur Verfügung.
Dadurch kannst du Probleme schneller erkennen, priorisieren und nach einer Änderung erneut überprüfen. Website-Crawler eignen sich unter anderem für folgende Aufgaben:
- SEO-Audits: Finde technische Probleme wie fehlerhafte Links, doppelte Seitentitel, fehlende Meta-Daten oder problematische Canonical-Tags.
- Linkprüfung: Identifiziere 404-Fehler, fehlerhafte Weiterleitungen und Links zu nicht mehr verfügbaren Seiten.
- Analyse der Website-Struktur: Prüfe, wie Seiten miteinander verknüpft sind und ob wichtige Inhalte nur schwer erreichbar sind.
- Content-Inventar: Verschaffe dir einen Überblick über vorhandene URLs, Seitentitel, Überschriften und weitere Seiteninformationen.
- Sitemap-Kontrolle: Vergleiche vorhandene Seiten mit deiner XML-Sitemap und erkenne mögliche Abweichungen.
- Performance-Analyse: Je nach Tool kannst du langsame Seiten, große Dateien oder andere technische Auffälligkeiten identifizieren.
- Regelmäßige Qualitätskontrolle: Wiederholte Crawls helfen dir dabei, neue Probleme nach Änderungen am Shop frühzeitig zu erkennen.
Für Unternehmen ergeben sich daraus je nach Website und Aufgabenbereich unterschiedliche Vorteile:
| Anwendungsfall | Besonders relevant für | Nutzen |
|---|---|---|
| Technischer SEO-Audit | SEO, Marketing, E-Commerce | Technische Fehler über viele Seiten hinweg erkennen und priorisieren |
| Prüfung von Produkt- und Kategorieseiten | E-Commerce, Shop-Management | Fehlerhafte URLs, Meta-Daten und Canonicals systematisch kontrollieren |
| Linkprüfung | SEO, Content, Web-Management | Defekte interne Links und problematische Weiterleitungen finden |
| Analyse der internen Verlinkung | SEO, Content | Schlecht erreichbare oder kaum verlinkte Seiten identifizieren |
| Content-Inventar | Content-Management, Redaktion | Bestehende Inhalte und Metadaten übersichtlich erfassen |
| Relaunch oder Migration | SEO, Entwicklung, Projektmanagement | Änderungen an URLs, Redirects und Seitenstrukturen kontrollieren |
| Regelmäßiges Website-Monitoring | SEO, E-Commerce, Web-Management | Neue technische Probleme nach Updates oder Sortimentsänderungen entdecken |
Gerade bei einem Onlineshop liegt der Vorteil eines Crawlers darin, dass sich wiederkehrende Probleme über viele Seiten gleichzeitig erkennen lassen. Wenn beispielsweise mehrere Produktseiten denselben Seitentitel besitzen oder nach einer Sortimentsänderung zahlreiche interne Links auf nicht mehr vorhandene Produkte führen, musst du diese Fehler nicht Seite für Seite manuell suchen.
Warum sind Website-Crawler für SEO wichtig?
Suchmaschinen müssen deine Seiten zunächst finden und verarbeiten können, bevor sie diese in ihren Suchergebnissen berücksichtigen können. Technische Probleme können diesen Prozess erschweren.
Ein SEO-Crawler simuliert in Teilen, wie ein Bot deine Website aufruft und sich über interne Links durch ihre Struktur bewegt. Dadurch bekommst du eine andere Perspektive auf deine Website als bei einer manuellen Überprüfung im Browser.
Crawler können beispielsweise zeigen, dass Links auf nicht mehr vorhandene Seiten führen, wichtige Inhalte kaum intern verlinkt sind oder mehrere URLs dieselben Meta-Daten verwenden. Auch fehlerhafte Canonicals oder ungewöhnliche Weiterleitungsketten lassen sich auf diese Weise schneller über viele Seiten hinweg erkennen.
Der große Vorteil liegt in der Skalierbarkeit: Bei fünf Seiten könntest du viele dieser Punkte noch manuell kontrollieren. Bei mehreren Hundert oder Tausend Produkt- und Kategorieseiten wird das schnell unübersichtlich.
In diesem Video (auf Englisch) zeigen wir dir, wie du deinen Onlineshop für SEO optimieren kannst:
So nutzt du einen Website-Crawler für deinen Onlineshop
Für Onlineshops ist Crawling besonders interessant, weil sich Sortiment und Seitenstruktur laufend verändern können. Neue Produkte kommen hinzu, andere verschwinden und Kategorien werden angepasst. Gleichzeitig können technische Fehler viele URLs gleichzeitig betreffen.
Ein systematischer Crawl hilft dir dabei, solche Probleme zu erkennen.
1. Starte einen vollständigen Crawl deines Shops
Lege zunächst fest, welchen Bereich deines Shops du untersuchen möchtest. Für einen allgemeinen technischen SEO-Check bietet sich ein Crawl der gesamten öffentlich erreichbaren Website an.
Bei sehr großen Shops kann es sinnvoll sein, zunächst einzelne Bereiche wie Produkt- oder Kategorieseiten zu analysieren.
2. Prüfe Statuscodes und Weiterleitungen
Kontrolliere anschließend, welche HTTP-Statuscodes der Crawler gefunden hat.
Besonders relevant sind nicht mehr erreichbare URLs. Ein Produkt wurde beispielsweise gelöscht, wird aber weiterhin von einer Kategorie, einem Blogartikel oder einer anderen Produktseite verlinkt. Besucher:innen und Crawler landen dadurch auf einer Fehlerseite.
Überprüfe außerdem Weiterleitungen. Mehrere direkt aufeinanderfolgende Redirects können entstehen, wenn URLs mehrfach geändert wurden.
3. Kontrolliere Produkt- und Kategorieseiten
In einem Onlineshop existieren häufig viele Seiten nach ähnlichen Mustern. Dadurch können sich Probleme ebenfalls wiederholen.
Überprüfe beispielsweise:
- fehlende oder doppelte Seitentitel
- fehlende Meta-Descriptions
- doppelte Inhalte
- Canonical-Tags
- Überschriften
- sehr kurze Seiteninhalte
Ein Crawler ermöglicht dir, solche Auffälligkeiten nicht für jede Produktseite einzeln, sondern über deinen gesamten Shop hinweg auszuwerten.
4. Analysiere die interne Verlinkung
Interne Links helfen Nutzer:innen dabei, sich durch deinen Onlineshop zu bewegen. Gleichzeitig ermöglichen sie Crawlern, weitere Seiten zu entdecken.
Achte deshalb darauf, ob wichtige Kategorien und Produkte sinnvoll mit anderen Seiten deines Shops verbunden sind. Eine wichtige Produktseite, die nur über wenige interne Links erreichbar ist, kann beispielsweise bei einer großen Website leicht übersehen werden.
Umgekehrt kannst du Seiten entdecken, auf die sehr viele unnötige interne Links verweisen.
5. Kontrolliere Bilder und Performance-Probleme
Produktbilder gehören zu den zentralen Elementen vieler Onlineshops. Große Bilddateien können jedoch dazu beitragen, dass Seiten langsamer laden.
Je nach Website-Crawler kannst du Bildgrößen, fehlende Alt-Texte und weitere Bildinformationen analysieren. Einige Tools erfassen außerdem Ladezeiten und weitere Performance-Werte.
6. Priorisiere die gefundenen Probleme
Ein Crawl kann eine große Zahl von Hinweisen liefern. Nicht jede Meldung ist jedoch automatisch ein schwerwiegendes SEO-Problem.
Ordne die Ergebnisse deshalb nach ihrer Bedeutung für deinen Shop. Ein fehlerhafter Link in einer wichtigen Hauptnavigation ist beispielsweise dringlicher als ein einzelner Fehler auf einer kaum besuchten Unterseite.
Nach größeren Korrekturen kannst du deinen Shop erneut crawlen. So lässt sich überprüfen, ob das Problem tatsächlich behoben wurde und ob durch die Änderung neue Fehler entstanden sind.
Website-Crawler vs. Web-Scraper: Was ist der Unterschied?
Web-Crawling und Web-Scraping werden häufig gemeinsam genannt, beschreiben aber unterschiedliche Prozesse.
Ein Website-Crawler bewegt sich systematisch durch Websites und folgt Links, um Seiten zu entdecken und Informationen über deren Struktur zu erfassen. Ein Web-Scraper konzentriert sich dagegen auf die gezielte Extraktion bestimmter Daten aus einer Webseite.
Ein Crawler könnte beispielsweise sämtliche Produkt-URLs eines Shops erfassen. Ein Scraper könnte anschließend gezielt Produktnamen, Preise oder andere Daten aus diesen Seiten auslesen.
In der Praxis überschneiden sich beide Technologien. Manche Tools kombinieren Crawling und Datenextraktion innerhalb einer Anwendung.
Website-Crawler: Diese Tools kannst du nutzen
Welcher Website-Crawler für dich geeignet ist, hängt davon ab, wie groß deine Website ist, welche technischen Kenntnisse du mitbringst und welche Probleme du untersuchen möchtest. Für einen klassischen SEO-Audit kommen beispielsweise spezialisierte Desktop-Crawler ebenso infrage wie browserbasierte SEO-Plattformen.
| Tool | Art des Crawlers | Wichtige Funktionen | Besonders geeignet für |
|---|---|---|---|
| Screaming Frog SEO Spider | Desktop-Crawler | Broken Links, Redirects, Meta-Daten, Canonicals, Duplicate Content, JavaScript-Rendering | Detaillierte technische SEO-Audits und größere Onlineshops |
| Seobility | Browserbasierte SEO-Plattform | Website-Audit, Onpage-Analyse, interne Verlinkung, technische Fehler, JavaScript-Crawling | Unternehmen, die Crawling und weitere SEO-Analysen übersichtlich verbinden möchten |
| SISTRIX | SEO-Plattform mit Onpage-Crawler | Regelmäßige Crawls, Fehler und Warnungen, Links, Meta-Daten und technische Analysen | SEO-Teams, die Crawling mit Rankings und weiteren SEO-Daten kombinieren möchten |
| SiteOne Crawler | Open-Source-Crawler | SEO, Performance, Barrierefreiheit, Sicherheit und technische Qualitätsprüfungen | Entwickler:innen und technisch versierte Nutzer:innen |
Screaming Frog SEO Spider
Der Screaming Frog SEO Spider ist ein spezialisierter Desktop-Crawler für technische Website- und SEO-Analysen. Das Programm durchsucht eine Website URL für URL und zeigt unter anderem fehlerhafte Links, Weiterleitungen, Seitentitel, Meta-Daten und Duplicate Content an. Auch XML-Sitemaps und JavaScript-basierte Websites lassen sich untersuchen.
Ein Vorteil des Tools ist die Detailtiefe der Crawl-Daten. Dadurch eignet sich Screaming Frog vor allem, wenn du einen technischen SEO-Audit durchführen oder die Struktur eines größeren Onlineshops genauer untersuchen möchtest. Verschiedene Crawls lassen sich außerdem miteinander vergleichen, sodass Veränderungen und behobene Probleme nachvollziehbar werden.
Seobility
Seobility verbindet Website-Crawling mit einem übersichtlich aufbereiteten SEO-Audit. Das Tool analysiert technische und inhaltliche Onpage-Probleme und zeigt dir anschließend, an welchen Stellen Optimierungsbedarf besteht. Dabei werden unter anderem Meta-Daten, Inhalte, Website-Struktur und technische Faktoren überprüft.
Für dynamische Websites bietet Seobility zudem einen Crawling-Modus mit aktiviertem JavaScript. Das kann beispielsweise bei Onlineshops relevant sein, deren Inhalte oder Links teilweise erst durch JavaScript geladen werden.
Seobility eignet sich damit insbesondere, wenn du Crawling und weitere SEO-Analysen in einer deutschsprachigen Oberfläche bündeln möchtest.
SISTRIX
SISTRIX ist eine umfangreiche SEO-Plattform, die mit ihren Onpage-Projekten ebenfalls einen eigenen Website-Crawler bereitstellt. Dieser überprüft Seiten regelmäßig und automatisch auf technische und Onpage-Probleme und ordnet die Ergebnisse in Fehler, Warnungen und Hinweise ein. Zu den überprüften Bereichen gehören beispielsweise Meta-Daten, Links, Performance und weitere technische Faktoren.
Der Crawler ist besonders interessant, wenn du technische Website-Analysen mit weiteren SEO-Daten verbinden möchtest. In SISTRIX lassen sich beispielsweise zusätzlich Rankings und die Sichtbarkeit eines Projekts beobachten.
SiteOne Crawler
Wenn du eine Open-Source-Lösung suchst und technisch etwas tiefer einsteigen möchtest, ist auch SiteOne Crawler eine Option. Das Tool crawlt vollständige Websites und analysiert neben SEO auch Performance, Barrierefreiheit, Sicherheit und technische Best Practices. Die Ergebnisse können unter anderem in einem interaktiven Audit-Report ausgegeben werden.
SiteOne bietet zudem Funktionen für Kommandozeile und CI/CD-Prozesse. Damit richtet sich das Tool stärker an Entwickler und technisch versierte Nutzer:innen als die anderen genannten Lösungen.
Worauf solltest du bei einem Website-Crawler achten?
Nicht jeder Crawler eignet sich für jede Website. Bevor du ein Tool auswählst, solltest du deshalb einige Kriterien berücksichtigen.
- Größe deiner Website: Überprüfe, wie viele URLs das Tool innerhalb eines Crawls verarbeiten kann. Limits können bei einem kleinen Unternehmensauftritt kaum auffallen, bei einem Onlineshop mit mehreren Tausend URLs aber schnell relevant werden.
- Benutzerfreundlichkeit: Einige Website-Crawler bieten eine grafische Oberfläche und benötigen kaum technisches Vorwissen. Andere werden über eine API oder Kommandozeile gesteuert. Entscheidend ist deshalb nicht nur der Funktionsumfang, sondern auch, ob du die Ergebnisse effizient auswerten kannst. Die Bedienung und die technischen Anforderungen unterscheiden sich zwischen den verschiedenen Crawler-Typen deutlich.
- JavaScript-Unterstützung: Dynamische Websites können Inhalte erst nach dem Laden per JavaScript erzeugen. Wenn relevante Inhalte oder Links auf diese Weise geladen werden, solltest du prüfen, ob dein Crawler JavaScript rendern und diese Elemente erkennen kann. Nicht alle Crawler unterstützen diese Funktion.
- Filter und Reports: Bei einem größeren Crawl können schnell Tausende Datenpunkte entstehen. Filter und übersichtliche Reports helfen dir dabei, relevante Probleme herauszufiltern. Für einen SEO-Audit kann es beispielsweise hilfreich sein, nur Seiten mit einem bestimmten HTTP-Statuscode oder fehlenden Meta-Daten anzeigen zu lassen.
- Exportmöglichkeiten: CSV, Tabellen- oder JSON-Exporte ermöglichen es dir, Crawl-Daten außerhalb des Tools weiterzuverarbeiten. Besonders bei größeren Websites kann das hilfreich sein, wenn verschiedene Teams an der Fehlerbehebung beteiligt sind oder Daten mit anderen Analysen kombiniert werden sollen.
Fazit: Website-Crawler machen technische Probleme sichtbar
Website-Crawler durchsuchen Websites automatisiert, folgen Links und erfassen Informationen über die gefundenen Seiten. Suchmaschinen verwenden diese Technik, um Inhalte im Web zu entdecken. SEO-Crawler ermöglichen dir dagegen, die technische Struktur deiner eigenen Website systematisch zu analysieren.
Für Onlineshops können sie besonders hilfreich sein, weil Fehler über viele Produkt-, Kategorie- und Informationsseiten hinweg entstehen können. Broken Links, Redirects, doppelte Meta-Daten, Canonical-Probleme oder Schwächen in der internen Verlinkung lassen sich mit einem Crawl wesentlich effizienter untersuchen als durch eine rein manuelle Kontrolle.
Welcher Crawler zu deiner Website passt, hängt vor allem vom Umfang deines Shops, den benötigten Analysen und deinen technischen Anforderungen ab.
