Das WordPress-SEO-Crawl-Budget-Problem und wie man es behebt

Versuchen Sie, das Problem mit dem SEO-Crawling-Budget von WordPress zu beheben?

Das SEO-Crawling-Budget ist die Häufigkeit, mit der Suchmaschinen Seiten auf Ihrer Website crawlen. Ein niedrigeres Crawl-Budget kann die rechtzeitige Indexierung Ihrer Seiten verzögern. Dies kann Ihren SEO-Rankings schaden und Ihren gesamten Traffic verringern.

In diesem Artikel erklären wir das Problem mit dem SEO-Crawling-Budget von WordPress und wie es schnell behoben werden kann.

Da dies ein riesiges Thema ist, haben wir es in leicht verständliche Abschnitte unterteilt. Hier sind die verschiedenen Punkte, die wir in diesem Artikel behandeln werden:

Wie funktioniert das Such-Crawling?

Suchmaschinen wie Google verwenden ausgeklügelte Bots (Computerprogramme), um Websites im Internet zu besuchen.

Diese Bots suchen nach Änderungen auf einer Website und vergleichen sie mit dem Hauptsuchindex.

Wenn sie neue Inhalte entdecken, fügen sie diese dem Suchindex hinzu. Wenn sie Inhalte finden, die sich bereits im Index befinden, sich aber geändert haben, aktualisieren sie den Index mit neuen Inhalten.

Sie folgen Links auf einer Seite und tun das Gleiche dann auch für diese Seiten.

Die Art und Weise, wie Bots von einem Link zu anderen Links auf einer Seite wechseln, ähnelt dem, wie echte Spinnen durch ihre Netze kriechen.

Aus diesem Grund wird der Begriff Crawling verwendet, um diese Aktivität zu beschreiben, und Sie sehen die Bots manchmal als Suchmaschinen-Spider bezeichnet.

Für eine bessere SEO müssen Sie sicherstellen, dass Suchmaschinen Ihre Website problemlos durchsuchen können.

Was ist SEO Crawl Budget?

Das SEO-Crawling-Budget ist die Häufigkeit, mit der Suchmaschinen wie Google Seiten auf Ihrer Website crawlen.

Google-Bots crawlen jeden Tag Milliarden von Seiten. Sie versuchen zu berechnen, wie viele Seiten sie auf jeder Website-Domain crawlen werden, um Ressourcen effizient zu nutzen.

Diese Zahl wird automatisch von den Crawling-Algorithmen basierend auf mehreren Faktoren bestimmt.

Es schwankt täglich, was bedeutet, dass es keine feste Zahl dafür gibt, wie viele Seiten der Google-Bot auf Ihrer WordPress-Website crawlt.

Im Allgemeinen haben größere Websites mit mehr Inhalt ein höheres Crawl-Budget und kleinere Websites ein geringeres Budget.

Auch andere Faktoren beeinflussen das Crawling-Budget, wie die Beliebtheit einer URL, Aktualität, Aktualisierungshäufigkeit und mehr.

Aus verschiedenen Gründen kann es jedoch vorkommen, dass Sie Ihr Crawl-Budget auf unerwünschten Seiten verlieren.

Wenn Ihre Website beispielsweise nicht richtig optimiert ist, geben Suchmaschinen Ihr Crawl-Budget für weniger bedeutende Teile Ihrer Website aus als für wichtige Inhalte.

Was verursacht WordPress SEO Crawl-Budget-Probleme?

Die Art und Weise, wie WordPress URLs und doppelte Inhalte generiert, kann zu Problemen mit dem Crawl-Budget führen.

Beispielsweise generiert WordPress automatisch RSS-Feeds für verschiedene Bereiche Ihrer Website.

Es gibt RSS-Feeds für den Hauptblog, Kategorien und Tags, Kommentare zu jedem einzelnen Beitrag und jeder Seite, und sogar benutzerdefinierte Beitragstypen haben separate RSS-Feed-URLs.

Links zu diesen RSS-Feeds werden dem HTML-Quellcode Ihrer Website hinzugefügt, wodurch sie für Suchmaschinen auffindbar werden.

Heutzutage sind Suchmaschinen schlau genug, doppelte Inhalte zu erkennen und zu ignorieren. Sie würden sie jedoch trotzdem crawlen und Ihr SEO-Crawl-Budget ausgeben.

Abgesehen davon würden Suchmaschinen weniger wichtige Elemente viel mehr als nötig crawlen. Dazu gehören Ihre Archive, Taxonomien, Autoren, PDF-Dateien und mehr.

WordPress-Plugins oder andere Tools von Drittanbietern können Ihren WordPress-URLs auch Abfrageparameter hinzufügen.

Die Spider von Google können diese Abfrageparameter als eine andere Seite betrachten und sie crawlen.

Beispielsweise werden UTM-Parameter für das Google Analytics-Tracking verwendet, und eine Seite mit oder ohne diese Abfrageparameter würde immer noch gleich aussehen.

Beispiel: https://yourdomain.com/landingpage/?utm_source=newsletter

Dies verschwendet Ihr SEO-Crawling-Budget für weniger wichtige Elemente und wird zu einem Problem.

So berechnen Sie Ihr SEO-Crawling-Budget

Das SEO-Crawling-Budget ist keine festgelegte Anzahl von Seiten.

Sie schwankt stark und es gibt keine verlässliche Methode, um vorherzusagen, wie viele Seiten Google an einem bestimmten Tag auf Ihrer Website crawlen wird.

Sie können sich jedoch anhand der letzten Crawling-Aktivitäten eine ziemlich gute Vorstellung davon machen, wie Google Ihre Website crawlt.

Wenn Sie dies noch nicht getan haben, müssen Sie Ihre Website zunächst zur Google Search Console hinzufügen. Es ist ein kostenloses Tool von Google, mit dem Website-Eigentümer herausfinden können, wie ihre Website in der Google-Suche abschneidet.

Gehen Sie einfach zu Ihrem Search Console-Dashboard. Wechseln Sie in der linken Spalte zum Menü "Einstellungen" und klicken Sie dann neben "Crawling-Statistiken" auf "Bericht öffnen".

Der Crawl-Statistikbericht zeigt einen Überblick über die Crawl-Anfragen auf Ihrer Website in den letzten Wochen.

Sie können mit der Maus über das Diagramm fahren, um zu sehen, wie viele Seiten jeden Tag angefordert wurden.

Dadurch erhalten Sie eine Vorstellung davon, wie hoch die durchschnittliche Crawling-Rate auf Ihrer Website in diesem Zeitraum war.

Darunter sehen Sie eine Aufschlüsselung der Crawling-Aktivität nach Antwortcode, Dateitypen, Zweck und Google-Bot-Typ.

Von hier aus können Sie sehen, wie viel Crawling-Budget für Fehler, Syndication (RSS-Feeds), JavaScript, CSS, Bilder und mehr ausgegeben wird.

Auf diese Weise erhalten Sie eine Momentaufnahme der Elemente, die Sie optimieren können, um das SEO-Crawling-Budget effizienter zu nutzen.

Wenn beispielsweise viele 404-Fehler gecrawlt werden, können Sie ein Umleitungs-Plugin verwenden, um sicherzustellen, dass diese Crawler auf nützlichen Inhalten landen.

(Später in diesem Artikel zeigen wir Ihnen Schritt für Schritt, wie Sie Crawling-Fehler umleiten.)

Warum Sie sich um das SEO-Crawling-Budget kümmern sollten

Suchmaschinen müssen Ihre Website effizient crawlen, damit sie Ihre Inhalte rechtzeitig richtig indexieren können.

Wenn Ihr SEO-Crawling-Budget jedoch verschwendet wird, werden Ihre wichtigen und neueren Inhalte möglicherweise nicht rechtzeitig gecrawlt.

Es kann sogar Wochen dauern, bis die Suchmaschinen Aktualisierungen Ihrer älteren Artikel bemerken oder Ihre neuen Inhalte entdecken.

Sie werden den Traffic von Suchmaschinen verpassen, Ihre SEO-Rankings werden sich möglicherweise nicht verbessern und Sie werden definitiv Geld für Verkäufe oder Werbeeinnahmen verlieren.

So optimieren Sie ganz einfach das SEO-Crawling-Budget in WordPress

Der einfachste und sicherste Weg, Ihr SEO-Crawling-Budget in WordPress zu optimieren, ist die Verwendung von All-in-One-SEO für WordPress.

Es ist das beste WordPress-SEO-Plugin, das mit einem integrierten SEO-Crawl-Optimierungstool ausgestattet ist.

Zuerst müssen Sie das All-in-One-SEO-Plugin für WordPress installieren und aktivieren. Weitere Einzelheiten finden Sie in unserer Schritt-für-Schritt-Anleitung zur Installation eines WordPress-Plugins.

Hinweis: Es gibt auch eine kostenlose Version von All in One SEO, die auch eine Crawl-Bereinigungsfunktion enthält. Wir empfehlen die Verwendung des PRO-Plans des kostenpflichtigen Plugins, da Sie damit auch Zugriff auf das Redirection Manager-Tool erhalten, um 404-Fehler auf Ihrer Website zu beheben.

Nach der Aktivierung zeigt Ihnen das Plugin einen Einrichtungsassistenten. Folgen Sie einfach den Anweisungen auf dem Bildschirm, um das Plugin einzurichten.

Danach können Sie zur Seite All-in-One-SEO »Suchdarstellung gehen.

Wechseln Sie dann einfach auf die Registerkarte Erweitert.

Scrollen Sie zum Ende der Seite und dort sehen Sie die Option „Crawl Cleanup“.

Klicken Sie auf den Umschalter, um die Funktion „Crawl-Bereinigung“ zu aktivieren.

Die erste Option, die Sie bei der Crawl-Bereinigung sehen, besteht darin, die Abfrageargumente zu entfernen.

Darunter können Sie eine Liste mit Abfrageargumenten angeben, die Sie zulassen möchten. Fortgeschrittene Benutzer können hier reguläre Regex-Ausdrücke verwenden.

Als Nächstes sehen Sie Optionen für WordPress-RSS-Feeds. All in One SEO zeigt Ihnen alle verschiedenen Arten von RSS-Feeds, die von WordPress generiert werden, und Sie können die weniger wichtigen RSS-Feeds deaktivieren.

Wenn Sie beispielsweise einen Blog mit einem einzigen Autor haben, können Sie die Autoren-Feeds deaktivieren.

Nachdem Sie alle unerwünschten RSS-Feeds deaktiviert haben, vergessen Sie nicht, auf die Schaltfläche „Änderungen speichern“ zu klicken, um Ihre Einstellungen zu speichern.

So richten Sie Weiterleitungen für Fehlerseiten ein

All in One SEO richtet automatisch Weiterleitungen für Feeds ein, die Sie deaktiviert haben. Beispielsweise leitet ein Tag-RSS-Feed Benutzer jetzt auf die Tag-Archivseite weiter.

Als nächstes müssen Sie zu Ihrem Google Search Console-Dashboard wechseln und den Crawl-Statistikbericht öffnen.

Von hier aus können Sie die Seiten sehen, die zu Fehlern geführt haben.

Abhängig vom Statuscode können Sie nun Weiterleitungen für diese Seiten einrichten.

Beispielsweise können Sie 404-Fehler auf eine ähnliche Seite umleiten. Sie können andere Seiten mit Fehlern überprüfen und auch für diese Weiterleitungen einrichten.

All in One SEO macht es sehr einfach, Weiterleitungen auf Ihrer WordPress-Website einzurichten. Gehen Sie einfach auf die Seite All in One SEO » Redirects und fügen Sie die alte URL unter dem Feld „Quell-URL“ und die neue URL unter dem Feld „Ziel-URL“ hinzu.

Klicken Sie auf die Schaltfläche „Weiterleitung hinzufügen“, um Ihre Einstellungen zu speichern. Anschließend können Sie den Vorgang einfach wiederholen, um bei Bedarf weitere Weiterleitungen einzurichten. Weitere Details und alternative Methoden finden Sie in unserem Leitfaden zum Einrichten von Weiterleitungen in WordPress.

Wir hoffen, dass dieser Artikel Ihnen dabei geholfen hat, mehr über das SEO-Crawl-Budget-Problem von WordPress und dessen Behebung zu erfahren. Vielleicht möchten Sie auch diese Expertentipps zur Verwendung der Google Search Console zur Steigerung des Traffics oder praktische Beispiele zur Verbesserung der organischen Klickrate in WordPress sehen.

Wenn Ihnen dieser Artikel gefallen hat, dann abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Video-Tutorials. Sie finden uns auch auf Twitter und Facebook.