So optimieren Sie Ihre WordPress Robots.txt (Anleitungen für Fortgeschrittene)

Viele von Ihnen haben vielleicht schon von der robots.txt-Datei gehört, aber wissen Sie, wo sie ist und wie sie aussieht? Am wichtigsten ist, wissen Sie, wie Sie Ihre WordPress robot.txt-Datei optimieren können, um SEO zu verbessern?

Dieser Artikel behandelt diese Fragen, um Ihnen ein korrektes und klares Bild der WordPress robots.txt-Datei zu geben. Von dort aus können Sie die Datei verwenden, um Ihre Online-Sichtbarkeit auf SERPs zu erhöhen oder Ihre sensiblen Inhalte vor der Öffentlichkeit zu verbergen.

Wir beginnen mit dem Speicherort robots.txt, seinen Beispielen, zeigen Möglichkeiten auf, die Datei zu bearbeiten, und schließen diesen Beitrag dann mit fortgeschrittenen Tipps zur Optimierung von WordPress robots.txt ab.

Tauchen wir ein!

• Wo ist der Speicherort der WordPress robot.txt?
• Wie bearbeite ich robot.txt in WordPress?
• So optimieren Sie Ihre WordPress Robots.txt-Datei für SEO

Wo ist der Speicherort der WordPress robots.txt?

Die robots.txt-Datei befindet sich im Stammordner Ihrer Website. Seine Hauptaufgabe besteht darin, Suchmaschinen-Bots beim Crawlen und Indexieren Ihrer Website zu unterstützen. Insbesondere verweigert es Suchmaschinen den Zugriff auf bestimmte Dateien und Ordner.

Viele Besitzer von WordPress-Sites verwenden die robots.txt-Datei, um von der Indexierung durch die Suche abzuraten . Das klingt kontraintuitiv, oder? In Anbetracht der Tatsache, dass SEO oder der Gewinn der ersten Position in den SERPs eine entscheidende Komponente für den Erfolg des Online-Geschäfts spielt.

Wenn sich Ihre Website jedoch im Entwicklungsmodus befindet oder minderwertige oder persönliche Inhalte enthält, erweist sich robot.txt als praktisch beim Block-Crawling und Indexieren dieser Inhalte. Von hier aus können Sie Ihre WordPress robots.txt-Datei optimieren, um Ihre Top-Landingpages wie Verkaufsseiten, Produktseiten oder gesponserte Posts zu priorisieren .

Gleichzeitig können Sie auch Ihr Crawling-Kontingent optimieren . Crawling-Quote oder Crawling-Budget bezieht sich auf die Anzahl der Seiten auf Ihrer WordPress-Site, die Google-Bots zu einem bestimmten Zeitpunkt crawlen. Wenn Sie Ihren wichtigen Seiten erlauben, das Budget zu durchsuchen, können Sie sie schnell indizieren und auf der ersten Seite der Suchergebnisse platzieren.

Denken Sie jedoch daran, die robots.txt-Datei zu optimieren, da sie Ihrer SEO schaden kann, wenn sie schlecht gemacht wird.

WordPress Robots.txt-Beispiel

Sie können die robots.txt-Datei jeder Website anzeigen, indem Sie /robots.txt am Ende des Domainnamens hinzufügen. Eine robots.txt-Datei sieht also etwa so aus.

Der User-Agent in einer robots.txt-Datei ist die Suchmaschine, die die robots.txt-Datei liest. Wenn im User-Agent ein Sternchen markiert ist, bedeutet dies, dass er allen Suchmaschinen grünes Licht gibt.

In robots.txt-Dateien teilen Allow und Disallow den Bots mit, welche Seiten und Inhalte sie crawlen können und welche nicht. Wie Sie sehen können, haben wir Suchmaschinen erlaubt, Dateien in unserem WordPress-Admin-Ajax zu crawlen und zu indizieren, und den Zugriff auf Plugins und Admin-Ordner verweigert.

Eine Sitemap ist eine XML-Datei, die eine Liste und Details aller Seiten Ihrer Website enthält.

Wie bearbeite ich Robots.txt in WordPress?

Der einfachste Weg, robots.txt in WordPress zu bearbeiten, ist die Verwendung von Plugins. Es gibt mehrere robuste SEO-Plugins, die Ihnen beim Bearbeiten der robots.txt-Datei hervorragend helfen, All-in-one-SEO, YoastSEO, RankMath usw., um nur einige zu nennen.

Abgesehen davon können Sie auch Hilfe von Plugins suchen, die ausschließlich zur Optimierung Ihrer WordPress robots.txt-Datei entwickelt wurden, wie z. B. Virtual Robots.txt, WordPress Robots.txt-Optimierung und viele mehr.

Alternativ können Sie die Datei auch manuell per FTP-Client bearbeiten. Zunächst müssen Sie Ihren WordPress-Hosting-Provider über einen FTP-Client verbinden. Suchen Sie danach die robots.txt-Datei im Stammverzeichnis Ihrer Website.

Wenn Sie die robot.txt-Datei dort nicht sehen, ist sie wahrscheinlich nicht auf Ihrer Website vorhanden. Nicht ausflippen, einfach einen neuen erstellen. Klicken Sie mit der rechten Maustaste und wählen Sie „Neue Datei erstellen“ und laden Sie sie dann auf Ihren Desktop herunter. Robots.txt ist eine einfache Textdatei, was bedeutet, dass Sie sie wie andere Dateien mit Texteditoren wie Wordpad oder Notepad herunterladen und bearbeiten können.

Aktualisieren Sie danach Ihre Änderungen, laden Sie Ihre bearbeitete robots.txt-Datei erneut in den Stammordner hoch und Sie sind fertig.

Testen Sie Ihre Robots.txt-Datei

Sie müssen sicherstellen, dass Ihre robot.txt-Datei nach der Bearbeitung wie gewohnt funktioniert. Sollten dabei Fehler auftreten, kann dies zur Folge haben, dass Ihre Website von den Suchergebnisseiten ausgeschlossen wird.

Unter einer Vielzahl von robots.txt-Testtools empfehlen wir Ihnen die Verwendung der Google Search Console, mit der Sie Ihre robots.txt-Datei kostenlos testen können.

Stellen Sie sicher, dass Sie Ihre Website-URL bereits an die Google Search Console übermittelt haben, damit das Tool Ihre Authentifizierung überprüft. Wenn nicht, sehen Sie sich unseren Leitfaden an, wie Sie Ihre Website bei Suchmaschinen einreichen.

Dann sind Sie gut beraten, das Google Search Console Robots Testing Tool zu verwenden. Sobald Sie eine Eigenschaft im Dropdown-Menü ausgewählt haben, geht das Tool sofort durch die Datei und benachrichtigt Sie, wenn Fehler und Warnungen vorliegen.

Darüber hinaus können Sie mit dem Tool eine bestimmte Seite Ihrer Website aufrufen und dann einen bestimmten Benutzeragenten auswählen, um zu überprüfen, ob diese Seite von der Indizierung blockiert oder die Indizierung akzeptiert wird.

Sie können die Datei direkt im Tool bearbeiten und den Test erneut ausführen. Die eigentliche Datei bleibt jedoch unverändert. Möglicherweise müssen Sie die Ausgabe kopieren und in die eigentliche Datei einfügen und dort speichern.

So optimieren Sie Ihre WordPress Robots.txt-Datei für SEO

Es wird dringend empfohlen, einige Ihrer vertraulichen Seiten wie /wp-admin/ , /wp-content/plugins/ , /trackback/ und /readme.html selektiv zu verbieten, während der Rest „zulassen“ bleibt.

Darüber hinaus können Sie Ihre WordPress robots.txt-Datei optimieren, indem Sie ihr Ihre Sitemap hinzufügen. Während WordPress seine eigene Sitemap bereitstellt, kannst du SEO-Plugins wie YoastSEO oder All-in-One-SEO verwenden, um deine eigene Sitemap zu erstellen. Sie geben Ihnen die Möglichkeit, separate Sitemaps für Beiträge und Seiten zu erstellen.

An diesem Punkt wird das Hinzufügen dieser Sitemaps zu Ihrer robots.txt-Datei das Crawlen von Bots schneller und einfacher beschleunigen.

Darüber hinaus wird trotz des Optimierungsgedankens dringend davon abgeraten, die robots.txt-Datei zu überarbeiten oder zu überarbeiten. Dies liegt daran, dass zu viele Änderungen in der Datei Ihrer Seitenstruktur schaden und Bots über das Verhindern des Crawlens Ihrer Website informieren können.

Weniger ist also mehr. Sie müssen sich nur auf Ihre Sitemap konzentrieren und Ihre Top-Seiten zuerst entdecken.

Steigern Sie jetzt Ihre Online-Sichtbarkeit!

Robots.txt ist eine wichtige Datei, mit der Sie Ihr Crawling-Kontingent strategisch optimieren und private Inhalte vor der Suchindizierung verbergen können.

Dieser Artikel hat Ihnen gezeigt, was eine robots.txt-Datei ist, wo Sie sie finden und wie Sie die Datei bearbeiten. Wir haben Ihnen auch gezeigt, wie Sie Ihre WordPress robots.txt-Datei für SEO optimieren können. Die Sache ist, je weniger Edition in robots.txt, desto besser. Und vergessen Sie nicht, der Datei eine benutzerdefinierte Sitemap hinzuzufügen, um die Sichtbarkeit Ihrer Schlüsselseite zu verbessern.

Worauf wartest du? Steigern Sie jetzt Ihre Online-Sichtbarkeit mit der robot.txt-Datei!