So bearbeiten Sie robots.txt in WordPress (mit und ohne Plugins)

Suchen Sie nach den effektivsten Möglichkeiten , robots.txt in WordPress zu bearbeiten ? Sie sind von entscheidender Bedeutung, wenn Sie Suchmaschinen-Crawlern die Seiten und Abschnitte Ihrer Website mitteilen möchten, die sie crawlen und indizieren sollen.

Auch wenn WordPress standardmäßig eine robots.txt-Datei für Ihre Website generiert, müssen Sie diese möglicherweise dennoch ändern, um zu verwalten, was Suchmaschinen anzeigen können. Wenn Sie mit robots.txt nicht vertraut sind, machen Sie sich keine Sorgen. In diesem Tutorial erklären wir, was robots.txt ist und warum es wichtig ist, es zu bearbeiten, sowie die verschiedenen Möglichkeiten, es auf Ihrer WordPress-Website zu bearbeiten.

Tauchen wir also ein, um zu verstehen, was robots.txt ist.

Was ist Robots.txt?

Robots.txt ist eine reine Textdatei im Stammverzeichnis Ihrer Website, die Anweisungen für Web-Robots oder Bots enthält, welche Seiten oder Bereiche Ihrer Website sie crawlen und indizieren sollen . Die Datei teilt den Suchmaschinen mit, ob die Seiten oder Abschnitte basierend auf den spezifischen Vorschriften der Website indexiert werden sollen oder nicht.

Beispielsweise überprüfen Webcrawler wie Google Webcrawler regelmäßig Websites, um ihren Seitenindex zu aktualisieren. Diese Webcrawler von Google, auch Googlebot genannt, folgen den Anweisungen in der robots.txt-Datei, um die Website zu überprüfen.

Der Hauptzweck der robots.txt-Datei besteht darin, Webmastern dabei zu helfen, zu kontrollieren, auf welche Informationen Suchmaschinen auf ihren Websites zugreifen dürfen. Mithilfe der Datei können Sie verhindern, dass Bots auf bestimmte Websites oder Verzeichnisse zugreifen. Beachten Sie jedoch, dass einige Bots außer Googlebot und anderen bekannten Webcrawlern möglicherweise nicht den Richtlinien in der Datei folgen.

Warum sollten Sie die Datei Robots.txt bearbeiten?

Die Bearbeitung Ihrer robots.txt-Datei in WordPress bietet mehrere Vorteile. Hier einige Überlegungen:

• Blockieren Sie unerwünschte Bots: Einige Bots sind für Ihre Website möglicherweise nicht von Nutzen oder verbrauchen möglicherweise wertvolle Ressourcen auf Ihrem Server. Dies kann zu langsamen Ladezeiten der Website führen und die Leistung Ihrer Website beeinträchtigen. Wenn Sie also Ihre robots.txt-Datei bearbeiten, können Sie unerwünschte Bots daran hindern, Ihre Website zu crawlen, und die Gesamtgeschwindigkeit Ihrer Website verbessern.
• Schützen Sie vertrauliche Informationen: Bestimmte Seiten Ihrer Website können vertrauliche Informationen enthalten, die von Suchmaschinen nicht indiziert werden sollen. Dazu können personenbezogene Daten, vertrauliche Geschäftsinformationen, passwortgeschützte Inhalte oder sogar rechtliche oder Compliance-bezogene Inhalte gehören.
  Sie können verhindern, dass diese Seiten gecrawlt und indiziert werden, indem Sie Ihre robots.txt-Datei bearbeiten. Dies trägt sogar dazu bei, die Privatsphäre und Sicherheit Ihrer Website zu schützen.
• Leiten Sie Bots zu bestimmten Seiten : Sie können robots.txt auch verwenden, um die Bots zu den bestimmten Seiten Ihrer Website zu leiten, die von Suchmaschinen gecrawlt und indiziert werden sollen. Dadurch können Sie die Seiten priorisieren, die Sie in den Suchmaschinenergebnissen höher platzieren möchten.
• Verhindern Sie die Indizierung doppelter Inhalte: Möglicherweise verfügen Sie auf Ihrer Website über Seiten mit ähnlichem Inhalt, z. B. Kategorie- oder Tag-Seiten. Wenn ja, können Sie die robots.txt-Datei verwenden, um zu verhindern, dass Suchmaschinen-Bots sie indizieren. Dies kann dazu beitragen, Probleme mit doppeltem Inhalt zu vermeiden, die sich negativ auf das Suchmaschinenranking Ihrer Website auswirken.

Nachdem Sie nun verstanden haben, was eine robots.txt-Datei ist und warum sie wichtig ist, fahren wir mit dem nächsten Abschnitt fort, in dem wir Ihnen zeigen, wie Sie sie anpassen können.

So bearbeiten Sie Robots.txt in WordPress

Sie können die robots.txt-Datei in WordPress auf drei Arten bearbeiten:

1. Verwendung eines FTP-Clients
2. cPanel
3. Mit einem Plugin

Wir werden jeden dieser Ansätze im Detail durchgehen. Wenn Sie jedoch den FTP-Client oder den cPanel-Ansatz verwenden, müssen Sie zunächst manuell eine robots.txt-Datei erstellen .

WordPress erstellt standardmäßig eine virtuelle robots.txt-Datei, wenn Sie Ihre Website starten. Sie können darauf zugreifen, indem Sie am Ende Ihrer Domain den Pfad „ /robots.txt “ hinzufügen.

Sie können beispielsweise über den Link „https://quadlayers.com/robots.txt“ auf die robots.txt-Datei von QuadLayers zugreifen.

Wir verwenden jedoch nicht die Standarddatei robots.txt. Es wurde bearbeitet, um den spezifischen Anforderungen von QuadLayers gerecht zu werden. Die von WordPress erstellte Standarddatei „robots.txt“ enthält jedoch nur die folgenden Informationen:

 User-Agent: *
Nicht zulassen: /wp-admin/
Erlauben: /wp-admin/admin-ajax.php

Leider können Sie diese Datei nicht bearbeiten, da sie virtuell ist . Um die robots.txt-Datei Ihrer WordPress-Website zu bearbeiten, müssen Sie eine manuell erstellen.

Dazu können Sie mit einem beliebigen Texteditor eine leere Datei erstellen und diese unter dem Namen „ robots.txt “ speichern.

Wenn Sie alternativ ein SEO-Plugin zum Bearbeiten der Datei verwenden möchten, kann dies automatisch über das Plugin erfolgen. Wir werden dies später in diesem Leitfaden erfahren.

Dennoch muss Ihre robots.txt-Datei die gleichen Informationen enthalten, egal welchen Ansatz Sie verwenden. Schauen wir uns also an, was auch in der robots.txt-Datei enthalten sein muss.

Was soll in die Robots.txt-Datei aufgenommen werden?

Um sicherzustellen, dass Suchmaschinen Ihre Website ordnungsgemäß indizieren, finden Sie hier einige Codebefehle oder Anweisungen, die Sie in Ihre robots.txt-Datei einfügen können:

• Benutzeragent: Dies identifiziert die Suchmaschine oder den Bot, für den die Anweisungen gelten. Abhängig von den Bots, die Sie steuern möchten, können Sie einen oder mehrere Benutzeragenten in Ihre robots.txt-Datei aufnehmen. „User-agent: Googlebot“ bezieht sich beispielsweise auf den Webcrawler von Google.
• Disallow: Diese Anweisung teilt den Bots mit, welche Seiten oder Verzeichnisse die Suchmaschinen-Bots nicht crawlen oder indizieren sollen. Sie können einzelne Seiten oder ganze Verzeichnisse angeben. Beispielsweise würde „Disallow: /wp-admin/“ alle Bots daran hindern, Seiten im WordPress-Administratorverzeichnis zu crawlen.
• Sitemap: Diese Anweisung teilt den Bots mit, wo sie die Sitemap-Datei Ihrer Website finden können. Die Sitemap-Datei listet alle Seiten Ihrer Website auf, die von Suchmaschinen indiziert werden sollen.

Sie können auch die Direktive „ allow “ in der robots.txt-Datei verwenden. Es teilt den Bots mit, welche Seiten oder Verzeichnisse sie crawlen oder indizieren sollen. Bedenken Sie jedoch, dass es optional ist und nur bei Bedarf verwendet werden sollte.

Hier ist ein Beispiel einer einfachen robots.txt-Datei:

 User-Agent: *
Nicht zulassen: /wp-admin/
Nicht zulassen: /wp-includes/
Sitemap: https://www.example.com/sitemap.xml

In diesem Beispiel ist der User-Agent auf „*“ gesetzt, was bedeutet, dass die Anweisungen für alle Bots gelten. Die „disallow“-Anweisung verhindert, dass Bots den WordPress-Administrator und die „wp-include“-Verzeichnisse crawlen. Ebenso gibt die Sitemap-Direktive den Speicherort der Sitemap-Datei an.

Nachdem Sie nun ein grundlegendes Verständnis davon haben, was in die robots.txt-Datei aufgenommen werden soll, können Sie alle Webseiten hinzufügen, die die Bots nicht crawlen oder indizieren sollen. Speichern Sie abschließend die Datei.

1) Bearbeiten Sie Robots.txt mit einem FTP-Client

Um robots.txt in WordPress mit einem FTP-Client zu bearbeiten, müssen Sie einen FTP-Client installieren und Ihre Website verbinden. Es gibt viele FTP-Clients wie FileZilla und Cyberduck, die Sie für diese Methode verwenden können. Für dieses Tutorial verwenden wir jedoch FileZilla .

1.1) Verbinden Sie Ihre WordPress-Website mit FTP

Nachdem Sie den FTP-Client installiert haben, öffnen Sie die Anwendung und gehen Sie zu Datei > Site Manager . Sie können den Site-Manager auch öffnen, indem Sie Strg+S auf Ihrer Tastatur drücken.

Klicken Sie dann auf „Neue Website“ und geben Sie unter „Meine Websites“ den Namen Ihrer Website ein.

Öffnen Sie nun die Registerkarte „Allgemein“ und geben Sie Ihre Site-Anmeldeinformationen ein. Die Zugangsdaten zum Verbinden Ihrer Website mit FileZilla erhalten Sie von Ihrem Hosting-Dienst.

Nachdem Sie die Anmeldeinformationen eingegeben haben, klicken Sie auf „Verbinden“ .

Sie können von Ihrem Computer aus auf das Dateiverzeichnis der Site zugreifen, nachdem die Site verbunden ist. Lassen Sie uns also loslegen und die robots.txt-Datei von Ihrem Computer auf Ihre Website hochladen.

1.2) Laden Sie die Robots.txt-Datei in WordPress hoch

Sobald Sie Ihre Website mit dem FTP-Client verbunden haben, müssen Sie zum Stammverzeichnis Ihrer Website navigieren , da sich dort die robots.txt-Datei befinden sollte.

Die Root-Datei wird auch als „ public_html “-Datei bezeichnet.

Sie können die kürzlich erstellte robots.txt-Datei hier hochladen . Wenn in dieser Datei bereits eine robots.txt-Datei vorhanden ist, ersetzen Sie sie.

Das ist es!

Jetzt müssen Sie nur noch die robots.txt-Datei testen, indem Sie den Pfad „/robots.txt“ am Ende der Domain hinzufügen, so wie wir es Ihnen in den vorherigen Beispielen gezeigt haben.

2) Bearbeiten Sie Robots.txt mit cPanel

Das Bearbeiten der robots.txt-Datei mit cPanel ähnelt stark dem FTP-Client-Ansatz. Zuerst müssen Sie sich beim cPanel Ihrer Website anmelden . Auch hier sollten alle erforderlichen Anmeldeinformationen bereits von Ihrem Hosting-Dienst bereitgestellt worden sein.

Nachdem Sie sich beim cPanel angemeldet haben, scrollen Sie zum Abschnitt „Dateien“ und klicken Sie auf „Dateimanager“ .

Navigieren Sie dann zum Dateiverzeichnis „ public_html “ und laden Sie die kürzlich erstellte robots.txt-Datei hier hoch . Auch hier gilt: Wenn hier bereits eine robots.txt-Datei vorhanden ist, müssen Sie diese durch die neu bearbeitete ersetzen.

Testen Sie abschließend Ihre robots.txt-Datei, indem Sie den Pfad „/robots.txt“ am Ende Ihrer Domain hinzufügen.

3) Bearbeiten Sie Robots.txt mit einem Plugin

Wenn Sie sich viel Zeit und Ärger bei der Bearbeitung der robots.txt-Seite ersparen möchten, können Sie auch ein Plugin verwenden. Mehrere SEO-Plugins wie Yoast SEO, All in One SEO und Rank Math SEO ermöglichen Ihnen das Erstellen und Bearbeiten der robots.txt-Datei.

Sie können sich unsere vollständige Liste der besten WordPress-SEO-Plugins ansehen, wenn Sie weitere Informationen benötigen, die Ihnen bei der Entscheidung für das Plugin helfen, das Sie verwenden möchten.

Für diese Demonstration verwenden wir jedoch das SEO-Plugin Rank Math . Es ist eines der beliebtesten SEO-Plugins und verfügt über eine sehr einfache Oberfläche zum Bearbeiten der robots.txt-Datei. Beginnen wir also mit der Installation des Plugins.

3.1) Installieren und aktivieren Sie das Plugin

Um das Plugin zu installieren, müssen Sie in Ihrem WordPress-Dashboard zu Plugins > Neu hinzufügen gehen und zunächst nach den Schlüsselwörtern des Plugins suchen. Wenn Sie das Plugin in den Suchmaschinen sehen, klicken Sie auf Jetzt installieren . Die Installation dauert nur wenige Augenblicke.

Sobald die Installation abgeschlossen ist, klicken Sie auf Aktivieren , um das Plugin zu aktivieren.

Wenn Sie eines der Premium-Plugins verwenden möchten, müssen Sie es manuell hochladen. Weitere Informationen finden Sie in unserer ausführlichen Anleitung zur manuellen Installation eines WordPress-Plugins.

Sollten Sie außerdem beim Einrichten von Rank Math SEO auf Probleme stoßen, haben wir sogar eine spezielle Anleitung zum Einrichten von Rank Math.

3.2) Bearbeiten Sie die Robots.txt-Datei

Nachdem das Plugin aktiviert wurde, gehen Sie in Ihrem WordPress-Dashboard zu Rank Math > Allgemeine Einstellungen und wählen Sie die Registerkarte „Robots.txt-Datei bearbeiten“ . Sie können sehen, dass das Plugin in diesem Abschnitt einen Texteditor bereitgestellt hat, mit dem Sie die robots.txt-Datei bearbeiten können.

Hier müssen Sie alle Codes und Befehle hinzufügen, je nachdem, welche Webseiten die Bots crawlen und indizieren sollen. Wenn Sie dabei Hilfe benötigen, haben wir in diesem Tutorial in einem der vorherigen Schritte alle notwendigen Richtlinien bereitgestellt.

Nachdem Sie alle erforderlichen Befehle und Anweisungen für die robots.txt-Datei hinzugefügt haben, klicken Sie auf Änderungen speichern .

Großartig! Wenn Sie nun den Pfad „/robots.txt“ am Ende der Domain hinzufügen, sehen Sie, dass die Datei entsprechend aktualisiert wurde. Daher durchsuchen die Suchmaschinen-Bots nur die Webseiten, die Sie basierend auf der robots.txt-Datei zugelassen haben.

Abschluss

So können Sie die robots.txt-Datei in WordPress erstellen und bearbeiten . Dies ist unbedingt erforderlich, wenn Sie nicht möchten, dass die Suchmaschinen-Bots sensible oder doppelte Inhalte Ihrer Website durchsuchen. Die robots.txt-Datei kann auch verwendet werden, um die Bots anzuweisen, bestimmte Seiten Ihrer Website zu crawlen und zu indizieren.

Zusammenfassend lässt sich sagen, dass Sie die robots.txt-Datei auf drei Arten bearbeiten können:

• Verwendung eines FTP-Clients
• cPanel
• Mit einem Plugin

Die Verwendung des FTP-Clients und cPanel sind sehr ähnlich . Sie müssen sich lediglich beim cPanel anmelden oder Ihre Website mit dem FTP-Client verbinden und die robots.txt-Datei hochladen. Anschließend müssen Sie die robots.txt-Datei hochladen, die Sie zuvor manuell erstellt haben.

Andererseits wird die robots.txt-Datei automatisch zu Ihrer Website hinzugefügt, wenn Sie ein Plugin verwenden . Die Plugins bieten sogar einen Texteditor, der Sie beim Bearbeiten der robots.txt-Datei unterstützt.

Können Sie jetzt die robots.txt-Datei für Ihre Website bearbeiten? Teilen Sie uns in den Kommentaren mit, ob Sie es schon einmal probiert haben.

Wenn Sie diesen Artikel inzwischen hilfreich fanden, finden Sie hier einige weitere Beiträge, die Sie zum Anpassen oder Verbessern Ihrer WordPress-Website verwenden können:

• So verbessern Sie WordPress SEO: 9 Möglichkeiten
• Beste WordPress SSL-Plugins (kostenlos und kostenpflichtig)
• So fügen Sie Meta-Beschreibungen in WordPress hinzu