So entfernen Sie Robots.txt aus WordPress

Möchten Sie robots.txt aus WordPress entfernen ? Die robots.txt-Datei ist wichtig, um zu verhindern, dass Suchmaschinen-Bots bestimmte Seiten Ihrer Website indizieren. Wenn es jedoch nicht richtig konfiguriert ist, kann dies zu Problemen auf Ihrer Website führen, sodass Sie es möglicherweise entfernen müssen.

Bevor wir uns also mit dem Entfernungsprozess befassen, müssen Sie die robots.txt-Datei besser verstehen und wissen, warum Sie sie möglicherweise entfernen müssen.

Was ist Robots.txt?

Die robots.txt ist eine Datei Ihrer WordPress-Website, die die Richtlinien für die Suchmaschinen-Bots enthält, welche Bereiche oder Seiten Ihrer Website indiziert und gecrawlt werden sollen . Außerdem informiert es die Suchmaschinen anhand spezifischer Regeln und Anweisungen darüber, ob die Seiten und Abschnitte Ihrer Website indexiert werden sollen.

Betrachten wir ein Beispiel aus der Praxis: Die Webcrawler von Google, auch bekannt als Googlebot, analysieren regelmäßig Websites, um ihren Seitenindex auf dem neuesten Stand zu halten. Diese Webcrawler folgen beim Scannen der Website den Anweisungen in der robots.txt-Datei. Anschließend indizieren und crawlen sie die Seiten und Bereiche Ihrer Website gemäß den in der robots.txt-Datei genannten Richtlinien.

Auf die gleiche Weise indizieren und crawlen die Suchmaschinen-Bots aller anderen bekannten Webcrawler Ihre Website mithilfe der robots.txt-Datei. Die Datei ist praktisch, um Bots den Zugriff auf bestimmte Website-Bereiche, Seiten oder Verzeichnisse zu verweigern. Gleichzeitig kann es jedoch in manchen Fällen von Vorteil sein, die robots.txt-Datei von Ihrer WordPress-Website zu entfernen oder zu deaktivieren.

Warum sollten Sie Robots.txt aus WordPress entfernen?

Es gibt viele Gründe, darüber nachzudenken, die robots.txt-Datei von Ihrer WordPress-Website zu entfernen oder zu deaktivieren. Hier sind einige davon:

• Unbeabsichtigte Einschränkungen: Die robots.txt-Datei kann manchmal Regeln enthalten, die Suchmaschinen-Crawlern unbeabsichtigt den Zugriff auf wichtige Seiten oder Abschnitte Ihrer Website verwehren. Dies kann sich negativ auf die Sichtbarkeit Ihrer Website in den Suchmaschinenergebnissen auswirken und sich auf das Ranking Ihrer Website auswirken.
• Entwicklungs- oder Staging-Sites: Wenn Sie eine Entwicklungs- oder Staging-Site zu Testzwecken haben, möchten Sie möglicherweise nicht, dass Suchmaschinen diese Sites indizieren. Wenn Sie also die robots.txt-Datei entfernen, können Sie sicherstellen, dass die Suchmaschinen-Crawler diese Websites nicht indizieren oder in den Suchergebnissen anzeigen. Dadurch können Sie sich während des frühen Entwicklungs- und Testprozesses auf das Testen und Verfeinern Ihrer Website konzentrieren, ohne das Risiko einzugehen, dass sie für die Benutzer öffentlich sichtbar ist.
• Verbesserte Indizierung: Suchmaschinen-Crawler können frei auf die Seiten und Inhalte Ihrer Website zugreifen und diese indizieren, wenn Sie die robots.txt-Datei entfernen. So können sie eine größere Bandbreite an Inhalten Ihrer Website entdecken und in ihren Index aufnehmen. Dies kann von Vorteil sein, wenn Sie eine maximale Sichtbarkeit und Auffindbarkeit des Inhalts Ihrer Website gewährleisten möchten.
• Plugin-Konflikte: Konflikte zwischen bestimmten Plugins Ihrer WordPress-Website und der robots.txt-Datei können manchmal zu unerwarteten Problemen oder Fehlern führen. Das Entfernen der robots.txt-Datei kann also dazu beitragen, solche Konflikte zu lösen und das reibungslose Funktionieren Ihrer WordPress-Site sicherzustellen.

Es ist jedoch wichtig zu beachten, dass das Entfernen der robots.txt-Datei keine leichtfertige Entscheidung ist und normalerweise nicht empfohlen wird . Berücksichtigen Sie die Auswirkungen und konsultieren Sie einen Experten, bevor Sie fortfahren, wenn Sie sich über die Auswirkungen auf die SEO-Leistung Ihrer Website nicht sicher sind.

So entfernen Sie Robots.txt aus WordPress

Sie können die robots.txt-Datei auf zwei Arten aus WordPress entfernen oder deaktivieren:

1. Verwendung eines FTP-Clients
2. cPanel

Wir gehen diese Methoden im Detail durch und geben Ihnen eine Schritt-für-Schritt-Anleitung zum Entfernen von robots.txt aus WordPress. Beide Wege sind einander ähnlich. Sie müssen jedoch zuerst auf das FTP oder das cPanel Ihrer Website zugreifen.

Hinweis: Bevor Sie die robots.txt-Datei von Ihrer Website entfernen, stellen Sie bitte sicher, dass Sie eine Kopie davon erstellen. Anschließend können Sie die Originaldatei erneut auf Ihre Website hochladen, falls Sie während des Vorgangs unbeabsichtigte Änderungen vornehmen, die zu Fehlern oder Bugs führen können.

1. Entfernen Sie Robots.txt mit dem FTP-Client

Die Verwendung eines FTP-Clients zum Entfernen von robots.txt von Ihrer WordPress-Website ist einfach. Sie können mit einem FTP-Client wie FileZilla oder Cyberduck auf FTP für WordPress zugreifen. Anschließend können Sie damit beginnen, die Dateien Ihrer Website zu bearbeiten.

Für dieses Tutorial verwenden wir den FTP-Client FileZilla , den Sie von der Website herunterladen und auf Ihrem Computer installieren können. Es steht Ihnen jedoch frei, jeden beliebigen FTP-Client zu verwenden. Die Schritte sind untereinander nahezu identisch.

Nachdem Sie den FTP-Client installiert haben, müssen Sie Ihre Website mit dem FTP-Client verbinden. Öffnen Sie also die FileZilla-Anwendung auf Ihrem Computer und gehen Sie in der oberen linken Ecke der Menüleiste auf Datei > Site-Manager . Sie können auch die Tastenkombination Strg+S auf Ihrer Tastatur verwenden, um auf den Site-Manager zuzugreifen.

Klicken Sie dann auf „Neue Website“ und geben Sie unter „Meine Websites“ den Namen Ihrer Website ein.

Öffnen Sie nun die Registerkarte „Allgemein“ auf der rechten Seite Ihres Bildschirms, wo Sie die Anmeldeinformationen eingeben müssen, um Ihre Site mit dem FTP-Client zu verbinden. Wenn Sie nicht über die erforderlichen Anmeldeinformationen verfügen, können Sie diese bei Ihrem Hosting-Anbieter anfordern.

Nachdem Sie die Anmeldeinformationen eingegeben haben, klicken Sie auf „Verbinden“ .

Sie haben nun Zugriff auf das Dateiverzeichnis Ihrer Website, aus dem Sie die robust.txt-Datei Ihrer WordPress-Website entfernen können. Die robots.txt-Datei befindet sich im Stammverzeichnis Ihrer Website, auch „ public_html “-Ordner genannt. Sie können mit dem Filezilla Explorer dorthin navigieren.

Sobald Sie die Datei „robots.txt“ gefunden haben, klicken Sie mit der rechten Maustaste auf die Datei und wählen Sie „Löschen“ aus.

Das ist es! Sie haben die robots.txt-Datei erfolgreich von Ihrer WordPress-Website entfernt.

2. Entfernen Sie Robots.txt aus cPanel

Wenn Sie einen direkteren Ansatz zum manuellen Entfernen der robots.txt-Datei von Ihrer WordPress-Website wünschen, können Sie das cPanel verwenden. Sie müssen sich lediglich über den von Ihrem Hosting-Anbieter bereitgestellten Link bei Ihrem cPanel-Konto anmelden . Auch hier können Sie sich an Ihren Hosting-Anbieter wenden, wenn Sie nicht über die erforderlichen Anmeldeinformationen und Details verfügen.

Nachdem Sie sich beim cPanel angemeldet haben, scrollen Sie zum Abschnitt „Dateien“ und klicken Sie auf „Dateimanager“ . Sie können nun auf alle Dateien Ihrer WordPress-Website zugreifen.

Navigieren Sie dann zum Stammverzeichnis oder zum Ordner „ public_html “, da sich die robots.txt-Datei hier befindet. Wählen Sie nun die robots.txt-Datei aus und klicken Sie in der Menüleiste des Dateimanagers auf Löschen.

Großartig! Ihre robots.txt-Datei ist jetzt von Ihrer WordPress-Website entfernt.

Wie deaktiviere ich Robots.txt in WordPress?

Die oben genannten Ansätze können Ihnen dabei helfen , die robots.txt-Datei von Ihrer WordPress-Website zu entfernen . Dies wird jedoch normalerweise nicht empfohlen, da die Datei für Ihre SEO sehr wichtig ist. Wenn Sie also eine sicherere Option wünschen, können Sie die robots.txt-Datei auf Ihrer WordPress-Website deaktivieren .

Dadurch ist die robots.txt-Datei in Ihrem Website-Dateiverzeichnis vorhanden, auch wenn es für die Suchmaschinen-Bots keine Einschränkungen beim Crawlen und Indexieren Ihrer Website gibt. Es gibt mehrere Möglichkeiten, die robots.txt-Datei in WordPress zu deaktivieren. Sie können dies direkt über das WordPress-Dashboard tun oder die Datei manuell über ein Plugin, FTP oder cPanel bearbeiten.

1. Deaktivieren Sie Robots.txt im WordPress-Dashboard

Es ist ganz einfach, die robots.txt-Datei in Ihrem WordPress-Dashboard zu deaktivieren. Alles, was Sie tun müssen, ist, in Ihrem WordPress-Dashboard zu Einstellungen > Lesen zu gehen, die Option „Suchmaschinensichtbarkeit“ zu deaktivieren und die Änderungen zu speichern .

Dadurch wird der gesamte Inhalt der robots.txt-Datei auf Ihrer WordPress-Website entfernt und wie folgt geändert:

 User-Agent: *
Nicht zulassen:

Dadurch wird verhindert, dass Suchmaschinen Ihre Website indizieren. Die Entscheidung, dieser Bitte nachzukommen, liegt jedoch bei den Suchmaschinen.

2. Deaktivieren Sie Robots.txt mithilfe eines Plugins

Sie können die robots.txt-Datei auch mithilfe eines Plugins bearbeiten und deaktivieren, wenn Sie bereits ein SEO-Plugin von Ihrer WordPress-Website verwenden. Dies kann viel Zeit sparen, wenn Sie nicht möchten, dass die Suchmaschinen-Bots Ihre Website mithilfe der robots.txt-Datei indizieren.

Mit mehreren WordPress-SEO-Plugins können Sie die robots.txt-Datei bearbeiten und deaktivieren. Für diese Demonstration verwenden wir jedoch das Rank Math SEO- Plugin.

Es verfügt über eine sehr einfache Oberfläche zum Bearbeiten der robots.txt-Datei. Dies macht es sehr einfach, den Inhalt der robots.txt-Datei Ihrer WordPress-Website zu bearbeiten und zu entfernen, um sie zu deaktivieren.

Wenn Sie ein anderes SEO-Plugin verwenden möchten, können Sie dies tun. Die Schritte sind bei jedem Plugin sehr ähnlich. Sie müssen das Plugin also installieren und aktivieren, bevor Sie es verwenden können.

2.1. Installieren und aktivieren Sie das Plugin

Um das Plugin zu installieren, gehen Sie in Ihrem WordPress-Dashboard zu Plugins > Neu hinzufügen und suchen Sie nach den Schlüsselwörtern des Plugins. Sobald es in den Suchergebnissen angezeigt wird, klicken Sie auf Jetzt installieren .

Die Installation ist in wenigen Sekunden abgeschlossen. Klicken Sie dann auf Aktivieren , um das Plugin zu aktivieren.

Sie können das Plugin auch manuell hochladen und installieren, wenn Sie Premium-SEO-Plugins verwenden möchten. Bitte schauen Sie sich unsere Anleitung zur manuellen Installation eines WordPress-Plugins an, wenn Sie Hilfe benötigen.

2.2. Bearbeiten und deaktivieren Sie die Datei „Robots.txt“.

Nachdem Sie das Plugin aktiviert haben, gehen Sie in Ihrem WordPress-Dashboard zu Rank Math > Allgemeine Einstellungen und öffnen Sie die Registerkarte „Robots.txt- Datei bearbeiten“ . Auf diese Weise können Sie die Codes und Anweisungen bearbeiten, die Sie in Ihre robots.txt-Datei aufnehmen möchten. Das Plugin bietet hier sogar einen Texteditor, mit dem Sie Codes und Anweisungen zu Ihrer robots.txt-Datei hinzufügen oder entfernen können.

Wenn Sie diese Datei zuvor bearbeitet haben, werden hier möglicherweise mehrere Anweisungen angezeigt, je nachdem, welche Seiten die Suchmaschinen-Bots nicht crawlen und indizieren sollen. Wenn es sich hingegen um die von WordPress erstellte Standarddatei „robots.txt“ handelt, werden die folgenden Details angezeigt:

 User-Agent: *
Nicht zulassen: /wp-admin/
Erlauben: /wp-admin/admin-ajax.php

Hier müssen Sie lediglich alle zusätzlichen Codes in der robots.txt-Datei entfernen und die Datei mit den folgenden Anweisungen belassen:

 User-Agent: *
Nicht zulassen:

Nachdem Sie die obige Anweisung hinzugefügt haben, klicken Sie auf Änderungen speichern .

Das ist es! Sie haben die robots.txt-Datei mithilfe eines Plugins erfolgreich deaktiviert.

3. Deaktivieren Sie Robots.txt mit dem FTP-Client oder cPanel

Die robots.txt-Datei kann auch über einen FTP-Client oder cPanel deaktiviert werden. Für diesen Ansatz müssen Sie keine Inhalte der robots.txt-Datei von Ihrer WordPress-Website entfernen. Sie müssen jedoch mit einem beliebigen Texteditor eine neue robots.txt-Datei erstellen und nur die folgenden Anweisungen hinzufügen :

 User-Agent: *
Nicht zulassen:

Stellen Sie sicher, dass Sie die Datei als „ robots.txt “ speichern.

Jetzt müssen Sie nur noch die neu erstellte robots.txt-Datei über einen FTP-Client oder cPanel hochladen und durch die ältere ersetzen.

Wenn Sie FTP verwenden möchten, können Sie Ihre Website zunächst mithilfe der in dieser Anleitung genannten Schritte mit dem FTP-Client verbinden . Laden Sie dann die neue robots.txt-Datei in das Stammverzeichnis oder den Ordner „ public_html “ hoch .

Wenn Sie cPanel zum Deaktivieren der robots.txt-Datei verwenden möchten, können Sie sich zunächst bei Ihrem cPanel-Konto anmelden und das Dateiverzeichnis öffnen . Sie können den Schritten aus dem Abschnitt „Robots.txt aus cPanel entfernen“ dieser Anleitung folgen. Navigieren Sie dann zum Ordner „ public_html “ und laden Sie die neu erstellte robots.txt-Datei hier hoch .

Wenn Sie Hilfe beim Bearbeiten dieser Datei benötigen, schauen Sie sich unsere ausführliche Anleitung zum Bearbeiten von robots.txt in WordPress an.

Abschluss

Dies sind die verschiedenen Methoden, mit denen Sie die robots.txt-Datei von Ihrer WordPress-Website deaktivieren oder entfernen können. Dies kann nützlich sein, wenn aufgrund der robots.txt-Datei Probleme auf Ihrer Website auftreten. Das Entfernen kann auch für Sie von Vorteil sein, wenn sich Ihre Website im Entwicklungsstadium befindet oder Sie eine erweiterte Indizierung insgesamt wünschen.

Zusammenfassend lässt sich sagen, dass Sie die robots.txt-Datei auf zwei Arten vollständig von Ihrer WordPress-Website entfernen können:

• Verwendung eines FTP-Clients
• cPanel

Beide Ansätze sind sehr effektiv beim Entfernen der robots.txt-Datei von Ihrer Website. Da dies jedoch normalerweise nicht empfohlen wird, können Sie es auch deaktivieren, wenn Sie sicherer sein möchten. Sie können es über das WordPress-Dashboard deaktivieren oder mit einem Plugin, FTP oder cPanel bearbeiten.

Können Sie die robots.txt-Datei jetzt entfernen oder deaktivieren? Teilen Sie uns bitte mit, ob Sie es schon einmal probiert haben.

In der Zwischenzeit finden Sie hier einige weitere Anleitungen, die Ihnen bei der Anpassung oder Verbesserung Ihrer WordPress-Website helfen können:

• Wie richtet man Rank Math SEO ein? Der richtige Weg!
• Entfernen Sie Yoast SEO aus der Datenbank in WordPress
• So verbessern Sie WordPress SEO