So halten Sie Suchmaschinen davon ab, Ihre WordPress-Site zu indizieren

Suchmaschinen verwenden Crawler oder andere Webroboter, um Ihre Website zu crawlen und zu indizieren. Für viele Website-Eigentümer ist die Indexierung ihrer Website-Inhalte sehr wichtig, um ihre Online-Sichtbarkeit und damit den Traffic auf ihren Websites zu erhöhen. Es gibt jedoch Fälle, in denen Sie nicht möchten, dass Ihre Website indiziert wird. Diese Gründe können Sie tatsächlich dazu bringen, darüber nachzudenken, wie Sie Suchmaschinen davon abhalten können, Ihre Website zu indizieren.

Sie können verhindern, dass eine Ressource oder Seite Ihrer Website in der Google-Suche angezeigt wird. In diesem Artikel werden wir untersuchen, wie Sie Suchmaschinen davon abhalten können, Ihre Website zu indizieren.

Inhaltsverzeichnis

Indizierung vs. Auflistung in Google

Gründe, warum Sie Suchmaschinen daran hindern sollten, Ihre Website zu indizieren

Wie Sie Suchmaschinen daran hindern, Ihre Website zu crawlen und zu indizieren

• Über das standardmäßige WordPress Search Engine Visibility Checkbox
• Ändern der Robots.txt-Datei
• Passwortschutz für Ihre Website

Entfernen einer Website aus der Google-Suche

Fazit

Indizierung vs. Auflistung in Google

Indizierung

Indexierung ist der Vorgang des Sammelns und Herunterladens von Seiteninhaltsdaten auf den Suchmaschinenserver und das anschließende Speichern der Daten durch Hinzufügen zu seiner zentralen Datenbank (Index).

Dem Indexierungsprozess geht Crawling voraus, wobei Suchmaschinen dazu neigen, das Web zu scannen, um neue oder aktualisierte Inhalte zu identifizieren. Dieser Inhalt wird wiederum für die Indizierung verwendet.

Durch die Indizierung können Daten, die für Suchanfragen relevant sind, viel schneller wiedergegeben werden, da der Inhalt organisiert ist, im Vergleich zum Durchsuchen aller Inhalte durch Ausführen mehrerer Abfragen.

Auflistung

Die Auflistung umfasst hauptsächlich die Darstellung Ihrer Website in den Suchmaschinen-Ergebnisseiten (SERPs).

Wenn eine Website in den Suchmaschinen-Ergebnisseiten angezeigt wird, bedeutet dies, dass eine solche Website indexiert ist. Unten ist ein Beispiel-Screenshot dazu:

Die Indizierung bedeutet jedoch nicht unbedingt, dass Ihre Website in den SERPs aufgeführt wird.

Es ist auch wichtig zu beachten, dass eine Website nicht indexiert werden muss, damit sie gelistet wird. Wenn Links auf die Website-Domain oder andere Website-Inhalte verweisen, wird Google dies verwenden.

Gründe, warum Sie Suchmaschinen daran hindern sollten, Ihre Website zu indizieren

1. Beim Erstellen einer Entwicklungswebsite

Als Websitebesitzer möchten Sie Ihre Website in den meisten Fällen zuerst in einer Entwicklungsumgebung erstellen, bevor Sie die endgültige Website in die Produktion bringen.

Sie möchten jedoch nicht, dass die Inhalte Ihrer Entwicklungsseite von Google indexiert werden, was wiederum zu einer Konkurrenz Ihrer Produktionsseite führen würde. In diesem Fall müssten Sie die Indizierung auf Ihrer Entwicklungswebsite deaktivieren, um ein solches Szenario zu vermeiden.

2. Private Inhalte

Wenn Ihre Website private Inhalte enthält, die für Suchmaschinen nicht zugänglich sein sollen, können Sie die Indexierung einer solchen Website verhindern.

Ein Beispiel für ein solches Szenario könnte sein, wenn Sie Webseiten haben, die nur zugänglich sein sollen, wenn ein Benutzer ein Abonnement hat oder nur wenn ein Benutzer angemeldet ist. Solche Inhalte sollten nicht für die Indexierung bereitgestellt werden.

3. Gehackte / kompromittierte Inhalte

In einem Szenario, in dem Ihre Website gehackt und dadurch kompromittiert wird, stellt dies eine Sicherheitsbedrohung für die Benutzer Ihrer Website dar, insbesondere wenn es um E-Commerce-Websites geht.

Um solche Risiken zu reduzieren, wäre es angebracht, die Website zu deindexieren oder sogar zu löschen.

4. Doppelte Inhalte

Manchmal haben Sie möglicherweise doppelte Inhalte auf Ihrer Website, insbesondere wenn es um E-Commerce-Websites geht, auf denen Produktseiten ähnlich erscheinen können. Doppelte Inhalte auf Ihrer Website können jedoch tatsächlich zu einer Abstrafung durch Google führen.

Es ist daher wichtig, doppelte Inhalte auf Ihrer Website zu deindexieren, um nicht bestraft zu werden.

5. Veraltete Inhalte

In manchen Fällen kann es vorkommen, dass Ihre Website veraltete Informationen wiedergibt und die Suchergebnisse daher diese Informationen enthalten. Solche Informationen können wiederum für Website-Besucher irreführend sein.

Es wäre daher großartig, Suchmaschinen davon abzuhalten, solche Inhalte in solchen Situationen zu indizieren.

6. Durchgesickerte Informationen

Wenn Inhalte vorzeitig der Öffentlichkeit zugänglich gemacht werden, müssen Sie Suchmaschinen davon abhalten, solche Inhalte zu indizieren, oder die Veröffentlichung der Website rückgängig machen. Dies hilft dabei, diesen Inhalt unzugänglich zu machen.

7. Schädlicher Inhalt

In Situationen, in denen Sie möglicherweise Inhalte haben, die Ihrer Website schaden könnten, können Sie erwägen, die Website zu deindexieren. Dies könnte beispielsweise der Fall sein, wenn Ihre Website gehackt und mit schädlichen Informationen versehen wurde.

Wie Sie Suchmaschinen daran hindern, Ihre Website zu crawlen und zu indizieren

Es gibt mehrere Möglichkeiten zu prüfen, ob Sie Suchmaschinen davon abhalten möchten, Ihre Website zu crawlen und zu indizieren. Wir werden uns einige dieser Möglichkeiten der Reihe nach ansehen und untersuchen, wie jeder von ihnen dabei hilft, dies zu erreichen.

Über das standardmäßige WordPress Search Engine Visibility Checkbox

Mit dieser Methode können Sie Suchmaschinen davon abhalten, Ihre Website direkt vom WordPress-Dashboard aus zu crawlen. Um es implementieren zu können, müssen Sie:

i) Melden Sie sich mit einem Administratorkonto bei Ihrem WordPress-Dashboard an

ii) Navigieren Sie in Ihrem WordPress-Dashboard zum Abschnitt Einstellungen > Lesen

iii) Aktivieren Sie im Abschnitt „Suchmaschinensichtbarkeit“ die Option „Suchmaschinen davon abhalten, diese Website zu indizieren“.

iv) Speichern Sie Ihre Änderungen

Sobald dies ausgeführt wurde, wird der folgende Code zu Ihrem Website-Header hinzugefügt:

 <meta name="robots" content="noindex, nofollow">

Die robots.txt-Datei wird auch wie folgt geändert:

 User-agent: * Disallow: /

Dies wird dazu beitragen, Suchmaschinen davon abzuhalten, Ihre Website zu indizieren. Es ist jedoch wichtig zu beachten, dass diese Änderungen zwar dazu beitragen, Site-Engines davon abzuhalten, Ihre Website zu indizieren, es aber Sache der einzelnen Suchmaschinen ist, der Anfrage nachzukommen oder nicht.

Ändern der Robots.txt-Datei (manuell)

Ähnlich wie bei der obigen Methode wird dies als manueller Ansatz zum Ändern der robots.txt-Datei angesehen.

Um dies zu erreichen, müssen Sie:

i) Greifen Sie über eine FTP-Software wie Filezilla auf Ihre Site-Dateien zu

ii) Suchen Sie im Stammverzeichnis Ihrer Website-Dateien nach der robots.txt-Datei. In den meisten Fällen befindet sich dies im Ordner public_html.

Wenn Sie die Datei nicht zu verfolgen scheinen, können Sie erwägen, eine zu erstellen.

iii) Fügen Sie der Datei den folgenden Code hinzu:

 User agent: * Disallow: /

iv) Speichern Sie Ihre Änderungen

Sie können die Indizierung auch auf bestimmten Seiten verbieten, indem Sie das Unterverzeichnis und den Slug im Abschnitt Disallow: hinzufügen. Ein Beispiel dazu wäre:

 User agent: * Disallow /blog/this-is-a-link-to-our-website

Passwortschutz für Ihre Website

Suchmaschinen sind nicht in der Lage, passwortgeschützte Websites zu crawlen, da sie keinen Zugriff darauf haben. Dies macht den Passwortschutz Ihrer Website zu einem der geeignetsten Ansätze, um die Indexierung Ihrer Website zu verhindern.

Der Passwortschutz Ihrer Website kann über verschiedene Ansätze erreicht werden:

i) Passwortschutz über Ihr Hosting-Kontrollfeld

ii) Verwendung eines Passwortschutz-Plugins

Passwortschutz über Ihr Hosting-Kontrollfeld

Verschiedene Hosting-Control-Panels haben unterschiedliche Schritte bei der Implementierung des Passwortschutzes innerhalb einer Website. In unserem Fall verwenden wir hier ein Beispiel von cPanel.

Um Ihre Website über cPanel mit einem Passwort zu schützen, müssen Sie Folgendes tun:

i) Melden Sie sich bei Ihrem cPanel-Konto an

ii) Navigieren Sie zum Abschnitt „Dateien“ und wählen Sie „Verzeichnisdatenschutz“.

iii) Wählen Sie das Stammverzeichnis Ihrer Sites aus. In unserem Fall hier ist dies public_html / buddybuilder

iv) Klicken Sie daneben auf die Aktion „Bearbeiten“.

v) Aktivieren Sie die Option „Passwortschutz für dieses Verzeichnis“ und speichern Sie Ihre Änderungen

vi) Kehren Sie zum vorherigen Schritt zurück, indem Sie auf den Link „Zurück“ klicken und im neuen Abschnitt „Benutzer erstellen“ ein neues Benutzerkonto einrichten, das für den Zugriff auf die Website verwendet werden soll.

Sobald dies geschehen ist, werden Suchmaschinen nicht mehr in der Lage sein, Ihre Website zu crawlen.

Verwendung eines Passwortschutz-Plugins

Bei dieser Option können Sie die Verwendung des passwortgeschützten Plugins in Betracht ziehen. Um das Plugin einzurichten, müssen Sie Folgendes ausführen:

i) Navigieren Sie in Ihrem WordPress-Dashboard zum Abschnitt „Plugins“ > „Neu hinzufügen“ und suchen Sie nach „Passwortgeschützt“.

ii) Installieren und aktivieren Sie das Plugin

iii) Navigieren Sie in Ihrem WordPress-Dashboard zum Abschnitt Einstellungen > Passwortgeschützt

iv) Aktivieren Sie die Option „Kennwortgeschützter Status“ und geben Sie Ihr Kennwort ein

v) Geben Sie die Anzahl der Tage an, die die Site geschützt bleibt

vi) Speichern Sie Ihre Änderungen

Es ist wichtig zu beachten, dass bei dieser Methode, sobald auf Dateien wie Bilder direkt im Browser zugegriffen wird, der Passwortschutz nicht angewendet wird und daher leicht auf das Bild zugegriffen werden kann.

Entfernen einer Website aus der Google-Suche

In einem Fall, in dem Sie Ihre Website bereits von Google indexiert haben und die Website aus der Suchmaschine entfernen möchten, können Sie dies folgendermaßen tun:

i) Greifen Sie auf die Google Search Console zu: https://search.google.com/search-console/

ii) Melden Sie sich mit Ihren Kontodaten an. Wenn Sie kein Konto haben, können Sie eines über denselben Link oben erstellen und eine Unterkunft hinzufügen. Hier ist eine Anleitung dazu: https://support.google.com/webmasters/answer/34592?hl=en

iii) Wählen Sie oben links die Eigenschaft mit der URL aus, die Sie entfernen möchten

iv) Klicken Sie auf den Abschnitt „Entfernungen“.

v) Klicken Sie auf der Registerkarte „Vorübergehende Entfernung“ auf die Schaltfläche „Neuer Antrag“.

vi) Auf der Registerkarte „URL vorübergehend entfernen“ im angezeigten Popup haben Sie zwei Optionen „Nur diese URL entfernen“ und „Alle URLs mit diesem Präfix entfernen“.

Wenn Sie nur die angegebene URL entfernen möchten, beispielsweise einen bestimmten Blogbeitrag, müssen Sie dessen URL eingeben und die Option „Nur diese URL entfernen“ auswählen.

Wenn Sie andererseits die Root-Domain und alle anderen damit verbundenen URLs entfernen möchten, müssen Sie Ihre URL als Root-Domain eingeben und die Option „Alle URLs mit diesem Präfix entfernen“ auswählen.

vii) Klicken Sie auf die Schaltfläche „Weiter“, um Ihre Anfrage zu übermitteln.

Es ist wichtig zu beachten, dass Google Ihre Website nach diesem Vorgang vorübergehend aus den Suchmaschinen entfernt. Dies ist normalerweise 6 Monate und danach kann Ihre URL erneut neu indexiert werden, weshalb es wichtig ist, „Suchmaschinen daran zu hindern, Ihre Website zu crawlen und zu indexieren“.

Fazit

Es gibt viele Gründe, warum man sich dafür entscheiden könnte, Suchmaschinen davon abzuhalten, ihre Website zu indizieren. In diesem Artikel haben wir einige dieser Gründe sowie einige der Ansätze untersucht, die Sie in Betracht ziehen können, um Suchmaschinen davon abzuhalten, Ihre WordPress-Site zu indizieren.

Die Verwendung der Standardmethode für das Sichtbarkeitsfeld der WordPress-Suchmaschine oder das Ändern der Methoden der robots.txt-Datei ist für einige Suchmaschinen möglicherweise nicht vollständig effektiv, da einige möglicherweise immer noch beispielsweise Ihre Dateien oder Bilder crawlen. Wir empfehlen dringend, diese Methoden mit einem Passwortschutz zu kombinieren. Dadurch wird verhindert, dass Suchmaschinen auf Inhalte Ihrer Website zugreifen.

Wir hoffen, dass dieser Artikel hilfreich ist. Sollten Sie Fragen, Kommentare oder Vorschläge haben, können Sie diese gerne im Kommentarbereich unten einreichen.