Comment décourager les moteurs de recherche d'indexer votre site WordPress

Les moteurs de recherche utilisent des robots ou des robots Web pour explorer et indexer votre site Web. Pour de nombreux propriétaires de sites Web, l'indexation du contenu de leur site Web est tout à fait cruciale pour augmenter leur visibilité en ligne et ainsi augmenter le trafic sur leurs sites. Cependant, il existe des cas où vous ne voudriez pas que votre site soit indexé. Ces raisons peuvent en fait vous amener à réfléchir à la manière de décourager les moteurs de recherche d'indexer votre site Web.

Il est possible d'empêcher une ressource ou une page de votre site d'apparaître dans la recherche Google. Dans cet article, nous verrons comment décourager et empêcher les moteurs de recherche d'indexer votre site Web.

Table des matières

Indexation Vs Listing dans Google

Raisons pour lesquelles vous voudriez empêcher les moteurs de recherche d'indexer votre site Web

Comment empêcher les moteurs de recherche d'explorer et d'indexer votre site Web

• Via la case à cocher Visibilité du moteur de recherche WordPress par défaut
• Modification du fichier Robots.txt
• Mot de passe protégeant votre site Web

Suppression d'un site Web de la recherche Google

Conclusion

Indexation Vs Listing dans Google

Indexage

L'indexation est le processus de collecte et de téléchargement des données de contenu du site sur le serveur du moteur de recherche, puis de stockage des données en les ajoutant à sa base de données centrale (index).

Le processus d'indexation est précédé de Crawling, par lequel les moteurs de recherche ont tendance à parcourir le Web pour identifier tout contenu nouveau ou mis à jour. Ce contenu est ce qui est à son tour utilisé dans l'indexation.

L'indexation permettra de rendre les données pertinentes pour les requêtes de recherche beaucoup plus rapidement puisque le contenu est organisé, par rapport à la recherche dans tout le contenu en exécutant plusieurs requêtes.

Référencement

Le référencement implique principalement le rendu de votre site Web dans les pages de résultats des moteurs de recherche (SERP).

Si un site Web est affiché dans les pages de résultats des moteurs de recherche, cela signifie qu'un tel site Web est indexé. Vous trouverez ci-dessous un exemple de capture d'écran à ce sujet :

Cependant, l'indexation ne signifie pas essentiellement que votre site Web sera répertorié dans les SERP.

Il est également important de noter qu'un site Web n'a pas besoin d'être indexé pour être répertorié. S'il existe des liens pointant vers le domaine du site ou vers un autre contenu de site Web, Google l'utilisera.

Raisons pour lesquelles vous voudriez empêcher les moteurs de recherche d'indexer votre site Web

1. Lors de la création d'un site de développement

En tant que propriétaire de site, dans la plupart des cas, vous souhaiterez d'abord créer votre site Web dans un environnement de développement avant de mettre le site Web final en production.

Cependant, vous ne souhaitez pas que le contenu de votre site de développement soit indexé par Google, ce qui entraînerait une concurrence avec votre site de production. Dans ce cas, vous devrez désactiver l'indexation dans votre site de développement afin d'éviter un tel scénario.

2. Contenu privé

Si votre site Web contient du contenu privé que vous ne voudriez pas rendre accessible aux moteurs de recherche, vous pouvez choisir d'empêcher l'indexation d'un tel site.

Un exemple d'un tel scénario pourrait être si vous avez des pages Web qui ne devraient être accessibles que si un utilisateur a un abonnement ou uniquement lorsqu'un utilisateur est connecté. Un tel contenu ne doit pas être rendu disponible pour l'indexation.

3. Contenu piraté / compromis

Dans un scénario où votre site est piraté et ainsi compromis, cela constitue une menace pour la sécurité des utilisateurs de votre site et en particulier lorsqu'il s'agit de sites de commerce électronique.

Pour aider à réduire ces risques, il serait opportun de désindexer le site ou même de le supprimer.

4. Contenu dupliqué

Parfois, vous pouvez en fait avoir du contenu en double sur votre site Web, en particulier lorsqu'il s'agit de sites de commerce électronique où les pages de produits peuvent sembler similaires. Cependant, avoir du contenu en double sur votre site Web peut en fait entraîner une pénalisation par Google.

Il est donc important de désindexer tout contenu dupliqué au sein de votre site afin d'éviter d'être pénalisé.

5. Contenu obsolète

Dans certains cas, vous pouvez avoir un site Web affichant des informations obsolètes et, par conséquent, les résultats de la recherche contiendront ces informations. De telles informations peuvent à leur tour être trompeuses pour les visiteurs du site.

Il serait donc bon de décourager les moteurs de recherche d'indexer de tels contenus dans de telles situations.

6. Informations divulguées

Si le contenu est mis prématurément à la disposition du public, vous devrez alors décourager les moteurs de recherche d'indexer ce contenu ou bien annuler la publication du site Web. Cela aidera à rendre ce contenu inaccessible.

7. Contenu préjudiciable

Dans les situations où vous pourriez avoir un contenu que vous pouvez considérer comme nuisible pour votre site Web, vous pouvez envisager de désindexer le site Web. Cela pourrait par exemple être le cas si votre site avait été piraté et que des informations malveillantes y avaient été ajoutées.

Comment empêcher les moteurs de recherche d'explorer et d'indexer votre site Web

Il existe plusieurs façons d'envisager si vous souhaitez décourager les moteurs de recherche d'explorer et d'indexer votre site Web. Nous examinerons certaines de ces façons dans l'ordre et explorerons comment chacune d'elles aide à accomplir cela.

Via la case à cocher Visibilité du moteur de recherche WordPress par défaut

Cette méthode vous permet de décourager les moteurs de recherche d'explorer votre site Web directement à partir du tableau de bord WordPress. Pour le mettre en place, vous devrez :

i) Connectez-vous à votre tableau de bord WordPress en utilisant un compte administrateur

ii) Accédez à la section Paramètres > Lecture dans votre tableau de bord WordPress

iii) Dans la section "Visibilité des moteurs de recherche", activez l'option "Dissuader les moteurs de recherche d'indexer ce site"

iv) Enregistrez vos modifications

Une fois ce qui précède effectué, le code ci-dessous est ajouté à l'en-tête de votre site :

 <meta name="robots" content="noindex, nofollow">

Le fichier robots.txt est également modifié pour :

 User-agent: * Disallow: /

Cela aidera à décourager les moteurs de recherche d'indexer votre site Web. Il est cependant important de noter que même si ces changements aident à décourager les moteurs de site d'indexer votre site Web, il appartient aux moteurs de recherche individuels d'honorer ou non la demande.

Modification du fichier Robots.txt (manuellement)

Semblable à la méthode ci-dessus, ceci est considéré comme une approche manuelle pour modifier le fichier robots.txt.

Pour ce faire, vous devrez :

i) Accéder aux fichiers de votre site via un logiciel FTP tel que Filezilla

ii) Dans la racine des fichiers de votre site Web, recherchez le fichier robots.txt. Dans la plupart des cas, cela se trouve dans le dossier public_html.

Si vous ne semblez pas tracer le fichier, vous pouvez envisager d'en créer un.

iii) Ajoutez le code suivant au fichier :

 User agent: * Disallow: /

iv) Enregistrez vos modifications

Vous pouvez également interdire l'indexation sur des pages spécifiques en ajoutant le sous-répertoire et le slug dans la section Disallow:. Un exemple à cela serait:

 User agent: * Disallow /blog/this-is-a-link-to-our-website

Mot de passe protégeant votre site Web

Les moteurs de recherche ne sont pas en mesure d'explorer les sites Web protégés par mot de passe puisqu'ils n'y ont pas accès. Cela fait de la protection par mot de passe de votre site Web l'une des approches les plus appropriées pour empêcher l'indexation de votre site Web.

La protection par mot de passe de votre site peut être réalisée via différentes approches :

i) Protection par mot de passe via votre panneau de contrôle d'hébergement

ii) Utilisation d'un plugin de protection par mot de passe

Protection par mot de passe via votre panneau de contrôle d'hébergement

Divers panneaux de contrôle d'hébergement ont différentes étapes dans la mise en œuvre de la protection par mot de passe sur un site Web. Dans notre cas ici, nous allons utiliser un exemple de cPanel.

Afin de protéger votre site Web par mot de passe via cPanel, vous devrez effectuer les opérations suivantes :

i) Connectez-vous à votre compte cPanel

ii) Accédez à la section Fichiers et sélectionnez "Directory Privacy"

iii) Sélectionnez le répertoire racine de vos sites. Dans notre cas ici, ce sera public_html / buddybuilder

iv) Cliquez sur l'action "Modifier" à côté

v) Activez l'option "Mot de passe protéger ce répertoire" et enregistrez vos modifications

vi) Revenez à l'étape précédente en cliquant sur le lien "Retour" et dans la nouvelle section "Créer un utilisateur", configurez un nouveau compte d'utilisateur à utiliser pour accéder au site Web.

Une fois cela fait, les moteurs de recherche ne seront pas en mesure de crawler votre site.

Utiliser un plugin de protection par mot de passe

Dans cette option, vous pouvez envisager d'utiliser le plugin Password Protected. Pour configurer le plugin, vous devrez effectuer les opérations suivantes :

i) Accédez à la section Plugins> Ajouter un nouveau dans votre tableau de bord WordPress et recherchez "Mot de passe protégé"

ii) Installer et activer le plugin

iii) Accédez à la section Paramètres > Mot de passe protégé dans votre tableau de bord WordPress

iv) Activez l'option "Password Protected Status" et remplissez votre mot de passe

v) Spécifiez le nombre de jours pendant lesquels le site restera protégé

vi) Enregistrez vos modifications

Il est important de noter que dans cette méthode, une fois que des fichiers tels que des images sont directement accessibles dans le navigateur, la protection par mot de passe n'est pas appliquée et, par conséquent, l'image est facilement accessible.

Suppression d'un site Web de la recherche Google

Dans le cas où vous avez déjà votre site indexé par Google et que vous souhaitez supprimer le site du moteur de recherche, vous pouvez le faire en procédant comme suit :

i) Accédez à la console de recherche Google : https://search.google.com/search-console/

ii) Connectez-vous en utilisant les détails de votre compte. Si vous n'avez pas de compte, vous pouvez en créer un à partir du même lien ci-dessus et ajouter une propriété. Voici un guide sur la façon de procéder : https://support.google.com/webmasters/answer/34592?hl=fr

iii) Dans la section supérieure gauche, sélectionnez la propriété avec l'URL que vous souhaitez supprimer

iv) Cliquez sur la section « Retraits »

v) Dans l'onglet « Retraits temporaires », cliquez sur le bouton « Nouvelle demande »

vi) Dans l'onglet "Supprimer temporairement l'URL" dans la fenêtre contextuelle, vous aurez deux options "Supprimer cette URL uniquement" et "Supprimer toutes les URL avec ce préfixe".

Si vous souhaitez supprimer uniquement l'URL spécifiée, par exemple un article de blog spécifique, vous devrez renseigner son URL et sélectionner l'option "Supprimer uniquement cette URL".

D'autre part, si vous souhaitez supprimer le domaine racine et toute autre URL qui lui est associée, vous devrez renseigner votre URL en tant que domaine racine et sélectionner l'option "Supprimer toutes les URL avec ce préfixe".

vii) Cliquez sur le bouton « Suivant » pour soumettre votre demande.

Il est important de noter qu'une fois cela fait, Google supprimera temporairement votre site des moteurs de recherche pour une période temporaire. C'est généralement 6 mois et par la suite, votre URL peut être réindexée une fois de plus, c'est pourquoi il est crucial de "bloquer les moteurs de recherche de l'exploration et de l'indexation de votre site Web".

Conclusion

Il existe de nombreuses raisons pour lesquelles on pourrait choisir de décourager les moteurs de recherche d'indexer leur site Web. Dans cet article, nous avons examiné certaines de ces raisons ainsi que certaines des approches que vous pouvez envisager de mettre en œuvre afin de décourager les moteurs de recherche d'indexer votre site WordPress.

L'utilisation de la méthode par défaut de la zone de visibilité du moteur de recherche WordPress ou la modification des méthodes du fichier robots.txt peuvent ne pas être pleinement efficaces pour certains moteurs de recherche, car certains peuvent encore explorer, par exemple, vos fichiers ou vos images. Nous vous recommandons vivement d'associer ces méthodes à une protection par mot de passe. Cela empêche les moteurs de recherche d'accéder au contenu de votre site.

Nous espérons que cet article vous sera utile. Si vous avez des questions, des commentaires ou des suggestions, n'hésitez pas à les soumettre à partir de la section des commentaires ci-dessous.