Comment modifier robots.txt dans WordPress (avec et sans plugins)

Cherchez-vous les moyens les plus efficaces pour modifier robots.txt dans WordPress ? Ils sont cruciaux si vous souhaitez que les robots des moteurs de recherche connaissent les pages et les sections de votre site Web qu'ils doivent explorer et indexer.

Même si WordPress génère par défaut un fichier robots.txt pour votre site Web, vous devrez peut-être le modifier pour gérer ce que les moteurs de recherche peuvent afficher. Si vous n'êtes pas familier avec robots.txt, ne vous inquiétez pas. Nous vous expliquerons ce qu'est robots.txt et pourquoi il est essentiel de le modifier, ainsi que les différentes manières de le modifier sur votre site WordPress avec ce tutoriel.

Plongeons-nous donc pour comprendre ce qu'est robots.txt.

Qu'est-ce que Robots.txt ?

Robots.txt est un fichier texte brut situé dans le répertoire racine de votre site Web qui contient des instructions destinées aux robots Web ou aux bots sur les pages ou les zones de votre site qu'ils doivent explorer et indexer . Le fichier indique aux moteurs de recherche si les pages ou les sections doivent être indexées ou non en fonction des réglementations spécifiques du site Web.

Par exemple, les robots d'exploration Web tels que les robots d'exploration Web de Google consultent régulièrement les sites Web pour mettre à jour leur index de pages. Ces robots d'exploration Web de Google, également connus sous le nom de Googlebot, suivent les instructions indiquées dans le fichier robots.txt pour vérifier le site Web.

L'objectif principal du fichier robots.txt est d'aider les webmasters à contrôler les informations auxquelles les moteurs de recherche peuvent accéder sur leurs sites. Vous pouvez utiliser le fichier pour empêcher les robots d'accéder à des sites ou des répertoires spécifiques. Mais gardez à l'esprit que certains robots, à l'exception de Googlebot et d'autres robots d'exploration Web renommés, peuvent ne pas suivre les directives du fichier.

Pourquoi devriez-vous modifier le fichier Robots.txt ?

La modification de votre fichier robots.txt dans WordPress présente plusieurs avantages. Voici quelques considérations :

• Bloquer les bots indésirables : certains bots peuvent ne pas être bénéfiques pour votre site Web ou peuvent consommer des ressources précieuses sur votre serveur. Cela peut ralentir les temps de chargement du site Web et dégrader les performances de votre site. Ainsi, la modification de votre fichier robots.txt peut vous aider à empêcher les robots indésirables d'explorer votre site et à améliorer la vitesse globale de votre site Web.
• Protégez les informations sensibles : certaines pages de votre site Web peuvent contenir des informations sensibles que vous ne souhaitez pas que les moteurs de recherche indexent. Cela peut inclure des données personnelles, des informations commerciales confidentielles, du contenu protégé par mot de passe ou même du contenu légal ou lié à la conformité.
  Vous pouvez empêcher l'exploration et l'indexation de ces pages en modifiant votre fichier robots.txt. Cela aidera même à protéger la confidentialité et la sécurité de votre site Web.
• Dirigez les bots vers des pages spécifiques : vous pouvez également utiliser robots.txt pour diriger les bots vers les pages particulières de votre site Web que vous souhaitez que les moteurs de recherche explorent et indexent. Cela vous permet de prioriser les pages que vous souhaitez classer plus haut dans les résultats des moteurs de recherche.
• Empêcher l'indexation du contenu en double : vous pouvez avoir des pages sur votre site Web avec un contenu similaire, telles que des pages de catégories ou de balises. Si tel est le cas, vous pouvez utiliser le fichier robots.txt pour empêcher les robots des moteurs de recherche de les indexer. Cela peut aider à éviter les problèmes de contenu en double qui ont un impact négatif sur le classement des moteurs de recherche de votre site Web.

Maintenant que vous comprenez ce qu'est le fichier robots.txt et pourquoi il est essentiel, passons à la section suivante, où nous vous montrerons comment le personnaliser.

Comment modifier Robots.txt dans WordPress

Vous pouvez modifier le fichier robots.txt de 3 manières principales dans WordPress :

1. Utilisation d'un client FTP
2. cPanel
3. Avec un plugin

Nous allons détailler chacune de ces approches. Mais si vous utilisez l' approche client FTP ou cPanel , vous devrez d'abord créer un fichier robots.txt manuellement .

WordPress crée un fichier robots.txt virtuel par défaut lorsque vous lancez votre site. Il est accessible en ajoutant le chemin « /robots.txt » à la fin de votre domaine.

Par exemple, vous pouvez accéder au fichier robots.txt de QuadLayers en utilisant le lien : "https://quadlayers.com/robots.txt".

Cependant, nous n'utilisons pas le fichier robots.txt par défaut. Il a été modifié pour répondre aux besoins spécifiques de QuadLayers. Mais le fichier robots.txt par défaut créé par WordPress inclut uniquement les informations suivantes :

 Agent utilisateur: *
Interdire : /wp-admin/
Autoriser : /wp-admin/admin-ajax.php

Malheureusement, vous ne pouvez pas modifier ce fichier car il est virtuel . Pour modifier le fichier robots.txt de votre site WordPress, vous devez en créer un manuellement.

Pour ce faire, vous pouvez utiliser n'importe quel éditeur de texte pour créer un fichier vide et enregistrer le fichier sous " robots.txt ".

Alternativement, si vous souhaitez utiliser un plugin SEO pour modifier le fichier, cela peut être fait automatiquement via le plugin. Nous l'apprendrons plus tard dans ce guide.

Néanmoins, votre fichier robots.txt doit contenir les mêmes informations quelle que soit l'approche que vous utilisez. Voyons donc ce qui doit également être inclus dans le fichier robots.txt.

Que faut-il inclure dans le fichier Robots.txt ?

Pour vous assurer que les moteurs de recherche indexent correctement votre site Web, voici quelques commandes ou directives de code que vous pouvez inclure dans votre fichier robots.txt :

• User-agent : identifie le moteur de recherche ou le bot auquel les instructions s'appliquent. Vous pouvez inclure un ou plusieurs agents utilisateurs dans votre fichier robots.txt, selon les bots que vous souhaitez contrôler. Par exemple, "User-agent : Googlebot" fait référence au robot d'exploration de Google.
• Interdire : cette directive indique aux bots les pages ou les répertoires que les bots des moteurs de recherche ne doivent pas explorer ou indexer. Vous pouvez spécifier des pages individuelles ou des répertoires entiers. Par exemple, "Disallow: /wp-admin/" empêcherait tous les bots d'explorer les pages du répertoire d'administration de WordPress.
• Plan du site : cette directive indique aux bots où trouver le fichier de plan du site de votre site Web. Le fichier sitemap répertorie toutes les pages de votre site que vous souhaitez que les moteurs de recherche indexent.

Vous pouvez également utiliser la directive « allow » dans le fichier robots.txt. Il indique aux robots quelles pages ou quels répertoires ils doivent explorer ou indexer. Cependant, rappelez-vous qu'il est facultatif et ne doit être utilisé que lorsque cela est nécessaire.

Voici un exemple de fichier robots.txt de base :

 Agent utilisateur: *
Interdire : /wp-admin/
Interdire : /wp-includes/
Plan du site : https://www.example.com/sitemap.xml

Dans cet exemple, l'agent utilisateur est défini sur "*", ce qui signifie que les instructions s'appliquent à tous les bots. La directive « disallow » empêche les bots d'explorer l'administrateur WordPress et les répertoires « wp-include ». De même, la directive sitemap spécifie l'emplacement du fichier sitemap.

Maintenant que vous avez une compréhension de base de ce qu'il faut inclure dans le fichier robots.txt, vous pouvez ajouter toutes les pages Web que vous ne voulez pas que les bots explorent ou indexent. Enfin, enregistrez le fichier.

1) Modifier Robots.txt à l'aide d'un client FTP

Pour modifier robots.txt dans WordPress à l'aide d'un client FTP, vous devez installer un client FTP et connecter votre site Web. Il existe de nombreux clients FTP comme FileZilla et Cyberduck que vous pouvez utiliser pour cette méthode. Mais nous utiliserons FileZilla pour ce tutoriel.

1.1) Connectez votre site WordPress au FTP

Après avoir installé le client FTP, ouvrez l'application et accédez à Fichier > Gestionnaire de site . Vous pouvez également ouvrir le gestionnaire de site en appuyant sur Ctrl+S sur votre clavier.

Ensuite, cliquez sur Nouveau site et entrez le nom de votre site Web sous Mes sites .

Maintenant, ouvrez l'onglet Général et entrez les informations d'identification de votre site. Vous pouvez obtenir les informations d'identification pour connecter votre site Web à FileZilla à partir de votre service d'hébergement.

Après avoir entré les informations d'identification, cliquez sur Connecter .

Vous pouvez accéder au répertoire de fichiers du site depuis votre ordinateur une fois le site connecté. Alors allons-y et téléchargeons le fichier robots.txt de votre ordinateur vers votre site Web.

1.2) Téléchargez le fichier Robots.txt sur WordPress

Une fois que vous avez connecté votre site au client FTP, vous devez accéder au répertoire racine de votre site Web car c'est là que le fichier robots.txt doit se trouver.

Le fichier racine est également appelé fichier « public_html ».

Vous pouvez télécharger le fichier robots.txt récemment créé ici. Si un fichier robots.txt existe déjà dans ce fichier, remplacez-le.

C'est ça!

Il ne vous reste plus qu'à tester le fichier robots.txt en ajoutant le chemin "/robots.txt" à la fin du domaine, comme nous vous l'avons montré dans les exemples précédents.

2) Modifier Robots.txt à l'aide de cPanel

L'édition du fichier robots.txt avec cPanel est très similaire à celle de l'approche client FTP. Tout d'abord, vous devez vous connecter au cPanel de votre site Web. Encore une fois, toutes les informations de connexion nécessaires doivent déjà avoir été fournies par votre service d'hébergement.

Après vous être connecté au cPanel, faites défiler jusqu'à la section Fichiers et cliquez sur Gestionnaire de fichiers .

Ensuite, accédez au répertoire de fichiers « public_html » et téléchargez le fichier robots.txt récemment créé ici. Encore une fois, si un fichier robots.txt existe déjà ici, vous devez le remplacer par celui que vous venez de modifier.

Enfin, testez votre fichier robots.txt en ajoutant le chemin "/robots.txt" à la fin de votre domaine.

3) Modifier Robots.txt à l'aide d'un plugin

Si vous voulez vous épargner beaucoup de temps et de tracas pour éditer la page robots.txt, vous pouvez également utiliser un plugin. Plusieurs plugins SEO comme Yoast SEO, All in One SEO et Rank Math SEO vous permettent de créer et de modifier le fichier robots.txt.

Vous pouvez consulter notre liste complète des meilleurs plugins WordPress SEO si vous avez besoin de plus d'informations pour vous aider à choisir le plugin que vous souhaitez utiliser.

Mais nous utiliserons le plugin Rank Math SEO pour cette démonstration. C'est l'un des plugins SEO les plus populaires et possède une interface très simple pour éditer le fichier robots.txt. Commençons donc par installer le plugin.

3.1) Installer et activer le plugin

Pour installer le plugin, vous devez vous rendre dans Plugins > Ajouter un nouveau depuis votre tableau de bord WordPress et rechercher d'abord les mots-clés du plugin. Après avoir vu le plugin dans les moteurs de recherche, cliquez sur Installer maintenant . L'installation ne prendra que quelques instants.

Dès que l'installation est terminée, cliquez sur Activer pour activer le plugin.

Si vous souhaitez utiliser l'un des plugins premium, vous devez le télécharger manuellement. Vous pouvez consulter notre guide détaillé sur l'installation manuelle d'un plugin WordPress pour en savoir plus.

De plus, si vous rencontrez un problème lors de la configuration de Rank Math SEO, nous avons même un guide spécifique sur la configuration de Rank Math.

3.2) Modifier le fichier Robots.txt

Une fois le plugin activé, accédez à Rank Math > General Settings depuis votre tableau de bord WordPress et sélectionnez l'onglet Edit robots.txt file . Vous pouvez voir que le plugin a fourni son éditeur de texte pour que vous puissiez modifier le fichier robots.txt dans cette section.

Ici, vous devez ajouter tous les codes et commandes en fonction des pages Web que vous souhaitez que les bots explorent et indexent. Si vous avez besoin d'aide, nous avons fourni toutes les directives nécessaires dans ce didacticiel lors de l'une des étapes précédentes.

Une fois que vous avez ajouté toutes les commandes et directives requises pour le fichier robots.txt, cliquez sur Enregistrer les modifications .

Super! Maintenant, si vous ajoutez le chemin "/robots.txt" à la fin du domaine, vous verrez que le fichier a été mis à jour en conséquence. Ainsi, les robots des moteurs de recherche ne parcourront que les pages Web que vous avez autorisées en fonction du fichier robots.txt.

Conclusion

Voici comment vous pouvez créer et modifier le fichier robots.txt dans WordPress . Il est essentiel de le faire si vous ne voulez pas que les robots des moteurs de recherche parcourent le contenu sensible ou dupliqué de votre site Web. Le fichier robots.txt peut également être utilisé pour demander aux robots d'explorer et d'indexer des pages spécifiques de votre site Web.

Pour résumer, vous pouvez modifier le fichier robots.txt de trois manières principales :

• Utilisation d'un client FTP
• cPanel
• Avec un plugin

L'utilisation du client FTP et de cPanel est très similaire . Tout ce que vous avez à faire est de vous connecter au cPanel ou de connecter votre site Web au client FTP et de télécharger le fichier robots.txt. Ensuite, vous devez télécharger le fichier robots.txt que vous avez créé manuellement précédemment.

En revanche, le fichier robots.txt sera automatiquement ajouté à votre site Web si vous utilisez un plugin . Les plugins fournissent même un éditeur de texte pour vous aider à modifier le fichier robots.txt.

Pouvez-vous modifier le fichier robots.txt de votre site Web maintenant ? Faites-nous savoir dans les commentaires si vous l'avez déjà essayé.

En attendant, si vous avez trouvé cet article utile, voici quelques articles supplémentaires que vous pouvez utiliser pour personnaliser ou améliorer votre site Web WordPress :

• Comment améliorer le référencement WordPress : 9 façons
• Meilleurs plugins WordPress SSL (gratuits et payants)
• Comment ajouter des méta-descriptions dans WordPress