Comment optimiser votre WordPress Robots.txt (Guides avancés)

Beaucoup d'entre vous ont peut-être entendu parler du fichier robots.txt, mais savez-vous où il se trouve et à quoi il ressemble ? Surtout, savez-vous comment optimiser votre fichier WordPress robot.txt pour booster le référencement ?

Cet article couvrira ces questions pour vous donner une image correcte et claire du fichier WordPress robots.txt. À partir de là, vous pouvez utiliser le fichier pour augmenter votre visibilité en ligne sur les SERP ou cacher votre contenu sensible aux yeux du public.

Nous commencerons par l'emplacement robots.txt, ses exemples, mettrons en évidence les moyens de modifier le fichier, puis conclurons cet article avec des conseils avancés sur l'optimisation WordPress robots.txt.

Plongeons-nous !

• Où est l'emplacement du robot.txt de WordPress ?
• Comment modifier robot.txt dans WordPress ?
• Comment optimiser votre fichier WordPress Robots.txt pour le référencement

Où se trouve l'emplacement WordPress robots.txt ?

Le fichier robots.txt réside dans le dossier racine de votre site Web. Son devoir principal est de guider les robots des moteurs de recherche sur la façon d'explorer et d'indexer votre site. En particulier, il refuse l'accès des moteurs de recherche à certains fichiers et dossiers.

De nombreux propriétaires de sites WordPress utilisent le fichier robots.txt pour décourager l'indexation de la recherche . Cela semble contre-intuitif, non ? Considérant le fait que le référencement ou gagner la 1ère position sur les SERPs joue un rôle essentiel dans le succès des affaires en ligne.

Néanmoins, si votre site est en mode de développement ou contient du contenu de mauvaise qualité ou personnel, robot.txt s'avère pratique pour l'exploration de blocs et l'indexation de ce contenu. À partir de là, vous pouvez optimiser votre fichier WordPress robots.txt pour donner la priorité à vos principales pages de destination telles que les pages de vente, les pages de produits ou les publications sponsorisées.

Dans le même ordre d'idées, vous pouvez également optimiser votre quota de crawl . Le quota de crawl, ou budget de crawl, fait référence au nombre de pages de votre site WordPress que les robots de Google explorent à un moment donné. Permettre à vos pages importantes d'explorer le budget aide à les indexer et à les classer rapidement sur la 1ère page des résultats de recherche.

Cependant, veillez à optimiser le fichier robots.txt car il peut nuire à votre référencement s'il est mal fait.

Exemple WordPress Robots.txt

Vous pouvez voir le fichier robots.txt de n'importe quel site Web en ajoutant /robots.txt à la fin du nom de domaine. Ainsi, un fichier robots.txt ressemblera à ceci.

L' agent utilisateur dans un fichier robots.txt est le moteur de recherche qui lit le fichier robots.txt. Si In the user-agent est marqué d'un astérisque, cela signifie qu'il donne le feu vert à tous les moteurs de recherche.

Dans les fichiers robots.txt, allow et disallow indiquent aux bots les pages et le contenu qu'ils peuvent et ne peuvent pas explorer. Comme vous pouvez le voir, nous avons autorisé les moteurs de recherche à explorer et indexer les fichiers dans notre WordPress admin-ajax et interdit l'accès aux plugins et aux dossiers d'administration.

Un plan de site est un fichier XML qui contient une liste et les détails de toutes les pages de votre site Web.

Comment modifier Robots.txt dans WordPress ?

Le moyen le plus simple de modifier robots.txt dans WordPress consiste à utiliser des plugins. Il existe plusieurs plugins SEO robustes qui excellent pour vous aider à éditer le fichier robots.txt, All in one SEO, YoastSEO, RankMath, etc. pour n'en nommer que quelques-uns.

En dehors de cela, vous pouvez également demander de l'aide à des plugins développés uniquement pour optimiser votre fichier WordPress robots.txt, tels que Virtual Robots.txt, l'optimisation WordPress Robots.txt, et bien d'autres.

Alternativement, il vous est possible de modifier le fichier manuellement via le client FTP. Tout d'abord, vous devez connecter votre fournisseur d'hébergement WordPress à l'aide d'un client FTP. Après cela, localisez le fichier robots.txt dans le répertoire racine de votre site Web.

Si vous ne voyez pas le fichier robot.txt ici, il y a de fortes chances que votre site ne l'ait pas. Ne paniquez pas, créez-en simplement un nouveau. Cliquez avec le bouton droit de la souris et choisissez "Créer un nouveau fichier", puis téléchargez-le sur votre bureau. Robots.txt est un fichier texte brut, ce qui signifie que vous pouvez le télécharger et le modifier aussi normalement que d'autres fichiers avec des éditeurs de texte comme Wordpad ou Notepad.

Après cela, mettez à jour vos modifications, téléchargez à nouveau votre fichier robots.txt modifié dans le dossier racine et vous avez terminé.

Testez votre fichier Robots.txt

Vous devez vous assurer que votre fichier robot.txt fonctionne normalement après l'édition. Si des erreurs se produisent, cela peut entraîner l'exclusion de votre site Web des pages de résultats de recherche.

Parmi une large gamme d'outils de test robots.txt, nous vous recommandons d'utiliser Google Search Console, qui vous permet de tester gratuitement votre fichier robots.txt.

Assurez-vous que vous avez déjà soumis l'URL de votre site Web à Google Search Console, afin que l'outil vérifie votre authentification. Sinon, consultez notre guide sur la façon de soumettre votre site aux moteurs de recherche.

Alors vous êtes prêt à utiliser l'outil de test des robots de Google Search Console. Une fois que vous avez sélectionné une propriété dans le menu déroulant, l'outil parcourt immédiatement le fichier, puis vous avertit s'il y a des erreurs et des avertissements.

Plus que cela, l'outil vous permet d'entrer une certaine page sur votre site, puis de sélectionner un agent utilisateur spécifique pour vérifier si cette page est bloquée ou si l'indexation est acceptée.

Il vous est possible d'éditer le fichier directement sur l'outil et de relancer le test. Cependant, le fichier réel reste toujours inchangé. Vous devrez peut-être copier l'édition et la coller sur le fichier réel et l'enregistrer là-bas.

Comment optimiser votre fichier WordPress Robots.txt pour le référencement

Il est fortement recommandé de désactiver de manière sélective certaines de vos pages sensibles, telles que /wp-admin/ , /wp-content/plugins/ , /trackback/ et /readme.html , tandis que les autres restent « autorisées ».

De plus, vous pouvez optimiser votre fichier WordPress robots.txt en y ajoutant votre sitemap. Alors que WordPress fournit son propre sitemap, vous pouvez utiliser des plugins SEO comme YoastSEO ou All in One SEO pour créer votre propre sitemap. Ils vous donnent le pouvoir de créer des plans de site distincts pour les publications et les pages.

À ce stade, l'ajout de ces sitemaps à votre fichier robots.txt stimulera l'exploration des bots plus rapidement et plus facilement.

De plus, malgré l'idée d'optimisation, il est fortement déconseillé de trop toucher ou de trop éditer le fichier robots.txt. En effet, trop de modifications dans le fichier peuvent nuire à la structure de votre page et mal informer les robots sur la prévention de l'exploration de votre site.

Donc, moins c'est plus. Vous avez juste besoin de vous concentrer sur votre sitemap et de découvrir vos meilleures pages en premier.

Boostez votre visibilité en ligne dès maintenant !

Robots.txt est un fichier important qui vous permet d'optimiser stratégiquement votre quota de crawl et de masquer le contenu privé de l'indexation de recherche.

Cet article vous a montré ce qu'est un fichier robots.txt, où le trouver et comment le modifier. Nous vous avons également présenté comment optimiser votre fichier WordPress robots.txt pour le SEO. Le fait est que moins il y a d'édition dans robots.txt, mieux c'est. Et n'oubliez pas d'ajouter un sitemap personnalisé au fichier pour augmenter la visibilité de votre page clé.

Qu'est-ce que tu attends? Boostez votre visibilité en ligne avec le fichier robot.txt dès maintenant !