Comment supprimer Robots.txt de WordPress

Voulez-vous supprimer robots.txt de WordPress ? Le fichier robots.txt est essentiel pour empêcher les robots des moteurs de recherche d'indexer certaines pages de votre site Web. Mais s'il n'est pas configuré correctement, cela peut entraîner des problèmes pour votre site, vous devrez donc peut-être le supprimer.

Donc, avant de plonger dans le processus de suppression, vous devez avoir une meilleure compréhension du fichier robots.txt et pourquoi vous devrez peut-être le supprimer.

Qu'est-ce que Robots.txt ?

Le robots.txt est un fichier de votre site WordPress qui contient les directives pour les robots des moteurs de recherche sur les zones ou les pages de votre site Web qui doivent être indexées et explorées . Il informe également les moteurs de recherche à l'aide de règles et d'instructions spécifiques indiquant si les pages et les sections de votre site Web doivent être indexées.

Si nous prenons un exemple concret, les robots d'exploration Web de Google, également connus sous le nom de Googlebot, analysent régulièrement les sites Web pour maintenir leur index de page à jour. Ces robots d'exploration Web suivent les instructions décrites dans le fichier robots.txt lors de l'analyse du site Web. Ensuite, ils indexent et explorent les pages et les zones de votre site Web conformément aux directives mentionnées dans le fichier robots.txt.

De la même manière, les robots des moteurs de recherche de tous les autres robots d'indexation bien connus indexent et explorent votre site Web à l'aide du fichier robots.txt. Le fichier est pratique pour empêcher les robots d'accéder à certaines zones, pages ou répertoires du site Web. Mais en même temps, vous pouvez retirer ou désactiver le fichier robots.txt de votre site Web WordPress dans certains cas.

Pourquoi devriez-vous supprimer Robots.txt de WordPress ?

Il existe de nombreuses raisons d'envisager de supprimer ou de désactiver le fichier robots.txt de votre site Web WordPress. En voici quelques-uns :

• Restrictions involontaires : le fichier robots.txt peut parfois contenir des règles qui empêchent involontairement les robots d'exploration des moteurs de recherche d'accéder aux pages ou sections essentielles de votre site Web. Cela peut avoir un impact négatif sur la visibilité de votre site dans les résultats des moteurs de recherche et affecter le classement de votre site.
• Sites de développement ou de développement : si vous avez un site de développement ou de développement à des fins de test, vous ne souhaitez peut-être pas que les moteurs de recherche indexent ces sites. Ainsi, si vous supprimez le fichier robots.txt, vous pouvez vous assurer que les robots des moteurs de recherche n'indexeront ni n'afficheront ces sites dans les résultats de recherche. Cela vous permet de vous concentrer sur les tests et l'amélioration de votre site au début du processus de développement et de test sans risquer qu'il soit visible publiquement par les utilisateurs.
• Indexation améliorée : les robots des moteurs de recherche peuvent librement accéder aux pages et au contenu de votre site Web et les indexer lorsque vous supprimez le fichier robots.txt. Ainsi, ils peuvent découvrir et inclure un plus large éventail de contenus de votre site dans leur index. Cela peut être avantageux si vous souhaitez garantir une visibilité et une découvrabilité maximales du contenu de votre site Web.
• Conflits de plugins : les conflits entre des plugins spécifiques de votre site Web WordPress et le fichier robots.txt peuvent parfois entraîner des problèmes ou des erreurs inattendus. La suppression du fichier robots.txt peut donc aider à résoudre de tels conflits et assurer le bon fonctionnement de votre site WordPress.

Cependant, il est important de noter que la suppression du fichier robots.txt n'est pas une décision à prendre à la légère et n'est généralement pas recommandée. Considérez les implications et consultez un expert avant de continuer si vous n'êtes pas sûr de son impact sur les performances de référencement de votre site Web.

Comment supprimer Robots.txt de WordPress

Vous pouvez supprimer ou désactiver le fichier robots.txt de WordPress de 2 manières principales :

1. Utilisation du client FTP
2. cPanel

Nous allons passer en revue ces méthodes en détail avec un guide étape par étape pour supprimer robots.txt de WordPress. Les deux manières sont similaires l'une à l'autre. Mais vous devez d'abord accéder au FTP ou au cPanel de votre site Web.

Remarque : Avant de supprimer le fichier robots.txt de votre site Web, assurez-vous d'en faire une copie. Ensuite, vous pouvez télécharger à nouveau le fichier d'origine sur votre site Web si vous apportez des modifications involontaires au cours de la procédure, ce qui peut entraîner des erreurs ou des bogues.

1. Supprimer Robots.txt à l'aide du client FTP

Utiliser un client FTP pour supprimer robots.txt de votre site Web WordPress est facile. Vous pouvez accéder à FTP pour WordPress en utilisant un client FTP comme FileZilla ou Cyberduck. Ensuite, vous pouvez commencer à éditer les fichiers de votre site Web en l'utilisant.

Nous utiliserons le client FTP FileZilla pour ce didacticiel que vous pouvez télécharger et installer sur votre ordinateur à partir de leur site Web. Mais vous êtes libre d'utiliser n'importe quel client FTP que vous aimez. Les étapes sont presque identiques les unes aux autres.

Après avoir installé le client FTP, vous devez connecter votre site Web au client FTP. Ouvrez donc l'application FileZilla sur votre ordinateur et accédez à Fichier > Gestionnaire de site dans le coin supérieur gauche de la barre de menus. Vous pouvez également utiliser le raccourci clavier Ctrl+S de votre clavier pour accéder au gestionnaire de site.

Ensuite, cliquez sur Nouveau site et entrez le nom de votre site Web sous Mes sites .

Maintenant, ouvrez l'onglet Général sur le côté droit de votre écran, où vous devrez entrer les informations d'identification pour connecter votre site au client FTP. Si vous ne disposez pas des informations d'identification requises, vous pouvez les demander à votre hébergeur.

Après avoir entré les informations d'identification, cliquez sur Connecter .

Vous aurez maintenant accès au répertoire de fichiers de votre site Web à partir duquel vous pourrez supprimer le fichier robust.txt de votre site Web WordPress. Le fichier robots.txt se trouve dans le répertoire racine de votre site Web, également appelé dossier « public_html ». Vous pouvez y accéder à l'aide de Filezilla Explorer.

Une fois que vous avez trouvé le fichier robots.txt, faites un clic droit sur le fichier et sélectionnez Supprimer .

C'est ça! Vous avez supprimé avec succès le fichier robots.txt de votre site Web WordPress.

2. Supprimer Robots.txt de cPanel

Si vous souhaitez une approche plus directe pour supprimer manuellement le fichier robots.txt de votre site Web WordPress, vous pouvez utiliser le cPanel. Il vous suffit de vous connecter à votre compte cPanel en utilisant le lien fourni par votre hébergeur. Encore une fois, vous pouvez contacter votre fournisseur d'hébergement si vous ne disposez pas des informations d'identification et des détails nécessaires.

Après vous être connecté au cPanel, faites défiler jusqu'à la section Fichiers et cliquez sur Gestionnaire de fichiers . Vous pouvez désormais accéder à tous les fichiers de votre site WordPress.

Ensuite, accédez au répertoire racine ou au dossier « public_html » puisque le fichier robots.txt est ici. Maintenant, sélectionnez le fichier robots.txt et cliquez sur Supprimer dans la barre de menus du gestionnaire de fichiers.

Super! Votre fichier robots.txt est maintenant supprimé de votre site WordPress.

Comment désactiver Robots.txt dans WordPress ?

Les approches mentionnées ci-dessus peuvent vous aider à supprimer le fichier robots.txt de votre site Web WordPress. Mais ce n'est généralement pas recommandé car le fichier est très important pour votre référencement. Donc, si vous voulez une option plus sûre, vous pouvez désactiver le fichier robots.txt sur votre site WordPress.

Par conséquent, le fichier robots.txt sera présent dans le répertoire de fichiers de votre site Web même s'il n'y aura aucune restriction pour que les robots des moteurs de recherche explorent et indexent votre site Web. Il existe plusieurs façons de désactiver le fichier robots.txt dans WordPress. Vous pouvez le faire directement depuis le tableau de bord WordPress ou modifier le fichier manuellement à l'aide d'un plugin, FTP ou cPanel.

1. Désactivez Robots.txt à partir du tableau de bord WordPress

Il est simple de désactiver le fichier robots.txt à partir de votre tableau de bord WordPress. Tout ce que vous avez à faire est d'aller dans Paramètres > Lecture depuis votre tableau de bord WordPress, de décocher l'option Visibilité du moteur de recherche et d'enregistrer les modifications .

Cela supprimera tout le contenu du fichier robots.txt de votre site Web WordPress et le remplacera par :

 Agent utilisateur: *
Refuser:

Par conséquent, cela empêchera les moteurs de recherche d'indexer votre site Web. Mais la décision d'honorer cette demande appartient aux moteurs de recherche.

2. Désactiver Robots.txt à l'aide d'un plugin

Vous pouvez également modifier et désactiver le fichier robots.txt à l'aide d'un plugin si vous utilisez déjà un plugin SEO de votre site WordPress. Cela peut vous faire gagner beaucoup de temps si vous ne voulez pas que les robots des moteurs de recherche indexent votre site à l'aide du fichier robots.txt.

Plusieurs plugins WordPress SEO vous permettent de modifier et de désactiver le fichier robots.txt. Mais nous utiliserons le plugin Rank Math SEO pour cette démonstration.

Il a une interface très simple pour éditer le fichier robots.txt. Il sera ainsi très facile d'éditer et de supprimer le contenu du fichier robots.txt de votre site WordPress pour le désactiver.

Si vous souhaitez utiliser un autre plugin SEO, vous pouvez le faire. Les étapes sont très similaires pour chaque plugin. Vous devez donc installer et activer le plugin avant de commencer à l'utiliser.

2.1. Installer et activer le plugin

Pour installer le plugin, allez dans Plugins > Ajouter un nouveau depuis votre tableau de bord WordPress et recherchez les mots-clés du plugin. Dès qu'il s'affiche dans les résultats de la recherche, cliquez sur Installer maintenant .

L'installation sera terminée en quelques secondes. Ensuite, cliquez sur Activer pour activer le plugin.

Vous pouvez également télécharger et installer manuellement le plugin si vous souhaitez utiliser des plugins SEO premium. Veuillez consulter notre guide sur l'installation manuelle d'un plugin WordPress si vous avez besoin d'aide.

2.2. Modifier et désactiver le fichier Robots.txt

Après avoir activé le plugin, accédez à Rank Math > General Settings depuis votre tableau de bord WordPress et ouvrez l'onglet Edit robots.txt file . Cela vous permettra de modifier les codes et les instructions que vous souhaitez inclure dans votre fichier robots.txt. Le plugin a même fourni un éditeur de texte ici pour ajouter ou supprimer les codes et les instructions sur votre fichier robots.txt.

Si vous avez déjà modifié ce fichier, vous pouvez voir plusieurs instructions ici en fonction des pages que vous ne voulez pas que les robots des moteurs de recherche explorent et indexent. D'autre part, s'il s'agit du fichier robots.txt par défaut créé par WordPress, vous verrez les détails suivants :

 Agent utilisateur: *
Interdire : /wp-admin/
Autoriser : /wp-admin/admin-ajax.php

Ici, tout ce que vous avez à faire est de supprimer tous les codes supplémentaires dans le fichier robots.txt et de laisser le fichier avec les instructions suivantes :

 Agent utilisateur: *
Refuser:

Après avoir ajouté l'instruction ci-dessus, cliquez sur Enregistrer les modifications .

C'est ça! Vous avez désactivé avec succès le fichier robots.txt à l'aide d'un plugin.

3. Désactivez Robots.txt à l'aide du client FTP ou de cPanel

Le fichier robots.txt peut également être désactivé à l'aide d'un client FTP ou cPanel . Pour cette approche, vous n'avez pas besoin de supprimer le contenu du fichier robots.txt de votre site Web WordPress. Cependant, vous devez créer un nouveau fichier robots.txt à l'aide de n'importe quel éditeur de texte et inclure uniquement les instructions suivantes :

 Agent utilisateur: *
Refuser:

Assurez-vous d'avoir enregistré le fichier sous " robots.txt ".

Il ne vous reste plus qu'à télécharger et remplacer le fichier robots.txt nouvellement créé par l'ancien à l'aide d'un client FTP ou cPanel.

Si vous souhaitez utiliser FTP , vous pouvez d'abord connecter votre site Web au client FTP en suivant les étapes mentionnées dans ce guide. Téléchargez ensuite le nouveau fichier robots.txt dans le répertoire racine ou dans le dossier « public_html ».

De même, si vous souhaitez utiliser cPanel pour désactiver le fichier robots.txt, vous pouvez d'abord vous connecter à votre compte cPanel et ouvrir le répertoire de fichiers . Vous pouvez suivre les étapes de la section "Supprimer Robots.txt de cPanel" de ce guide. Ensuite, accédez au dossier « public_html » et téléchargez le fichier robots.txt nouvellement créé ici.

Si vous avez besoin d'aide pour modifier ce fichier, consultez notre guide détaillé sur la modification de robots.txt dans WordPress.

Conclusion

Ce sont les différentes méthodes avec lesquelles vous pouvez désactiver ou supprimer le fichier robots.txt de votre site WordPress . Cela peut être pratique si des problèmes sont créés sur votre site Web en raison du fichier robots.txt. Le supprimer peut également vous être bénéfique si votre site Web est en phase de développement ou si vous souhaitez une indexation avancée.

Mais pour résumer, vous pouvez supprimer complètement le fichier robots.txt de votre site WordPress de deux manières principales :

• Utilisation du client FTP
• cPanel

Ces deux approches sont très efficaces pour supprimer le fichier robots.txt de votre site Web. Mais comme cela n'est généralement pas recommandé, vous pouvez également le désactiver si vous souhaitez rester en sécurité. Vous pouvez le désactiver à l'aide du tableau de bord WordPress ou le modifier à l'aide d'un plugin, FTP ou cPanel.

Alors pouvez-vous supprimer ou désactiver le fichier robots.txt maintenant ? Faites-nous savoir si vous l'avez déjà essayé.

En attendant, voici quelques guides supplémentaires qui peuvent vous aider à personnaliser ou à améliorer votre site Web WordPress :

• Comment configurer le référencement des mathématiques de rang ? Le droit chemin!
• Supprimer Yoast SEO de la base de données dans WordPress
• Comment améliorer le référencement WordPress