Cómo eliminar Robots.txt de WordPress

¿Quieres eliminar robots.txt de WordPress ? El archivo robots.txt es esencial para evitar que los robots de los motores de búsqueda indexen ciertas páginas de su sitio web. Pero si no está configurado correctamente, esto puede causar problemas para su sitio, por lo que es posible que deba eliminarlo.

Entonces, antes de sumergirnos en el proceso de eliminación, debe tener una comprensión más clara del archivo robots.txt y por qué es posible que deba eliminarlo.

¿Qué es Robots.txt?

El robots.txt es un archivo de su sitio web de WordPress que contiene las pautas para los robots de los motores de búsqueda sobre qué áreas o páginas de su sitio web deben indexarse ​​y rastrearse . También informa a los motores de búsqueda mediante reglas e instrucciones específicas sobre si las páginas y secciones de su sitio web deben indexarse.

Si consideramos un ejemplo del mundo real, los rastreadores web de Google, también conocidos como Googlebot, analizan regularmente los sitios web para mantener actualizado el índice de su página. Estos rastreadores web siguen las instrucciones descritas en el archivo robots.txt mientras escanean el sitio web. Luego, indexan y rastrean las páginas y áreas de su sitio web de acuerdo con las pautas mencionadas en el archivo robots.txt.

De la misma manera, los bots de los motores de búsqueda de todos los demás rastreadores web conocidos indexan y rastrean su sitio web utilizando el archivo robots.txt. El archivo es útil para restringir el acceso de los bots a ciertas áreas, páginas o directorios del sitio web. Pero al mismo tiempo, puede beneficiarse eliminando o deshabilitando el archivo robots.txt de su sitio web de WordPress en algunos casos.

¿Por qué debería eliminar Robots.txt de WordPress?

Hay muchas razones para considerar eliminar o deshabilitar el archivo robots.txt de su sitio web de WordPress. Éstos son algunos de ellos:

• Restricciones no deseadas: el archivo robots.txt a veces puede contener reglas que restringen involuntariamente a los rastreadores de motores de búsqueda para que no accedan a páginas o secciones esenciales de su sitio web. Esto puede afectar negativamente la visibilidad de su sitio en los resultados del motor de búsqueda y afectar la clasificación de su sitio.
• Sitios de desarrollo o ensayo: si tiene un sitio de desarrollo o ensayo con fines de prueba, es posible que no desee que los motores de búsqueda indexen estos sitios. Por lo tanto, si elimina el archivo robots.txt, puede asegurarse de que los rastreadores del motor de búsqueda no indexen ni muestren estos sitios en los resultados de búsqueda. Esto le permite concentrarse en probar y refinar su sitio durante el desarrollo inicial y el proceso de prueba sin el riesgo de que los usuarios lo vean públicamente.
• Indexación mejorada: los rastreadores de motores de búsqueda pueden acceder libremente e indexar las páginas y el contenido de su sitio web cuando elimina el archivo robots.txt. Para que puedan descubrir e incluir una gama más amplia del contenido de su sitio en su índice. Esto puede ser beneficioso si desea garantizar la máxima visibilidad y visibilidad del contenido de su sitio web.
• Conflictos de complementos: los conflictos entre complementos específicos de su sitio web de WordPress y el archivo robots.txt a veces pueden provocar problemas o errores inesperados. Por lo tanto, eliminar el archivo robots.txt puede ayudar a resolver tales conflictos y garantizar el buen funcionamiento de su sitio de WordPress.

Sin embargo, es importante tener en cuenta que eliminar el archivo robots.txt no es una decisión que deba tomarse a la ligera y, por lo general, no se recomienda. Considere las implicaciones y consulte con un experto antes de continuar si no está seguro de su impacto en el rendimiento de SEO de su sitio web.

Cómo eliminar Robots.txt de WordPress

Puede eliminar o deshabilitar el archivo robots.txt de WordPress de dos maneras principales :

1. Usando el cliente FTP
2. cPanel

Revisaremos estos métodos en detalle con una guía paso a paso para eliminar robots.txt de WordPress. Ambas formas son similares entre sí. Pero primero debe acceder al FTP o al cPanel de su sitio web.

Nota: antes de eliminar el archivo robots.txt de su sitio web, asegúrese de hacer una copia del mismo. Luego, puede volver a cargar el archivo original en su sitio web si realiza cambios no intencionales durante el procedimiento, lo que puede generar errores o fallas.

1. Eliminar Robots.txt usando el cliente FTP

Usar un cliente FTP para eliminar robots.txt de su sitio web de WordPress es fácil. Puede acceder a FTP para WordPress usando un cliente FTP como FileZilla o Cyberduck. Luego, puede comenzar a editar los archivos de su sitio web usándolo.

Usaremos el cliente FTP FileZilla para este tutorial que puede descargar e instalar en su computadora desde su sitio web. Pero eres libre de usar cualquier cliente FTP que te guste. Los pasos son casi idénticos entre sí.

Después de instalar el cliente FTP, debe conectar su sitio web al cliente FTP. Así que abra la aplicación FileZilla en su computadora y vaya a Archivo > Administrador del sitio desde la esquina superior izquierda de la barra de menú. También puede usar el atajo de teclado Ctrl+S en su teclado para acceder al administrador del sitio.

Luego, haga clic en Nuevo sitio e ingrese el nombre de su sitio web en Mis sitios .

Ahora, abra la pestaña General en el lado derecho de su pantalla, donde deberá ingresar las credenciales para conectar su sitio con el cliente FTP. Si no tiene las credenciales requeridas, puede pedírselas a su proveedor de alojamiento.

Después de ingresar las credenciales, haga clic en Conectar .

Ahora tendrá acceso al directorio de archivos de su sitio web desde donde puede eliminar el archivo robust.txt de su sitio web de WordPress. El archivo robots.txt se encuentra en el directorio raíz de su sitio web, también llamado carpeta “ public_html ”. Puede navegar hasta él usando Filezilla Explorer.

Una vez que encuentre el archivo robots.txt, haga clic derecho en el archivo y seleccione Eliminar .

¡Eso es todo! Ha eliminado con éxito el archivo robots.txt de su sitio web de WordPress.

2. Eliminar Robots.txt de cPanel

Si desea un enfoque más directo para eliminar manualmente el archivo robots.txt de su sitio web de WordPress, puede usar cPanel. Todo lo que tiene que hacer es iniciar sesión en su cuenta de cPanel utilizando el enlace proporcionado por su proveedor de alojamiento. Nuevamente, puede comunicarse con su proveedor de alojamiento si no tiene las credenciales y los detalles necesarios.

Después de iniciar sesión en el cPanel, desplácese hasta la sección Archivos y haga clic en Administrador de archivos . Ahora puede acceder a todos los archivos de su sitio web de WordPress.

Luego, navegue hasta el directorio raíz o la carpeta " public_html " ya que el archivo robots.txt está aquí. Ahora, seleccione el archivo robots.txt y haga clic en Eliminar en la barra de menú del administrador de archivos.

¡Excelente! Su archivo robots.txt ahora se eliminó de su sitio web de WordPress.

¿Cómo deshabilitar Robots.txt en WordPress?

Los enfoques mencionados anteriormente pueden ayudarlo a eliminar el archivo robots.txt de su sitio web de WordPress. Pero generalmente no se recomienda ya que el archivo es muy importante para su SEO. Entonces, si desea una opción más segura, puede deshabilitar el archivo robots.txt en su sitio web de WordPress.

Como resultado, el archivo robots.txt estará presente en el directorio de archivos de su sitio web incluso si no habrá restricciones para que los robots de los motores de búsqueda rastreen e indexen su sitio web. Hay varias formas de deshabilitar el archivo robots.txt en WordPress. Puede hacerlo directamente desde el tablero de WordPress o editar el archivo manualmente usando un complemento, FTP o cPanel.

1. Deshabilite Robots.txt desde el Panel de WordPress

Es sencillo deshabilitar el archivo robots.txt desde su panel de WordPress. Todo lo que tienes que hacer es ir a Configuración > Lectura desde tu panel de WordPress, desmarcar la opción Visibilidad del motor de búsqueda y guardar los cambios .

Esto eliminará todo el contenido del archivo robots.txt en su sitio web de WordPress y lo cambiará a:

 Agente de usuario: *
Rechazar:

Por lo tanto, esto evitará que los motores de búsqueda indexen su sitio web. Pero la decisión de cumplir con esta solicitud recae en los motores de búsqueda.

2. Deshabilite Robots.txt usando un complemento

También puede editar y deshabilitar el archivo robots.txt usando un complemento si ya usa un complemento SEO de su sitio web de WordPress. Esto puede ahorrar mucho tiempo si no desea que los robots de los motores de búsqueda indexen su sitio utilizando el archivo robots.txt.

Varios complementos SEO de WordPress le permiten editar y deshabilitar el archivo robots.txt. Pero usaremos el complemento Rank Math SEO para esta demostración.

Tiene una interfaz muy sencilla para editar el archivo robots.txt. Esto hará que sea muy fácil editar y eliminar el contenido del archivo robots.txt de tu sitio web de WordPress para desactivarlo.

Si desea utilizar cualquier otro complemento de SEO, puede hacerlo. Los pasos son muy similares a cada plugin. Por lo tanto, debe instalar y activar el complemento antes de comenzar a usarlo.

2.1. Instalar y activar el complemento

Para instalar el complemento, vaya a Complementos> Agregar nuevo desde su panel de WordPress y busque las palabras clave del complemento. Tan pronto como se muestre en los resultados de búsqueda, haga clic en Instalar ahora .

La instalación se completará en solo unos segundos. Luego, haga clic en Activar para activar el complemento.

También puede cargar e instalar manualmente el complemento si desea utilizar cualquier complemento SEO premium. Consulte nuestra guía sobre la instalación manual de un complemento de WordPress si necesita ayuda.

2.2. Editar y deshabilitar el archivo Robots.txt

Después de activar el complemento, vaya a Rank Math > Configuración general desde su panel de WordPress y abra la pestaña Editar archivo robots.txt. Esto le permitirá editar los códigos y las instrucciones que desea incluir en su archivo robots.txt. El complemento incluso ha proporcionado un editor de texto aquí para agregar o eliminar los códigos e instrucciones en su archivo robots.txt.

Si ha editado este archivo anteriormente, es posible que vea varias instrucciones aquí según las páginas que no desea que los robots de los motores de búsqueda rastreen e indexen. Por otro lado, si este es el archivo robots.txt predeterminado que creó WordPress, verá los siguientes detalles:

 Agente de usuario: *
No permitir: /wp-admin/
Permitir: /wp-admin/admin-ajax.php

Aquí, todo lo que tienes que hacer es eliminar todos los códigos adicionales en el archivo robots.txt y dejar el archivo con las siguientes instrucciones:

 Agente de usuario: *
Rechazar:

Después de agregar la instrucción anterior, haga clic en Guardar cambios .

¡Eso es todo! Ha deshabilitado con éxito el archivo robots.txt usando un complemento.

3. Deshabilite Robots.txt usando FTP Client o cPanel

El archivo robots.txt también se puede desactivar usando un cliente FTP o cPanel . Para este enfoque, no tiene que eliminar ningún contenido del archivo robots.txt de su sitio web de WordPress. Sin embargo, debe crear un nuevo archivo robots.txt con cualquier editor de texto e incluir solo las siguientes instrucciones :

 Agente de usuario: *
Rechazar:

Asegúrese de guardar el archivo como " robots.txt ".

Ahora todo lo que tiene que hacer es cargar y reemplazar el archivo robots.txt recién creado con el anterior usando un cliente FTP o cPanel.

Si desea utilizar FTP , primero puede conectar su sitio web con el cliente FTP siguiendo los pasos mencionados en esta guía. Luego, cargue el nuevo archivo robots.txt en el directorio raíz o en la carpeta " public_html ".

Del mismo modo, si desea utilizar cPanel para deshabilitar el archivo robots.txt, primero puede iniciar sesión en su cuenta de cPanel y abrir el directorio de archivos . Puede seguir los pasos de la sección "Eliminar Robots.txt de cPanel" de esta guía. Luego, navegue a la carpeta “ public_html ” y cargue el archivo robots.txt recién creado aquí.

Si necesita ayuda para editar este archivo, consulte nuestra guía detallada sobre la edición de robots.txt en WordPress.

Conclusión

Estos son los diversos métodos con los que puedes deshabilitar o eliminar el archivo robots.txt de tu sitio web de WordPress . Puede ser útil si se crean problemas en su sitio web debido al archivo robots.txt. Eliminarlo también puede beneficiarlo si su sitio web se encuentra en la etapa de desarrollo o si desea una indexación avanzada por completo.

Pero para resumir, puede eliminar por completo el archivo robots.txt de su sitio web de WordPress de dos maneras principales:

• Usando el cliente FTP
• cPanel

Ambos enfoques son muy efectivos para eliminar el archivo robots.txt de su sitio web. Pero como esto no suele recomendarse, también puedes desactivarlo si quieres estar más seguro. Puede deshabilitarlo usando el tablero de WordPress o editarlo usando un complemento, FTP o cPanel.

Entonces, ¿puede eliminar o deshabilitar el archivo robots.txt ahora? Háganos saber si alguna vez lo ha probado.

Mientras tanto, aquí hay algunas guías más que pueden ayudarlo a personalizar o mejorar su sitio web de WordPress:

• ¿Cómo configurar el SEO matemático de clasificación? ¡La direccion correcta!
• Eliminar Yoast SEO de la base de datos en WordPress
• Cómo mejorar el SEO de WordPress