Cómo editar robots.txt en WordPress (con y sin complementos)

¿Está buscando las formas más efectivas de editar robots.txt en WordPress ? Son cruciales si desea que los rastreadores de motores de búsqueda conozcan las páginas y secciones de su sitio web que deben rastrear e indexar.

Aunque WordPress genera un archivo robots.txt para su sitio web de forma predeterminada, es posible que deba cambiarlo para administrar lo que pueden ver los motores de búsqueda. Si no está familiarizado con robots.txt, no se preocupe. Explicaremos qué es robots.txt y por qué es esencial editarlo, junto con las diversas formas de editarlo en su sitio web de WordPress con este tutorial.

Entonces, profundicemos para comprender qué es robots.txt.

¿Qué es Robots.txt?

Robots.txt es un archivo de texto sin formato en el directorio raíz de su sitio web que contiene instrucciones para robots web o bots en qué páginas o áreas de su sitio deben rastrear e indexar . El archivo indica a los motores de búsqueda si las páginas o secciones deben indexarse ​​o no en función de la normativa específica del sitio web.

Por ejemplo, los rastreadores web, como los rastreadores web de Google, revisan los sitios web regularmente para actualizar su índice de páginas. Estos rastreadores web de Google, también conocidos como Googlebot, siguen las instrucciones indicadas en el archivo robots.txt para verificar el sitio web.

El propósito principal del archivo robots.txt es ayudar a los webmasters a controlar a qué información pueden acceder los motores de búsqueda en sus sitios. Puede usar el archivo para evitar que los bots accedan a sitios o directorios específicos. Pero tenga en cuenta que es posible que algunos bots, aparte de Googlebot y otros rastreadores web de renombre, no sigan las directrices del archivo.

¿Por qué debería editar el archivo Robots.txt?

Hay varios beneficios de editar su archivo robots.txt en WordPress. Aquí hay algunas consideraciones:

• Bloquee los bots no deseados: algunos bots pueden no ser beneficiosos para su sitio web o pueden consumir recursos valiosos en su servidor. Esto puede resultar en tiempos lentos de carga del sitio web y degradar el rendimiento de su sitio. Por lo tanto, editar su archivo robots.txt puede ayudarlo a evitar que bots no deseados rastreen su sitio y mejorar la velocidad general de su sitio web.
• Proteja la información confidencial: Ciertas páginas de su sitio web pueden contener información confidencial que no desea que los motores de búsqueda indexen. Esto puede incluir datos personales, información comercial confidencial, contenido protegido con contraseña o incluso contenido legal o relacionado con el cumplimiento.
  Puede evitar que estas páginas se rastreen e indexen editando su archivo robots.txt. Esto incluso ayudará a proteger la privacidad y seguridad de su sitio web.
• Dirija los bots a páginas específicas : también puede usar robots.txt para dirigir los bots a las páginas particulares de su sitio web que desea que los motores de búsqueda rastreen e indexen. Esto le permite priorizar las páginas que desea clasificar más alto en los resultados del motor de búsqueda.
• Evite la indexación de contenido duplicado: es posible que tenga páginas en su sitio web con contenido similar, como páginas de categorías o etiquetas. Si es así, puede usar el archivo robots.txt para evitar que los robots de los motores de búsqueda los indexen. Esto puede ayudar a evitar problemas de contenido duplicado que impactan negativamente en la clasificación de los motores de búsqueda de su sitio web.

Ahora que comprende qué es el archivo robots.txt y por qué es esencial, pasemos a la siguiente sección, donde le mostraremos cómo personalizarlo.

Cómo editar Robots.txt en WordPress

Puede editar el archivo robots.txt de 3 formas principales en WordPress:

1. Usando un cliente FTP
2. cPanel
3. con un complemento

Veremos cada uno de estos enfoques en detalle. Pero si utiliza el enfoque de cliente FTP o cPanel , primero deberá crear un archivo robots.txt manualmente .

WordPress crea un archivo virtual robots.txt de forma predeterminada cuando inicia su sitio. Se puede acceder agregando la ruta “ /robots.txt ” al final de su dominio.

Por ejemplo, puede acceder al archivo robots.txt de QuadLayers usando el enlace: "https://quadlayers.com/robots.txt".

Sin embargo, no usamos el archivo robots.txt predeterminado. Ha sido editado para satisfacer las necesidades específicas de QuadLayers. Pero el archivo robots.txt predeterminado creado por WordPress incluye solo la siguiente información:

 Agente de usuario: *
No permitir: /wp-admin/
Permitir: /wp-admin/admin-ajax.php

Desafortunadamente, no puede editar este archivo ya que es virtual . Para editar el archivo robots.txt de su sitio web de WordPress, debe crear uno manualmente.

Para hacerlo, puede usar cualquier editor de texto para crear un archivo vacío y guardar el archivo como " robots.txt ".

Alternativamente, si desea usar un complemento SEO para editar el archivo, puede hacerlo automáticamente a través del complemento. Aprenderemos esto más adelante en esta guía.

No obstante, su archivo robots.txt debe contener la misma información sin importar el enfoque que utilice. Entonces, veamos qué debe incluirse también en el archivo robots.txt.

¿Qué incluir en el archivo Robots.txt?

Para asegurarse de que los motores de búsqueda indexen correctamente su sitio web, aquí hay algunos comandos de código o directivas que puede incluir en su archivo robots.txt:

• User-agent: Esto identifica el motor de búsqueda o bot al que se aplican las instrucciones. Puede incluir uno o más agentes de usuario en su archivo robots.txt, según los bots que desee controlar. Por ejemplo, "User-agent: Googlebot" se refiere al rastreador web de Google.
• Disallow: esta directiva les dice a los bots qué páginas o directorios los bots de los motores de búsqueda no deben rastrear ni indexar. Puede especificar páginas individuales o directorios completos. Por ejemplo, "Disallow: /wp-admin/" impediría que todos los bots rastrearan páginas dentro del directorio de administración de WordPress.
• Mapa del sitio: esta directiva le dice a los bots dónde encontrar el archivo del mapa del sitio de su sitio web. El archivo del mapa del sitio enumera todas las páginas de su sitio que desea que indexen los motores de búsqueda.

También puede usar la directiva " permitir " en el archivo robots.txt. Les dice a los bots qué páginas o directorios deben rastrear o indexar. Sin embargo, recuerde que es opcional y debe usarse solo cuando sea necesario.

Este es un ejemplo de un archivo robots.txt básico:

 Agente de usuario: *
No permitir: /wp-admin/
No permitir: /wp-incluye/
Mapa del sitio: https://www.example.com/sitemap.xml

En este ejemplo, el agente de usuario se establece en "*", lo que significa que las instrucciones se aplican a todos los bots. La directiva "no permitir" impide que los bots rastreen el administrador de WordPress y los directorios "wp-include". De manera similar, la directiva del mapa del sitio especifica la ubicación del archivo del mapa del sitio.

Ahora que tiene una comprensión básica de qué incluir en el archivo robots.txt, puede agregar todas las páginas web que no desea que los bots rastreen o indexen. Finalmente, guarde el archivo.

1) Edite Robots.txt usando un cliente FTP

Para editar robots.txt en WordPress usando un cliente FTP, debe instalar un cliente FTP y conectar su sitio web. Hay muchos clientes FTP como FileZilla y Cyberduck que puedes usar para este método. Pero usaremos FileZilla para este tutorial.

1.1) Conecte su sitio web de WordPress a FTP

Después de instalar el cliente FTP, abra la aplicación y vaya a Archivo > Administrador del sitio . También puede abrir el administrador del sitio presionando Ctrl+S en su teclado.

Luego, haga clic en Nuevo sitio e ingrese el nombre de su sitio web en Mis sitios .

Ahora, abra la pestaña General e ingrese las credenciales de su sitio. Puede obtener las credenciales para conectar su sitio web a FileZilla desde su servicio de alojamiento.

Después de ingresar las credenciales, haga clic en Conectar .

Puede acceder al directorio de archivos del sitio desde su computadora después de que el sitio esté conectado. Así que avancemos y carguemos el archivo robots.txt desde su computadora a su sitio web.

1.2) Sube el archivo Robots.txt a WordPress

Una vez que conecte su sitio con el cliente FTP, debe navegar hasta el directorio raíz de su sitio web, ya que aquí es donde debe ubicarse el archivo robots.txt.

El archivo raíz también se denomina archivo “ public_html ”.

Puede cargar el archivo robots.txt creado recientemente aquí. Si ya existe un archivo robots.txt en este archivo, reemplácelo.

¡Eso es todo!

Ahora todo lo que tiene que hacer es probar el archivo robots.txt agregando la ruta “/robots.txt” al final del dominio, tal como le mostramos en los ejemplos anteriores.

2) Editar Robots.txt usando cPanel

Editar el archivo robots.txt con cPanel es muy similar al enfoque del cliente FTP. Primero, debe iniciar sesión en el cPanel de su sitio web. Nuevamente, su servicio de alojamiento ya debería haber proporcionado todas las credenciales de inicio de sesión necesarias.

Después de iniciar sesión en el cPanel, desplácese hasta la sección Archivos y haga clic en Administrador de archivos .

Luego, navegue hasta el directorio de archivos " public_html " y cargue aquí el archivo robots.txt creado recientemente. Una vez más, si ya existe un archivo robots.txt aquí, debe reemplazarlo con el recién editado.

Finalmente, pruebe su archivo robots.txt agregando la ruta "/robots.txt" al final de su dominio.

3) Edite Robots.txt usando un complemento

Si desea ahorrarse mucho tiempo y molestias al editar la página robots.txt, también puede usar un complemento. Varios complementos de SEO como Yoast SEO, All in One SEO y Rank Math SEO le permiten crear y editar el archivo robots.txt.

Puede consultar nuestra lista completa de los mejores complementos SEO de WordPress si necesita más información para ayudarlo a decidir el complemento que desea usar.

Pero usaremos el complemento Rank Math SEO para esta demostración. Es uno de los complementos de SEO más populares y tiene una interfaz muy sencilla para editar el archivo robots.txt. Entonces, comencemos instalando el complemento.

3.1) Instalar y activar el complemento

Para instalar el complemento, debe ir a Complementos> Agregar nuevo desde su panel de WordPress y buscar primero las palabras clave del complemento. Después de ver el complemento en los motores de búsqueda, haga clic en Instalar ahora . La instalación tomará solo unos momentos.

Tan pronto como se complete la instalación, haga clic en Activar para activar el complemento.

Si desea utilizar alguno de los complementos premium, debe cargarlo manualmente. Puede consultar nuestra guía detallada sobre cómo instalar un complemento de WordPress manualmente para obtener más información.

Además, si encuentra algún problema al configurar Rank Math SEO, incluso tenemos una guía específica sobre cómo configurar Rank Math.

3.2) Editar archivo Robots.txt

Después de activar el complemento, vaya a Rank Math > Configuración general desde su panel de WordPress y seleccione la pestaña Editar archivo robots.txt . Puede ver que el complemento ha proporcionado su editor de texto para que edite el archivo robots.txt en esta sección.

Aquí, debe agregar todos los códigos y comandos según las páginas web que desea que los bots rastreen e indexen. Si necesita ayuda con esto, hemos proporcionado todas las pautas necesarias en este tutorial en uno de los pasos anteriores.

Una vez que haya agregado todos los comandos y directivas necesarios para el archivo robots.txt, haga clic en Guardar cambios .

¡Excelente! Ahora, si agrega la ruta "/robots.txt" al final del dominio, verá que el archivo se ha actualizado en consecuencia. Por lo tanto, los robots de los motores de búsqueda solo visitarán las páginas web que haya permitido según el archivo robots.txt.

Conclusión

Así es como puedes crear y editar el archivo robots.txt en WordPress . Es esencial hacerlo si no desea que los robots de los motores de búsqueda revisen contenido confidencial o duplicado de su sitio web. El archivo robots.txt también se puede usar para dirigir a los bots a rastrear e indexar páginas específicas de su sitio web.

Para resumir, puede editar el archivo robots.txt de tres formas principales:

• Usando un cliente FTP
• cPanel
• con un complemento

Usar el cliente FTP y cPanel es muy similar . Todo lo que tiene que hacer es iniciar sesión en cPanel o conectar su sitio web con el cliente FTP y cargar el archivo robots.txt. Luego, debe cargar el archivo robots.txt que creó manualmente anteriormente.

Por otro lado, el archivo robots.txt se agregará automáticamente a tu sitio web si usas un complemento . Los complementos incluso proporcionan un editor de texto para ayudarlo a editar el archivo robots.txt.

Entonces, ¿puede editar el archivo robots.txt para su sitio web ahora? Cuéntanos en los comentarios si alguna vez lo has probado.

Mientras tanto, si este artículo le resultó útil, aquí hay algunas publicaciones más que puede usar para personalizar o mejorar su sitio web de WordPress:

• Cómo mejorar el SEO de WordPress: 9 formas
• Los mejores complementos SSL de WordPress (gratuitos y de pago)
• Cómo agregar meta descripciones en WordPress