Cómo optimizar su WordPress Robots.txt para SEO

En este blog, aprenderemos algunos consejos sobre cómo puede mejorar el SEO de su sitio web optimizando el archivo robts.txt.

En realidad, el archivo Robots.txt juega un papel importante en términos de SEO porque les dice a los motores de búsqueda cómo se puede rastrear su sitio web. Esta es la razón por la cual los archivos Robot.txt se consideran una de las herramientas más poderosas de SEO.

Más adelante, también aprenderá cómo puede crear y optimizar WordPress Robots.txt para SEO.

¿Qué quieres decir con archivo robots.txt?

El archivo de texto creado por los propietarios de sitios web para decirles a los robots de los motores de búsqueda cómo pueden rastrear en su sitio web e indexar páginas se conoce como Robots.txt

En realidad, en el directorio raíz, se almacena este archivo. Este directorio también se denomina carpeta principal de su sitio web. A continuación se menciona el formato de archivo para el archivo robots.txt

 Agente de usuario: [nombre del agente de usuario]
No permitir: [cadena de URL que no debe rastrearse]
Agente de usuario: [nombre del agente de usuario]
Permitir: [Cadena de URL para rastrear]
Mapa del sitio: [URL de su mapa del sitio XML]

Para permitir o deshabilitar URL particulares, puede tener diferentes líneas de instrucciones. Además, también puede agregar diferentes mapas de sitio. Los bots de los motores de búsqueda considerarán que pueden rastrear las páginas si permiten una URL.
A continuación se muestra un ejemplo de robots.txt

 Agente de usuario: *
Permitir: /wp-content/uploads/
No permitir: /wp-content/plugins/
No permitir: /wp-admin/
Mapa del sitio: https://example.com/sitemap_index.xml

En el ejemplo anterior, hemos permitido rastrear las páginas mediante motores de búsqueda y obtener archivos de índice en la carpeta de cargas de WordPress.

Después de esto, no hemos permitido que los robots de búsqueda rastreen e indexen las carpetas y complementos de administración de WordPress.
Por último, hemos mencionado la URL del mapa del sitio XML.

Para su sitio web de WordPress, ¿necesita un archivo Robots.txt?

El motor de búsqueda comenzará a rastrear e indexar sus páginas incluso si no tiene el archivo de texto, es decir, Robots.txt. Pero desafortunadamente, no puede informar a su motor de búsqueda qué carpeta o página en particular debe rastrear.

No se beneficiará o no dejará ningún impacto si acaba de crear un sitio web o un blog con menos contenido.
Sin embargo, una vez que haya configurado su sitio web con mucho contenido y cuando comience a crecer, necesitará controlar las páginas rastreadas e indexadas de su sitio web.

La primera razón se da a continuación.

Para cada sitio web, los robots de búsqueda tienen una cuota de rastreo.

Esto significa claramente que durante la sesión de rastreo, rastreará el número específico de páginas. Suponga que el rastreo en su sitio web permanece incompleto, luego volverá una vez más y reanudará el rastreo en otra sesión.

Debido a esto, la tasa de indexación del sitio web de su sitio web será un enfrentamiento.

Puede solucionar este problema al no permitir que los robots de búsqueda rastreen las páginas que no son necesarias. Algunas páginas sin importancia pueden incluir archivos de complementos, páginas de administración de WordPress y carpetas de temas.

La cuota de rastreo se puede ahorrar al no permitir que se rastreen las páginas no deseadas. Este paso será más útil porque los motores de búsqueda ahora rastrearán las páginas del sitio web y podrán indexarlas lo antes posible.

Otra razón por la que debería utilizar y optimizar el archivo Robots.txt de WordPress se indica a continuación.

Siempre que necesite evitar que los motores de búsqueda indexen páginas o publicaciones en su sitio, puede usar este archivo.

En realidad, es una de las formas más inapropiadas de ocultar el contenido de su sitio web del público en general, pero demostrará ser el mejor apoyo para salvaguardarlos para que aparezcan en los resultados de búsqueda.

¿Cómo aparece el archivo Robots.txt?

La mayoría de los blogs populares utilizan un archivo robots.txt muy simple. El contenido puede diferir en comparación con los requisitos del sitio web en particular.

 Agente de usuario: *
Rechazar:
Mapa del sitio: http://www.example.com/post-sitemap.xml
Mapa del sitio: http://www.example.com/page-sitemap.xml
El archivo robots.txt permitirá que todos los bots indexen cada contenido y ofrezcan enlaces al sitio web del mapa del sitio XML.
Se mencionan las siguientes reglas que deben seguirse en los archivos robots.txt

Agente de usuario: *
Permitir: /wp-content/uploads/
No permitir: /wp-content/plugins/
No permitir: /wp-admin/
No permitir: /readme.html
No permitir: /referir/
Mapa del sitio: http://www.example.com/post-sitemap.xml
Mapa del sitio: http://www.example.com/page-sitemap.xml

Esto indicará al bot que indexe todos los archivos e imágenes de WordPress. Esto no permitirá que los robots de búsqueda indexen el área de administración de WordPress, los archivos de complementos de WordPress, los enlaces de afiliados y el archivo Léame de WordPress.

A los archivos robots.txt, puede agregar mapas de sitio que ayudarán a los robots de Google a reconocer todas las páginas de su sitio web.

Ahora que sabe cómo se ve el archivo robots.txt, ahora aprenderemos cómo se puede crear el archivo robots.txt en WordPress.

En WordPress, ¿cómo crear un archivo robots.txt?

Para crear un archivo robots.txt en WordPress hay muchas formas. Algunos de los métodos principales se enumeran a continuación, puede elegir cualquiera de ellos que funcione mejor para usted.

Método 1: Usando All in One SEO, modificando el archivo Robots.txt

All in One SEO es el complemento de WordPress para SEO más conocido en el mercado y es utilizado por más de 1 millón de sitios web.

El complemento All in One SEO es muy simple de usar y, por lo tanto, ofrece el generador de archivos robotx.txt. También es útil para optimizar WordPress Robots.txt

Si aún no ha integrado este complemento de SEO, instálelo y actívelo primero desde el panel de control de WordPress. La versión gratuita también está disponible para usuarios principiantes para que puedan utilizar sus funciones sin invertir dinero.

Después de activar el complemento, puede comenzar a usarlo para crear o modificar el archivo robots.txt directamente desde su área de administración de WordPress.

para usarlo

• Ir al Todo en Uno SEO
• Ahora para editar el archivo robots.txt, haga clic en las herramientas
• Ahora, al hacer clic en 'habilitar robots.txt personalizados', activará la opción de edición
• En WordPress, también puede crear un archivo robots.txt personalizado con esta opción.
• Ahora su archivo robots.txt existente será mostrado por el 'complemento SEO todo en uno' en la sección 'vista previa de robots.txt'. Esto se puede ver en la parte inferior de la pantalla web.

Por WordPress, la regla predeterminada que se agregó se mostrará en esta versión
Las reglas predeterminadas que aparecen sugieren a su motor de búsqueda que no necesitan rastrear los archivos principales de WordPress, ofrecer un enlace al sitio web del mapa del sitio XML y permitir que los bots indexen todo su contenido.

Para mejorar su robots.txt para SEO, se pueden agregar nuevas reglas personalizadas.

Agregue agente de usuario en el campo 'Agente de usuario' para agregar una regla. La regla se aplicará a todos los agentes de usuario mediante el uso de un *.
Ahora elija si desea permitir o no permitir que el motor de búsqueda rastree las páginas.

Ahora agregue la ruta del directorio, el nombre del archivo en el campo 'Ruta del directorio'.

A su archivo robots.txt, la regla se aplicará automáticamente. Haga clic en el botón 'agregar regla' para agregar una nueva regla.
A menos que cree un formato robotx.txt ideal, le sugerimos que agregue nuevas reglas.

Las reglas personalizadas agregadas por usted se verán como

Para almacenar sus cambios no deje de hacer clic en 'guardar cambios'

Método 2: Modifique el archivo Robots.txt manualmente con la ayuda de FTP

Otro método para optimizar WordPress Robots.txt es utilizar las características de los clientes FTP para comenzar a modificar el archivo robots.txt.

Simplemente necesita conectarse con su cuenta de alojamiento de WordPress con la ayuda de un cliente FTP

Después de iniciar sesión, en la carpeta raíz del sitio web, podrá ver el archivo robots.txt.

Si no puede encontrarlo, significa que no tiene el archivo robots.txt

En tal situación, debe crear el archivo robot.txt.

Como se mencionó anteriormente, el archivo robots.txt suele ser un archivo de texto simple que se puede descargar en su computadora. Sin embargo, incluso puede modificarlo con la ayuda de un editor de texto sin formato como TextEdit, Notepad o WordPad.

Una vez que haya realizado todos los cambios, ahora es el momento de guardarlo. Puede cargar este archivo en la carpeta raíz de su sitio web.

¿Cómo puede realizar pruebas en su archivo Robots.txt?

Puede realizar pruebas con la ayuda de la herramienta de prueba de robots.txt.

En la web, encontrará muchas herramientas de prueba de robots.txt. Uno de los mejores es Google Search Console.
Para trabajar con esta herramienta, primero debe tener un sitio web que esté conectado con la consola de búsqueda de Google. Después de esto, puede comenzar a utilizar sus funciones.

De la lista desplegable, solo necesita seleccionar su propiedad.

Sin embargo, seleccionará automáticamente el archivo robots.txt de su sitio web y resaltará todas las advertencias y errores. Esta es una de las mejores herramientas que lo ayudan a optimizar el archivo WordPress Robots.txt muy fácilmente.

Conclusión:
El lema principal de optimizar este archivo robots.txt es proteger las páginas para que no las rastreen. Por ejemplo, páginas en la carpeta de administración de WordPress o páginas en la carpeta wp-plugin.

El mito más común es que puede mejorar la tasa de rastreo y hacer que se indexe más rápido y obtener una clasificación más alta al bloquear la categoría de WordPress, lograr páginas y etiquetas.

Pero esto no funcionará ya que saldrá mal según las pautas para webmasters de Google.

Le recomendamos encarecidamente que lea y considere todos los puntos mencionados anteriormente.

Esperamos que este blog lo ayude a crear un archivo robots.txt con el formato adecuado para su sitio web. Y te ayudará a optimizar WordPress Robots.txt.