Cómo optimizar su WordPress Robots.txt (Guías avanzadas)

Muchos de ustedes pueden haber oído hablar del archivo robots.txt, pero ¿sabe dónde está y cómo se ve? Lo más importante, ¿sabe cómo optimizar su archivo robot.txt de WordPress para impulsar el SEO?

Este artículo cubrirá estas preguntas para brindarle una imagen correcta y clara del archivo robots.txt de WordPress. A partir de ahí, puede utilizar el archivo para aumentar su visibilidad en línea en las SERP u ocultar su contenido confidencial a la vista del público.

Comenzaremos con la ubicación de robots.txt, sus ejemplos, resaltaremos formas de editar el archivo, luego terminaremos esta publicación con consejos avanzados sobre la optimización de robots.txt de WordPress.

¡Vamos a sumergirnos!

• ¿Dónde está la ubicación de WordPress robot.txt?
• ¿Cómo editar robot.txt en WordPress?
• Cómo optimizar su archivo Robots.txt de WordPress para SEO

¿Dónde está la ubicación de WordPress robots.txt?

El archivo robots.txt reside en la carpeta raíz de su sitio web. Su deber principal es guiar a los robots de los motores de búsqueda sobre cómo rastrear e indexar su sitio. En particular, niega el acceso del motor de búsqueda a ciertos archivos y carpetas.

Muchos propietarios de sitios de WordPress utilizan el archivo robots.txt para desalentar la indexación de búsqueda . Eso suena contradictorio, ¿verdad? Teniendo en cuenta el hecho de que el SEO o ganar la primera posición en las SERP juega un componente crítico en el éxito de los negocios en línea.

Aún así, si su sitio está en el modo de desarrollo, o contiene contenido personal o de baja calidad, robot.txt resulta útil para rastrear e indexar ese contenido. Desde aquí, puede optimizar su archivo robots.txt de WordPress para priorizar sus principales páginas de destino, como páginas de ventas, páginas de productos o publicaciones patrocinadas.

En la misma nota, también puede optimizar su cuota de rastreo . Cuota de rastreo, o presupuesto de rastreo, se refiere a la cantidad de páginas en su sitio de WordPress que los robots de Google rastrean en un momento dado. Permitir que sus páginas importantes rastreen el presupuesto ayuda a que se indexen y clasifiquen rápidamente en la primera página de resultados de búsqueda.

Sin embargo, tenga en cuenta la optimización del archivo robots.txt, ya que puede dañar su SEO si no se hace bien.

Ejemplo de WordPress Robots.txt

Puede ver el archivo robots.txt de cualquier sitio web agregando /robots.txt al final del nombre de dominio. Entonces, un archivo robots.txt se verá así.

El agente de usuario en un archivo robots.txt es el motor de búsqueda que lee el archivo robots.txt. Si en el user-agent está marcado con un asterisco, significa que da luz verde a todos los motores de búsqueda.

En los archivos robots.txt, permite y no permite indicar a los bots qué páginas y contenido pueden y no pueden rastrear. Como puede ver, hemos permitido que los motores de búsqueda rastreen e indexen archivos en nuestro administrador de WordPress-ajax y no permitimos el acceso a complementos y carpetas de administración.

Un mapa del sitio es un archivo XML que contiene una lista y detalles de todas las páginas de su sitio web.

¿Cómo editar Robots.txt en WordPress?

La forma más fácil de editar robots.txt en WordPress es usando complementos. Hay varios complementos de SEO robustos que se destacan por ayudarlo a editar el archivo robots.txt, SEO todo en uno, YoastSEO, RankMath, etc., solo por nombrar algunos.

Aparte de eso, también puede buscar ayuda de los complementos que se desarrollan únicamente para optimizar su archivo robots.txt de WordPress, como Virtual Robots.txt, la optimización de WordPress Robots.txt y muchos más.

Alternativamente, es posible que edite el archivo manualmente a través de FTP Client. Primero, debe conectar su proveedor de alojamiento de WordPress mediante un cliente FTP. Después de eso, ubique el archivo robots.txt en el directorio raíz de su sitio web.

Si no ve el archivo robot.txt allí, es probable que su sitio no lo tenga. No te asustes, solo crea uno nuevo. Haga clic derecho y elija "Crear nuevo archivo" y luego descárguelo a su escritorio. Robots.txt es un archivo de texto sin formato, lo que significa que puede descargarlo y editarlo normalmente como otros archivos con editores de texto como Wordpad o Notepad.

Después de eso, actualice sus cambios, cargue su archivo robots.txt editado a la carpeta raíz nuevamente y listo.

Pruebe su archivo Robots.txt

Debe asegurarse de que su archivo robot.txt funcione normalmente después de la edición. Si se produce algún error, puede tener como consecuencia que su sitio web quede excluido de las páginas de resultados de búsqueda.

Entre una amplia gama de herramientas de prueba de robots.txt, le recomendamos que use Google Search Console, que le permite probar su archivo robots.txt de forma gratuita.

Asegúrese de haber enviado la URL de su sitio web a Google Search Console para que la herramienta verifique su autenticación. De lo contrario, consulte nuestra guía sobre cómo enviar su sitio a los motores de búsqueda.

Entonces puede usar la herramienta de prueba de robots de Google Search Console. Una vez que selecciona una propiedad en el menú desplegable, la herramienta de inmediato revisa el archivo y luego le notifica si hay errores y advertencias.

Más que eso, la herramienta le permite ingresar a una determinada página en su sitio y luego seleccionar un agente de usuario específico para verificar si esa página está bloqueada o si la indexación es aceptada.

Puede editar el archivo directamente en la herramienta y volver a ejecutar la prueba. Sin embargo, el archivo real aún permanece sin cambios. Es posible que deba copiar la edición y pegarla en el archivo real y guardarlo allí.

Cómo optimizar su archivo Robots.txt de WordPress para SEO

Se recomienda enfáticamente rechazar selectivamente algunas de sus páginas confidenciales, como /wp-admin/ , /wp-content/plugins/ , /trackback/ y /readme.html , mientras que el resto permanece "permitido".

Además, puede optimizar su archivo robots.txt de WordPress agregándole su mapa del sitio. Si bien WordPress proporciona su propio mapa del sitio, puede usar complementos de SEO como YoastSEO o All in One SEO para crear uno personalizado. Le dan el poder de crear mapas de sitio separados para publicaciones y páginas.

En ese momento, agregar estos mapas de sitio a su archivo robots.txt impulsará el rastreo de bots de manera más rápida y sencilla.

Además de eso, a pesar de la idea de optimización, se recomienda encarecidamente no tocar ni editar en exceso el archivo robots.txt. Esto se debe a que cambiar demasiado en el archivo puede dañar la estructura de su página y no informar a los bots sobre cómo evitar que rastreen su sitio.

Entonces, menos es más. Solo necesita concentrarse en su mapa del sitio y descubrir primero sus páginas principales.

¡Aumente su visibilidad en línea ahora!

Robots.txt es un archivo importante que le permite optimizar estratégicamente su cuota de rastreo y ocultar el contenido privado de la indexación de búsqueda.

Este artículo le ha mostrado qué es un archivo robots.txt, dónde encontrarlo y cómo editarlo. También le hemos presentado cómo optimizar su archivo robots.txt de WordPress para SEO. El caso es que cuanta menos edición haya en robots.txt, mejor. Y no olvide agregar un mapa del sitio personalizado al archivo para aumentar la visibilidad de su página clave.

¿Que estas esperando? ¡Aumente su visibilidad en línea con el archivo robot.txt ahora!