Cómo desalentar a los motores de búsqueda de indexar su sitio de WordPress

Los motores de búsqueda utilizan rastreadores o robots web para rastrear e indexar su sitio web. Para muchos propietarios de sitios web, la indexación del contenido de su sitio web es crucial para aumentar su visibilidad en línea y, por lo tanto, aumentar el tráfico dentro de sus sitios. Sin embargo, hay casos en los que no desea que se indexe su sitio. Estas razones pueden hacerle pensar en cómo disuadir a los motores de búsqueda de indexar su sitio web.

Es posible evitar que un recurso o página dentro de su sitio aparezca en la búsqueda de Google. En este artículo, veremos cómo desalentar y evitar que los motores de búsqueda indexen su sitio web.

Tabla de contenido

Indexación Vs Listado En Google

Razones por las que querría bloquear los motores de búsqueda para que no indexen su sitio web

Cómo bloquear los motores de búsqueda para que no rastreen e indexen su sitio web

• A través de la casilla de verificación predeterminada de visibilidad del motor de búsqueda de WordPress
• Modificando el archivo Robots.txt
• Protegiendo con Contraseña su Sitio Web

Eliminar un sitio web de la Búsqueda de Google

Conclusión

Indexación Vs Listado En Google

Indexación

La indexación es el proceso de recopilar y descargar datos del contenido del sitio en el servidor del motor de búsqueda y luego almacenar los datos agregándolos a su base de datos central (índice).

El proceso de indexación está precedido por el rastreo, mediante el cual los motores de búsqueda tienden a escanear la web para identificar cualquier contenido nuevo o actualizado. Este contenido es el que a su vez se utiliza en la indexación.

La indexación permitirá generar datos relevantes para las consultas de búsqueda mucho más rápido, ya que el contenido está organizado, en comparación con la búsqueda en todo el contenido mediante la ejecución de múltiples consultas.

Listado

El listado implica principalmente la representación de su sitio web en las páginas de resultados del motor de búsqueda (SERP).

Si un sitio web se muestra en las páginas de resultados del motor de búsqueda, significa que dicho sitio web está indexado. A continuación se muestra una captura de pantalla de muestra sobre esto:

Sin embargo, la indexación no se traduce esencialmente en el sentido de que su sitio web aparecerá en las SERP.

También es importante tener en cuenta que un sitio web no tiene que estar indexado para que se incluya en la lista. Si hay enlaces que apuntan al dominio del sitio o a cualquier otro contenido del sitio web, Google lo utilizará.

Razones por las que querría bloquear los motores de búsqueda para que no indexen su sitio web

1. Al crear un sitio de desarrollo

Como propietario de un sitio, en la mayoría de los casos, querrá crear su sitio web primero en un entorno de desarrollo antes de llevar el sitio web final a producción.

Sin embargo, no desea que Google indexe el contenido de su sitio de desarrollo, lo que a su vez conduciría a la competencia con su sitio de producción. En este caso, deberá deshabilitar la indexación dentro de su sitio de desarrollo para evitar tal escenario.

2. Contenido privado

Si su sitio web contiene contenido privado al que no le gustaría que los motores de búsqueda tuvieran acceso, puede optar por evitar que dicho sitio sea indexado.

Un ejemplo de tal escenario podría ser si tiene páginas web a las que solo se debe acceder si un usuario tiene una suscripción o solo cuando un usuario ha iniciado sesión. Dicho contenido no debe estar disponible para la indexación.

3. Contenido pirateado/comprometido

En un escenario en el que su sitio es pirateado y, por lo tanto, comprometido, esto representa una amenaza para la seguridad de los usuarios de su sitio y especialmente cuando se trata de sitios de comercio electrónico.

Para ayudar a reducir tales riesgos, sería apropiado desindexar el sitio o incluso eliminarlo.

4. Contenido duplicado

A veces, es posible que tenga contenido duplicado dentro de su sitio web, especialmente cuando se trata de sitios de comercio electrónico en los que las páginas de productos pueden parecer similares. Sin embargo, tener contenido duplicado dentro de su sitio web puede conducir a una penalización por parte de Google.

Por lo tanto, es importante desindexar cualquier contenido duplicado dentro de su sitio para evitar ser penalizado.

5. Contenido obsoleto

En algunos casos, es posible que tenga un sitio web que proporcione información desactualizada y, por lo tanto, los resultados de la búsqueda contendrán esta información. Dicha información puede, a su vez, ser engañosa para los visitantes del sitio.

Por lo tanto, sería genial disuadir a los motores de búsqueda de indexar dicho contenido en tales situaciones.

6. Información filtrada

Si el contenido se pone a disposición del público de forma prematura, entonces deberá disuadir a los motores de búsqueda de indexar dicho contenido o anular la publicación del sitio web. Esto ayudará a que este contenido sea inaccesible.

7. Contenido dañino

En situaciones en las que pueda tener contenido que pueda considerar dañino para su sitio web, puede considerar desindexar el sitio web. Este podría ser el caso, por ejemplo, si su sitio ha sido pirateado y se le ha agregado información maliciosa.

Cómo bloquear los motores de búsqueda para que no rastreen e indexen su sitio web

Hay varias formas de considerar si desea disuadir a los motores de búsqueda de rastrear e indexar su sitio web. Examinaremos algunas de estas formas en orden y exploraremos cómo cada una de ellas ayuda a lograr esto.

A través de la casilla de verificación predeterminada de visibilidad del motor de búsqueda de WordPress

Este método le permite disuadir a los motores de búsqueda de rastrear su sitio web directamente desde el panel de control de WordPress. Para implementarlo, deberá:

i) Inicie sesión en su panel de WordPress usando una cuenta de administrador

ii) Navegue a la sección Configuración> Lectura dentro de su tablero de WordPress

iii) Dentro de la sección “Visibilidad del motor de búsqueda”, habilite la opción “Disuadir a los motores de búsqueda de indexar este sitio”

iv) Guarde sus cambios

Una vez que se lleva a cabo lo anterior, se agrega el siguiente código al encabezado de su sitio:

 <meta name="robots" content="noindex, nofollow">

El archivo robots.txt también se modifica para:

 User-agent: * Disallow: /

Esto ayudará a disuadir a los motores de búsqueda de indexar su sitio web. Sin embargo, es importante tener en cuenta que, si bien estos cambios ayudan a disuadir a los motores de sitios de indexar su sitio web, depende de los motores de búsqueda individuales cumplir con la solicitud o no.

Modificando el archivo Robots.txt (manualmente)

Similar al método anterior, se considera un enfoque manual para modificar el archivo robots.txt.

Para lograr esto, necesitarás:

i) Acceda a los archivos de su sitio a través de un software FTP como Filezilla

ii) Dentro de la raíz de los archivos de su sitio web, busque el archivo robots.txt. En la mayoría de los casos, está dentro de la carpeta public_html.

Si no parece rastrear el archivo, puede considerar crear uno.

iii) Agregue el siguiente código al archivo:

 User agent: * Disallow: /

iv) Guarde sus cambios

También puede prohibir la indexación en páginas específicas agregando el subdirectorio y el slug dentro de la sección Disallow:. Un ejemplo de esto sería:

 User agent: * Disallow /blog/this-is-a-link-to-our-website

Protegiendo con Contraseña su Sitio Web

Los motores de búsqueda no están en condiciones de rastrear sitios web protegidos con contraseña, ya que no tienen acceso a ellos. Esto hace que la protección con contraseña de su sitio web sea uno de los enfoques más adecuados cuando se trata de evitar la indexación de su sitio web.

La protección con contraseña de su sitio se puede lograr a través de varios enfoques:

i) Protección de contraseña a través de su panel de control de alojamiento

ii) Uso de un complemento de protección de contraseña

Protección con contraseña a través de su panel de control de hosting

Varios paneles de control de alojamiento tienen diferentes pasos para implementar la protección con contraseña dentro de un sitio web. En nuestro caso aquí, usaremos un ejemplo de cPanel.

Para proteger con contraseña su sitio web a través de cPanel, deberá realizar lo siguiente:

i) Inicie sesión en su cuenta de cPanel

ii) Vaya a la sección Archivos y seleccione "Privacidad del directorio"

iii) Seleccione el directorio raíz de sus sitios. En nuestro caso aquí, será public_html / buddybuilder

iv) Haga clic en la acción "Editar" junto a ella

v) Habilite la opción "Proteger con contraseña este directorio" y guarde sus cambios

vi) Regrese al paso anterior haciendo clic en el enlace "Volver" y dentro de la nueva sección "Crear usuario", configure una nueva cuenta de usuario para acceder al sitio web.

Una vez hecho esto, los motores de búsqueda no estarán en condiciones de rastrear su sitio.

Uso de un complemento de protección de contraseña

En esta opción, puede considerar usar el complemento protegido por contraseña. Para configurar el complemento, deberá realizar lo siguiente:

i) Navegue a la sección Complementos> Agregar nuevo dentro de su panel de control de WordPress y busque "Protegido con contraseña"

ii) Instalar y activar el complemento

iii) Vaya a la sección Configuración > Protegido con contraseña dentro de su panel de control de WordPress

iv) Habilite la opción "Estado protegido con contraseña" y complete su contraseña

v) Especificar el número de días que el sitio permanecerá protegido

vi) Guarde sus cambios

Es importante tener en cuenta que en este método, una vez que se accede directamente a archivos como imágenes en el navegador, no se aplica la protección de contraseña y, por lo tanto, se puede acceder fácilmente a la imagen.

Eliminar un sitio web de la Búsqueda de Google

En el caso de que ya tengas tu sitio indexado por Google y quieras eliminar el sitio del buscador, puedes hacerlo realizando lo siguiente:

i) Acceder a la Consola de búsqueda de Google: https://search.google.com/search-console/

ii) Inicie sesión con los datos de su cuenta. Si no tiene una cuenta, puede crear una desde el mismo enlace anterior y agregar una propiedad. Aquí hay una guía sobre cómo hacerlo: https://support.google.com/webmasters/answer/34592?hl=en

iii) En la sección superior izquierda, seleccione la propiedad con la URL que desea eliminar

iv) Haga clic en la sección "Eliminaciones"

v) Dentro de la pestaña “Bajas Temporales”, haga clic en el botón “Nueva Solicitud”

vi) En la pestaña "Eliminar URL temporal" dentro de la ventana emergente, tendrá dos opciones "Eliminar solo esta URL" y "Eliminar todas las URL con este prefijo".

Si desea eliminar solo la URL especificada, por ejemplo, una publicación de blog específica, deberá completar su URL y seleccionar la opción "Eliminar solo esta URL".

Por otro lado, si desea eliminar el dominio raíz y cualquier otra URL asociada con él, deberá completar su URL como dominio raíz y seleccionar la opción "Eliminar todas las URL con este prefijo".

vii) Haga clic en el botón "Siguiente" para enviar su solicitud.

Es importante tener en cuenta que una vez hecho esto, Google eliminará temporalmente su sitio de los motores de búsqueda por un período temporal. Esto suele ser de 6 meses y, a partir de entonces, su URL se puede volver a indexar una vez más, por lo que es crucial "Bloquear los motores de búsqueda para que no rastren e indexen su sitio web".

Conclusión

Hay muchas razones por las que uno podría optar por disuadir a los motores de búsqueda de indexar su sitio web. En este artículo, hemos analizado algunas de estas razones, así como algunos de los enfoques que puede considerar llevar a cabo para evitar que los motores de búsqueda indexen su sitio de WordPress.

El uso del método predeterminado del cuadro de visibilidad del motor de búsqueda de WordPress o la modificación de los métodos del archivo robots.txt pueden no ser completamente efectivos para algunos motores de búsqueda, ya que algunos aún pueden rastrear, por ejemplo, sus archivos o imágenes. Recomendamos encarecidamente combinar estos métodos con la protección con contraseña. Esto evita que los motores de búsqueda accedan al contenido de su sitio.

Esperamos que este artículo sea útil. Si tiene alguna pregunta, comentario o sugerencia, no dude en enviarlos desde la sección de comentarios a continuación.