Come scoraggiare i motori di ricerca dall'indicizzare il tuo sito WordPress

I motori di ricerca utilizzano crawler o robot web per eseguire la scansione e indicizzare il tuo sito web. Per molti proprietari di siti Web, l'indicizzazione dei contenuti del loro sito Web è piuttosto cruciale per aumentare la loro visibilità online e quindi aumentare il traffico all'interno dei loro siti. Tuttavia, ci sono casi in cui non vorresti che il tuo sito fosse indicizzato. Questi motivi possono effettivamente farti pensare a come scoraggiare i motori di ricerca dall'indicizzare il tuo sito web.

È possibile impedire che una risorsa o una pagina all'interno del tuo sito appaia nella ricerca di Google. In questo articolo, esamineremo come scoraggiare e impedire ai motori di ricerca di indicizzare il tuo sito web.

Sommario

Indicizzazione vs elenco in Google

Motivi per cui vorresti impedire ai motori di ricerca di indicizzare il tuo sito web

Come impedire ai motori di ricerca di scansionare e indicizzare il tuo sito web

• Tramite la casella di controllo predefinita per la visibilità del motore di ricerca di WordPress
• Modifica del file Robots.txt
• Protezione con password del tuo sito web

Rimozione di un sito Web da Ricerca Google

Conclusione

Indicizzazione vs elenco in Google

Indicizzazione

L'indicizzazione è il processo di raccolta e download dei dati del contenuto del sito sul server del motore di ricerca e successivamente di archiviazione dei dati aggiungendoli al suo database centrale (indice).

Il processo di indicizzazione è preceduto dal crawling, per cui i motori di ricerca tendono a scansionare il web per identificare eventuali contenuti nuovi o aggiornati. Questo contenuto è ciò che viene a sua volta utilizzato nell'indicizzazione.

L'indicizzazione consentirà di rendere i dati rilevanti per le query di ricerca molto più velocemente poiché il contenuto è organizzato, rispetto alla ricerca in tutto il contenuto eseguendo più query.

Elenco

L'elenco comporta principalmente il rendering del tuo sito Web nelle pagine dei risultati dei motori di ricerca (SERP).

Se un sito Web viene visualizzato nelle pagine dei risultati del motore di ricerca, significa che tale sito Web è indicizzato. Di seguito è riportato uno screenshot di esempio su questo:

L'indicizzazione, tuttavia, non significa essenzialmente che il tuo sito Web sarà elencato nelle SERP.

È anche importante notare che un sito Web non deve essere indicizzato per essere elencato. Se sono presenti collegamenti che puntano al dominio del sito o a qualsiasi altro contenuto del sito Web, Google lo utilizzerà.

Motivi per cui vorresti impedire ai motori di ricerca di indicizzare il tuo sito web

1. Quando si crea un sito di sviluppo

In qualità di proprietario di un sito, nella maggior parte dei casi, vorresti creare il tuo sito Web prima in un ambiente di sviluppo prima di spingere il sito Web finale in produzione.

Tuttavia, non desideri che il contenuto del tuo sito di sviluppo venga indicizzato da Google, il che a sua volta porterebbe alla concorrenza con il tuo sito di produzione. In questo caso, dovrai disabilitare l'indicizzazione all'interno del tuo sito di sviluppo per evitare tale scenario.

2. Contenuti privati

Se il tuo sito web contiene contenuti privati ​​che non vorresti fossero accessibili ai motori di ricerca, puoi scegliere di impedire l'indicizzazione di tale sito.

Un esempio di tale scenario potrebbe essere se si dispone di pagine Web che dovrebbero essere accessibili solo se un utente ha un abbonamento o solo quando un utente ha effettuato l'accesso. Tale contenuto non dovrebbe essere reso disponibile per l'indicizzazione.

3. Contenuti compromessi/compromessi

In uno scenario in cui il tuo sito viene violato e quindi compromesso, ciò rappresenta una minaccia alla sicurezza per gli utenti del tuo sito e soprattutto quando si tratta di siti di e-commerce.

Per aiutare a ridurre tali rischi sarebbe opportuno deindicizzare il sito o addirittura cancellarlo.

4. Contenuto duplicato

A volte, potresti effettivamente avere contenuti duplicati all'interno del tuo sito Web, specialmente quando si tratta di siti di e-commerce in cui le pagine dei prodotti possono apparire simili. Tuttavia, avere contenuti duplicati all'interno del tuo sito web può effettivamente portare a una penalizzazione da parte di Google.

È quindi importante deidicizzare eventuali contenuti duplicati all'interno del tuo sito per evitare di essere penalizzato.

5. Contenuti obsoleti

In alcuni casi, potresti avere un sito Web che fornisce informazioni obsolete e quindi i risultati della ricerca conterrebbero queste informazioni. Tali informazioni possono a loro volta essere fuorvianti per i visitatori del sito.

Sarebbe quindi fantastico scoraggiare i motori di ricerca dall'indicizzare tali contenuti in tali situazioni.

6. Informazioni trapelate

Se il contenuto viene reso disponibile prematuramente al pubblico, è necessario scoraggiare i motori di ricerca dall'indicizzare tale contenuto o annullare la pubblicazione del sito web. Ciò contribuirà a rendere inaccessibile questo contenuto.

7. Contenuto dannoso

In situazioni in cui potresti avere contenuti che puoi considerare dannosi per il tuo sito web, puoi considerare di deindicizzare il sito web. Questo potrebbe, ad esempio, essere il caso se il tuo sito fosse stato violato e vi fossero aggiunte informazioni dannose.

Come impedire ai motori di ricerca di scansionare e indicizzare il tuo sito web

Esistono diversi modi da considerare se desideri scoraggiare i motori di ricerca dalla scansione e dall'indicizzazione del tuo sito web. Esamineremo alcuni di questi modi in ordine ed esploreremo come ciascuno di essi aiuta a raggiungere questo obiettivo.

Tramite la casella di controllo predefinita per la visibilità del motore di ricerca di WordPress

Questo metodo ti consente di scoraggiare i motori di ricerca dal eseguire la scansione del tuo sito Web direttamente dalla dashboard di WordPress. Per averlo implementato, dovrai:

i) Accedi alla dashboard di WordPress utilizzando un account amministratore

ii) Vai alla sezione Impostazioni > Lettura all'interno della dashboard di WordPress

iii) All'interno della sezione "Visibilità ai motori di ricerca", abilitare l'opzione "Dissuade i motori di ricerca dall'indicizzare questo sito"

iv) Salva le modifiche

Una volta eseguito quanto sopra, il codice seguente viene aggiunto all'intestazione del tuo sito:

 <meta name="robots" content="noindex, nofollow">

Anche il file robots.txt viene modificato in:

 User-agent: * Disallow: /

Ciò contribuirà a scoraggiare i motori di ricerca dall'indicizzare il tuo sito web. È tuttavia importante notare che mentre queste modifiche aiutano a scoraggiare i motori del sito dall'indicizzare il tuo sito Web, spetta ai singoli motori di ricerca onorare la richiesta o meno.

Modifica del file Robots.txt (manualmente)

Simile al metodo sopra, questo è considerato un approccio manuale alla modifica del file robots.txt.

Per fare ciò, dovrai:

i) Accedi ai file del tuo sito tramite un software FTP come Filezilla

ii) Nella radice dei file del tuo sito web, controlla il file robots.txt. Nella maggior parte dei casi, si trova all'interno della cartella public_html.

Se non sembri tracciare il file, puoi considerare di crearne uno.

iii) Aggiungere il seguente codice al file:

 User agent: * Disallow: /

iv) Salva le modifiche

Puoi anche impedire l'indicizzazione su pagine specifiche aggiungendo la sottodirectory e lo slug nella sezione Disallow:. Un esempio potrebbe essere:

 User agent: * Disallow /blog/this-is-a-link-to-our-website

Protezione con password del tuo sito web

I motori di ricerca non sono in grado di eseguire la scansione di siti Web protetti da password poiché non hanno accesso ad essi. Questo rende la protezione con password del tuo sito web uno degli approcci più adatti quando si tratta di prevenire l'indicizzazione del tuo sito web.

La protezione con password del tuo sito può essere ottenuta tramite vari approcci:

i) Protezione con password tramite il pannello di controllo del tuo hosting

ii) Utilizzo di un plug-in di protezione tramite password

Protezione con password tramite il pannello di controllo dell'hosting

Vari pannelli di controllo dell'hosting hanno diversi passaggi nell'implementazione della protezione con password all'interno di un sito web. Nel nostro caso, useremo un esempio di cPanel.

Per proteggere con password il tuo sito web tramite cPanel, dovrai effettuare quanto segue:

i) Accedi al tuo account cPanel

ii) Vai alla sezione File e seleziona “Privacy Directory”

iii) Seleziona la directory principale dei tuoi siti. Nel nostro caso, questo sarà public_html / buddybuilder

iv) Fare clic sull'azione "Modifica" accanto ad essa

v) Abilita l'opzione "Proteggi con password questa directory" e salva le modifiche

vi) Tornare al passaggio precedente facendo clic sul collegamento "Torna indietro" e all'interno della nuova sezione "Crea utente", impostare un nuovo account utente da utilizzare per accedere al sito Web.

Una volta fatto ciò, i motori di ricerca non saranno in grado di eseguire la scansione del tuo sito.

Utilizzo di un plug-in di protezione con password

In questa opzione, puoi considerare l'utilizzo del plug-in protetto da password. Per configurare il plug-in, dovrai eseguire quanto segue:

i) Vai alla sezione Plugin > Aggiungi nuovo all'interno della dashboard di WordPress e cerca "Protetto da password"

ii) Installare e attivare il plugin

iii) Vai alla sezione Impostazioni > Protetto da password all'interno della dashboard di WordPress

iv) Abilita l'opzione "Stato protetto da password" e inserisci la tua password

v) Specificare il numero di giorni durante i quali il sito rimarrà protetto

vi) Salva le modifiche

È importante notare che in questo metodo, una volta che si accede direttamente a file come immagini nel browser, la protezione con password non viene applicata e quindi l'immagine è facilmente accessibile.

Rimozione di un sito Web da Ricerca Google

Nel caso in cui tu abbia già il tuo sito indicizzato da Google e desideri rimuovere il sito dal motore di ricerca, puoi farlo effettuando le seguenti operazioni:

i) Accedere alla Google Search Console: https://search.google.com/search-console/

ii) Accedi utilizzando i dettagli del tuo account. Se non hai un account puoi crearne uno dallo stesso link sopra e aggiungere una proprietà. Ecco una guida su come procedere: https://support.google.com/webmasters/answer/34592?hl=en

iii) Nella sezione in alto a sinistra, seleziona la proprietà con l'URL che desideri rimuovere

iv) Fare clic sulla sezione "Rimozioni".

v) All'interno della scheda "Traslochi Temporanei", fare clic sul pulsante "Nuova richiesta".

vi) Nella scheda "Rimuovi URL temporaneo" all'interno del popup visualizzato, avrai due opzioni "Rimuovi solo questo URL" e "Rimuovi tutti gli URL con questo prefisso".

Se desideri rimuovere solo l'URL specificato, ad esempio un post di blog specifico, dovrai compilare il suo URL e selezionare l'opzione "Rimuovi solo questo URL".

D'altra parte, se desideri rimuovere il dominio principale e qualsiasi altro URL ad esso associato, dovrai inserire il tuo URL come dominio principale e selezionare l'opzione "Rimuovi tutti gli URL con questo prefisso".

vii) Fare clic sul pulsante "Avanti" per inviare la richiesta.

È importante notare che una volta eseguita questa operazione, Google rimuoverà temporaneamente il tuo sito dai motori di ricerca per un periodo temporaneo. Di solito sono 6 mesi e successivamente il tuo URL può essere reindicizzato ancora una volta, motivo per cui è fondamentale "Bloccare i motori di ricerca dalla scansione e dall'indicizzazione del tuo sito web".

Conclusione

Ci sono molte ragioni per cui si potrebbe scegliere di scoraggiare i motori di ricerca dall'indicizzare il proprio sito web. All'interno di questo articolo, abbiamo esaminato alcuni di questi motivi e alcuni degli approcci che puoi prendere in considerazione per scoraggiare i motori di ricerca dall'indicizzare il tuo sito WordPress.

L'utilizzo del metodo predefinito della casella di visibilità del motore di ricerca di WordPress o la modifica dei metodi del file robots.txt potrebbe non essere completamente efficace per alcuni motori di ricerca poiché alcuni potrebbero ancora eseguire la scansione, ad esempio di file o immagini. Consigliamo vivamente di associare questi metodi con la protezione tramite password. Ciò impedisce ai motori di ricerca di accedere a qualsiasi contenuto del tuo sito.

Ci auguriamo che questo articolo sia utile. In caso di domande, commenti o suggerimenti, non esitare a inviarli dalla sezione commenti in basso.