Come modificare robots.txt in WordPress (con e senza plugin)

Stai cercando i modi più efficaci per modificare robots.txt in WordPress ? Sono fondamentali se vuoi che i crawler dei motori di ricerca conoscano le pagine e le sezioni del tuo sito web che devono scansionare e indicizzare.

Anche se WordPress genera un file robots.txt per il tuo sito Web per impostazione predefinita, potresti comunque doverlo modificare per gestire ciò che i motori di ricerca possono visualizzare. Se non hai familiarità con robots.txt, non preoccuparti. Spiegheremo cos'è robots.txt e perché è essenziale modificarlo, insieme ai vari modi per modificarlo sul tuo sito Web WordPress con questo tutorial.

Quindi tuffiamoci per capire cos'è robots.txt.

Cos'è Robots.txt?

Robots.txt è un file di testo normale nella directory principale del tuo sito web che contiene istruzioni per robot o bot web su quali pagine o aree del tuo sito devono eseguire la scansione e l'indicizzazione . Il file indica ai motori di ricerca se le pagine o le sezioni devono essere indicizzate o meno in base alle normative specifiche del sito web.

Ad esempio, i web crawler come i web crawler di Google controllano regolarmente i siti web per aggiornare l'indice delle pagine. Questi web crawler di Google, noti anche come Googlebot, seguono le istruzioni indicate nel file robots.txt per controllare il sito web.

Lo scopo principale del file robots.txt è assistere i webmaster nel controllare a quali informazioni i motori di ricerca possono accedere sui loro siti. È possibile utilizzare il file per impedire ai bot di accedere a siti o directory specifici. Ma tieni presente che alcuni bot oltre a Googlebot e altri rinomati web crawler potrebbero non seguire le linee guida nel file.

Perché dovresti modificare il file Robots.txt?

Ci sono diversi vantaggi nel modificare il tuo file robots.txt in WordPress. Ecco alcune considerazioni:

• Blocca i bot indesiderati: alcuni bot potrebbero non essere vantaggiosi per il tuo sito Web o potrebbero consumare risorse preziose sul tuo server. Ciò può comportare tempi di caricamento del sito Web lenti e peggiorare le prestazioni del sito. Pertanto, la modifica del file robots.txt può aiutarti a impedire ai bot indesiderati di eseguire la scansione del tuo sito e migliorarne la velocità complessiva.
• Proteggi le informazioni sensibili: alcune pagine del tuo sito Web potrebbero contenere informazioni sensibili che non desideri vengano indicizzate dai motori di ricerca. Ciò può includere dati personali, informazioni aziendali riservate, contenuti protetti da password o persino contenuti legali o relativi alla conformità.
  Puoi impedire la scansione e l'indicizzazione di queste pagine modificando il file robots.txt. Ciò contribuirà anche a proteggere la privacy e la sicurezza del tuo sito web.
• Indirizza i bot a pagine specifiche : puoi anche utilizzare robots.txt per indirizzare i bot a pagine specifiche del tuo sito Web che desideri che i motori di ricerca eseguano la scansione e l'indicizzazione. Ciò ti consente di dare la priorità alle pagine che desideri posizionare più in alto nei risultati dei motori di ricerca.
• Impedisci l'indicizzazione di contenuti duplicati: potresti avere pagine sul tuo sito Web con contenuti simili, come pagine di categorie o tag. In tal caso, puoi utilizzare il file robots.txt per impedire ai robot dei motori di ricerca di indicizzarli. Questo può aiutare a evitare problemi di contenuti duplicati che incidono negativamente sul posizionamento nei motori di ricerca del tuo sito web.

Ora che hai capito cos'è il file robots.txt e perché sono essenziali, passiamo alla sezione successiva, dove ti mostreremo come personalizzarlo.

Come modificare Robots.txt su WordPress

Puoi modificare il file robots.txt in 3 modi principali in WordPress:

1. Utilizzando un client FTP
2. cPanel
3. Con un plug-in

Esamineremo ciascuno di questi approcci in dettaglio. Ma se utilizzi il client FTP o l'approccio cPanel , dovrai prima creare manualmente un file robots.txt .

WordPress crea un file robots.txt virtuale per impostazione predefinita quando avvii il tuo sito. È possibile accedervi aggiungendo il percorso " /robots.txt " alla fine del tuo dominio.

Ad esempio, puoi accedere al file robots.txt di QuadLayers utilizzando il link: "https://quadlayers.com/robots.txt".

Tuttavia, non utilizziamo il file robots.txt predefinito. È stato modificato per soddisfare le esigenze specifiche di QuadLayers. Ma il file robots.txt predefinito creato da WordPress include solo le seguenti informazioni:

 Agente utente: *
Non consentire: /wp-admin/
Consenti: /wp-admin/admin-ajax.php

Sfortunatamente, non puoi modificare questo file poiché è virtuale . Per modificare il file robots.txt del tuo sito Web WordPress, devi crearne uno manualmente.

Per fare ciò, puoi utilizzare qualsiasi editor di testo per creare un file vuoto e salvarlo come " robots.txt ".

In alternativa, se si desidera utilizzare un plug-in SEO per modificare il file, è possibile farlo automaticamente tramite il plug-in. Lo scopriremo più avanti in questa guida.

Tuttavia, il file robots.txt deve contenere le stesse informazioni indipendentemente dall'approccio utilizzato. Quindi diamo un'occhiata a cosa deve essere incluso anche nel file robots.txt.

Cosa includere nel file Robots.txt?

Per assicurarti che i motori di ricerca indicizzino correttamente il tuo sito web, ecco alcuni comandi di codice o direttive che puoi includere nel tuo file robots.txt:

• User-agent: identifica il motore di ricerca o il bot a cui si applicano le istruzioni. Puoi includere uno o più user agent nel tuo file robots.txt, a seconda dei bot che desideri controllare. Ad esempio, "User-agent: Googlebot" si riferisce al web crawler di Google.
• Disallow: questa direttiva indica ai bot quali pagine o directory i bot dei motori di ricerca non devono scansionare o indicizzare. È possibile specificare singole pagine o intere directory. Ad esempio, "Disallow: /wp-admin/" impedirebbe a tutti i bot di eseguire la scansione delle pagine all'interno della directory di amministrazione di WordPress.
• Mappa del sito: questa direttiva indica ai bot dove trovare il file della mappa del sito del tuo sito web. Il file Sitemap elenca tutte le pagine del tuo sito che desideri vengano indicizzate dai motori di ricerca.

Puoi anche utilizzare la direttiva " allow " nel file robots.txt. Indica ai bot quali pagine o directory devono scansionare o indicizzare. Tuttavia, ricorda che è facoltativo e dovrebbe essere utilizzato solo quando necessario.

Ecco un esempio di un file robots.txt di base:

 Agente utente: *
Non consentire: /wp-admin/
Non consentire: /wp-include/
Mappa del sito: https://www.example.com/sitemap.xml

In questo esempio, lo user-agent è impostato su "*", il che significa che le istruzioni si applicano a tutti i bot. La direttiva "disallow" impedisce ai bot di eseguire la scansione dell'amministratore di WordPress e delle directory "wp-include". Allo stesso modo, la direttiva Sitemap specifica la posizione del file Sitemap.

Ora che hai una conoscenza di base di cosa includere nel file robots.txt, puoi aggiungere tutte le pagine web che non vuoi che i bot eseguano la scansione o l'indicizzazione. Infine, salva il file.

1) Modifica Robots.txt utilizzando un client FTP

Per modificare robots.txt in WordPress utilizzando un client FTP, devi installare un client FTP e connettere il tuo sito web. Esistono molti client FTP come FileZilla e Cyberduck che puoi utilizzare per questo metodo. Ma useremo FileZilla per questo tutorial.

1.1) Collega il tuo sito Web WordPress a FTP

Dopo aver installato il client FTP, apri l'applicazione e vai su File > Site Manager . Puoi anche aprire il gestore del sito premendo Ctrl+S sulla tastiera.

Quindi, fai clic su Nuovo sito e inserisci il nome del tuo sito Web in I miei siti .

Ora apri la scheda Generale e inserisci le credenziali del tuo sito. Puoi ottenere le credenziali per connettere il tuo sito web a FileZilla dal tuo servizio di hosting.

Dopo aver inserito le credenziali, fare clic su Connetti .

Puoi accedere alla directory dei file del sito dal tuo computer dopo che il sito è connesso. Quindi andiamo avanti e carichiamo il file robots.txt dal tuo computer al tuo sito web.

1.2) Carica il file Robots.txt su WordPress

Dopo aver collegato il tuo sito al client FTP, devi navigare nella directory principale del tuo sito Web poiché è qui che dovrebbe trovarsi il file robots.txt.

Il file root è anche chiamato file " public_html ".

Puoi caricare qui il file robots.txt creato di recente. Se in questo file esiste già un file robots.txt, sostituirlo.

Questo è tutto!

Ora non ti resta che testare il file robots.txt aggiungendo il percorso “/robots.txt” alla fine del dominio, proprio come ti abbiamo mostrato negli esempi precedenti.

2) Modifica Robots.txt usando cPanel

La modifica del file robots.txt con cPanel è molto simile all'approccio del client FTP. Innanzitutto, devi accedere al cPanel del tuo sito web. Ancora una volta, tutte le credenziali di accesso necessarie dovrebbero essere già state fornite dal tuo servizio di hosting.

Dopo aver effettuato l'accesso al cPanel, scorri fino alla sezione File e fai clic su File Manager .

Quindi, vai alla directory del file " public_html " e carica qui il file robots.txt creato di recente. Ancora una volta, se qui esiste già un file robots.txt, è necessario sostituirlo con quello appena modificato.

Infine, prova il tuo file robots.txt aggiungendo il percorso "/robots.txt" alla fine del tuo dominio.

3) Modifica Robots.txt utilizzando un plug-in

Se vuoi risparmiare un sacco di tempo e fatica per modificare la pagina robots.txt, puoi anche utilizzare un plug-in. Diversi plugin SEO come Yoast SEO, All in One SEO e Rank Math SEO ti consentono di creare e modificare il file robots.txt.

Puoi consultare il nostro elenco completo dei migliori plugin SEO per WordPress se hai bisogno di maggiori informazioni per aiutarti a decidere il plugin che desideri utilizzare.

Ma useremo il plugin Rank Math SEO per questa dimostrazione. È uno dei plugin SEO più popolari e ha un'interfaccia molto semplice per modificare il file robots.txt. Quindi iniziamo installando il plugin.

3.1) Installa e attiva il plug-in

Per installare il plugin, devi andare su Plugin > Aggiungi nuovo dalla dashboard di WordPress e cercare prima le parole chiave del plugin. Dopo aver visualizzato il plug-in nei motori di ricerca, fai clic su Installa ora . L'installazione richiederà solo pochi istanti.

Non appena l'installazione è completa, fare clic su Attiva per attivare il plug-in.

Se desideri utilizzare uno dei plug-in premium, devi caricarlo manualmente. Puoi consultare la nostra guida dettagliata sull'installazione manuale di un plug-in di WordPress per ulteriori informazioni.

Inoltre, se riscontri problemi durante l'impostazione di Rank Math SEO, abbiamo anche una guida specifica su come impostare Rank Math.

3.2) Modifica il file Robots.txt

Dopo aver attivato il plug-in, vai su Rank Math > Impostazioni generali dalla dashboard di WordPress e seleziona la scheda Modifica file robots.txt . Puoi vedere che il plug-in ha fornito il suo editor di testo per modificare il file robots.txt in questa sezione.

Qui, devi aggiungere tutti i codici e i comandi a seconda delle pagine web che vuoi che i bot eseguano la scansione e l'indicizzazione. Se hai bisogno di aiuto, abbiamo fornito tutte le linee guida necessarie in questo tutorial in uno dei passaggi precedenti.

Dopo aver aggiunto tutti i comandi e le direttive richiesti per il file robots.txt, fai clic su Salva modifiche .

Grande! Ora se aggiungi il percorso "/robots.txt" alla fine del dominio, vedrai che il file è stato aggiornato di conseguenza. Quindi i robot dei motori di ricerca passeranno attraverso solo le pagine Web che hai consentito in base al file robots.txt.

Conclusione

Ecco come puoi creare e modificare il file robots.txt in WordPress . È essenziale farlo se non vuoi che i robot dei motori di ricerca passino attraverso contenuti sensibili o duplicati del tuo sito web. Il file robots.txt può anche essere utilizzato per indirizzare i bot a scansionare e indicizzare pagine specifiche del tuo sito web.

Per riassumere, puoi modificare il file robots.txt in tre modi principali:

• Utilizzando un client FTP
• cPanel
• Con un plug-in

L'utilizzo del client FTP e del cPanel è molto simile . Tutto quello che devi fare è accedere al cPanel o connettere il tuo sito web con il client FTP e caricare il file robots.txt. Quindi, devi caricare il file robots.txt che è stato creato manualmente da te in precedenza.

D'altra parte, il file robots.txt verrà aggiunto automaticamente al tuo sito web se utilizzi un plug-in . I plugin forniscono anche un editor di testo per aiutarti a modificare il file robots.txt.

Quindi puoi modificare il file robots.txt per il tuo sito web adesso? Fateci sapere nei commenti se l'avete mai provato.

Nel frattempo, se hai trovato utile questo articolo, ecco alcuni altri post che puoi utilizzare per personalizzare o migliorare il tuo sito Web WordPress:

• Come migliorare la SEO di WordPress: 9 modi
• I migliori plugin SSL per WordPress (gratuiti e a pagamento)
• Come aggiungere meta descrizioni in WordPress