Come ottimizzare il tuo WordPress Robots.txt per la SEO

In questo blog impareremo alcuni suggerimenti su come migliorare la SEO del tuo sito web ottimizzando il file robts.txt.

In realtà, il file Robots.txt gioca un ruolo importante in termini di SEO perché dice ai motori di ricerca come è possibile eseguire la scansione del tuo sito web. Questo è il motivo per cui i file Robot.txt sono considerati uno degli strumenti più potenti della SEO.

Più avanti imparerai anche come costruire e ottimizzare WordPress Robots.txt per SEO.

Cosa intendi per file robots.txt?

Il file di testo creato dai proprietari di siti Web per indicare ai bot dei motori di ricerca come possono eseguire la scansione del loro sito Web e indicizzare le pagine è noto come Robots.txt

In realtà, nella directory principale, questo file è archiviato. Questa directory è anche chiamata cartella principale del tuo sito web. Di seguito è indicato il formato del file robots.txt

 User-agent: [nome-user-agent]
Non consentire: [stringa URL da non scansionare]
User-agent: [nome-user-agent]
Consenti: [stringa URL da scansionare]
Mappa del sito: [URL della tua mappa del sito XML]

Per consentire o negare l'autorizzazione a determinati URL è possibile disporre di diverse linee di istruzioni. Inoltre puoi anche aggiungere diverse mappe del sito. I robot dei motori di ricerca considereranno che sono autorizzati a eseguire la scansione delle pagine se consente un URL.
Di seguito è riportato un esempio di robots.txt

 User-Agente: *
Consenti: /wp-content/caricamenti/
Non consentire: /wp-content/plugins/
Non consentire: /wp-admin/
Mappa del sito: https://example.com/sitemap_index.xml

Nell'esempio sopra indicato, abbiamo consentito di eseguire la scansione delle pagine dai motori di ricerca e di ottenere i file di indice nella cartella dei caricamenti di WordPress.

Successivamente, non abbiamo consentito ai robot di ricerca di eseguire la scansione e l'indicizzazione delle cartelle e dei plug-in di amministrazione di WordPress.
Infine, abbiamo menzionato l'URL della mappa del sito XML.

Per il tuo sito Web WordPress hai bisogno di un file Robots.txt?

Il motore di ricerca inizierà a scansionare e indicizzare le tue pagine anche se non hai il file di testo, ad esempio Robots.txt. Ma sfortunatamente, non puoi informare il tuo motore di ricerca su quale particolare cartella o pagina dovrebbe eseguire la scansione.

Non gioverà o non lascerà alcun impatto se hai appena creato un sito Web o un blog con meno contenuti.
Tuttavia, una volta che hai impostato il tuo sito Web con molti contenuti e quando ha iniziato a crescere, avrai bisogno del controllo sulle pagine scansionate e indicizzate del tuo sito Web.

Il primo motivo è riportato di seguito

Per ogni sito web, i robot di ricerca hanno una quota di scansione.

Ciò significa chiaramente che durante la sessione di scansione, eseguirà la scansione del numero specifico di pagine. Supponiamo che la scansione del tuo sito Web rimanga incompleta, quindi tornerà ancora una volta e riprenderà la scansione in un'altra sessione.

Per questo motivo, il tasso di indicizzazione del sito Web del tuo sito Web sarà una resa dei conti.

Puoi risolvere questo problema non consentendo ai robot di ricerca di non eseguire la scansione di tali pagine che non sono necessarie. Alcune pagine non importanti potrebbero includere file di plug-in, pagine di amministrazione di WordPress e cartelle di temi.

La quota di scansione può essere salvata non consentendo la scansione di pagine indesiderate. Questo passaggio sarà più utile perché i motori di ricerca ora eseguiranno la scansione delle pagine del sito Web e saranno in grado di indicizzarle il prima possibile.

Un altro motivo per cui dovresti utilizzare e ottimizzare il file Robots.txt di WordPress è riportato di seguito

Ogni volta che devi impedire ai motori di ricerca di indicizzare pagine o post sul tuo sito, puoi utilizzare questo file.

In realtà, è uno dei modi più impropri per coprire i contenuti del tuo sito Web dal pubblico in generale, ma si rivelerà il miglior supporto per salvaguardarli in modo che vengano visualizzati nei risultati di ricerca.

Come appare il file Robots.txt?

Un file robots.txt molto semplice viene utilizzato dai blog più popolari. Il contenuto può differire rispetto ai requisiti del particolare sito web.

 User-agent: *
Non consentire:
Mappa del sito: http://www.example.com/post-sitemap.xml
Mappa del sito: http://www.example.com/page-sitemap.xml
Tutti i bot saranno autorizzati dal file robots.txt a indicizzare ogni contenuto e offrire collegamenti al sito Web della mappa del sito XML.
Vengono menzionate le seguenti regole che devono essere seguite nei file robots.txt

User-Agente: *
Consenti: /wp-content/caricamenti/
Non consentire: /wp-content/plugins/
Non consentire: /wp-admin/
Non consentire: /readme.html
Non consentire: /riferimento/
Mappa del sito: http://www.example.com/post-sitemap.xml
Mappa del sito: http://www.example.com/page-sitemap.xml

Questo indicherà al bot di indicizzare tutti i file e le immagini di WordPress. Ciò non consentirà ai robot di ricerca di indicizzare l'area di amministrazione di WordPress, i file dei plug-in di WordPress, i collegamenti di affiliazione e il file Leggimi di WordPress.

Ai file robots.txt, puoi aggiungere mappe del sito che aiuteranno i bot di Google a riconoscere tutte le pagine del tuo sito web.

Ora che sai come appare il file robots.txt, ora impareremo come creare il file robots.txt in WordPress.

In WordPress, come creare un file robots.txt?

Per creare un file robots.txt in WordPress ci sono tanti modi. Alcuni dei migliori metodi sono elencati di seguito, puoi sceglierne uno che funzioni meglio per te.

Metodo 1: utilizzo di All in One SEO, modifica del file Robots.txt

All in One SEO è il plug-in WordPress per SEO più noto sul mercato, utilizzato da oltre 1 milione di siti Web.

Il plugin All in One SEO è molto semplice da usare e quindi offre il generatore di file robotx.txt. È anche utile ottimizzare WordPress Robots.txt

Se non hai ancora integrato questo plugin SEO, installalo e attivalo prima dalla dashboard di WordPress. La versione gratuita è disponibile anche per gli utenti principianti in modo che possano utilizzare le sue funzionalità senza investire denaro.

Dopo aver attivato il plugin puoi iniziare a usarlo per costruire o modificare il file robots.txt direttamente dalla tua area di amministrazione di WordPress.

Per usarlo

• Vai al SEO All in One
• Ora per modificare il file robots.txt, fai clic sugli strumenti
• Ora facendo clic su "abilita robots.txt personalizzato" attiverai l'opzione di modifica
• In WordPress, puoi anche creare un file robots.txt personalizzato con questo interruttore.
• Ora il tuo file robots.txt esistente verrà mostrato dal "Plugin SEO All in One" nella sezione "Anteprima robots.txt". Questo è visibile nella parte inferiore dello schermo web.

Da WordPress, la regola predefinita che è stata aggiunta verrà mostrata da questa versione
Le regole predefinite che vengono visualizzate suggeriscono al tuo motore di ricerca che non è necessario eseguire la scansione dei file principali di WordPress, offrire un collegamento al sito Web della mappa del sito XML e consentire ai bot di indicizzare tutto il suo contenuto.

Per migliorare il tuo robots.txt per la SEO, è possibile aggiungere nuove regole personalizzate.

Aggiungi user agent nel campo 'User Agent' per aggiungere una regola. La regola verrà applicata a tutti i programmi utente utilizzando un *.
Ora scegli se stai cercando di consentire o meno al motore di ricerca di eseguire la scansione delle pagine.

Ora aggiungi il percorso della directory, il nome del file nel campo "Percorso directory".

Al tuo robots.txt, la regola verrà applicata automaticamente. Fare clic sul pulsante "aggiungi regola" per aggiungere una nuova regola.
A meno che tu non crei un formato robotx.txt ideale, ti suggeriamo di aggiungere nuove regole.

Le regole personalizzate aggiunte da te saranno simili

Per memorizzare le tue modifiche non mancare di cliccare su 'salva modifiche'

Metodo 2: modifica manualmente il file Robots.txt con l'aiuto di FTP

Un altro metodo per ottimizzare WordPress Robots.txt è utilizzare le funzionalità dei client FTP per iniziare a modificare il file robots.txt

Devi semplicemente connetterti al tuo account di hosting WordPress con l'aiuto di un client FTP

Dopo il login, nella cartella principale del sito web, potrai visualizzare il file robots.txt.

Se non riesci a trovarlo significa che non hai il file robots.txt

In una situazione del genere, è necessario creare il file robot.txt.

Come accennato in precedenza, il file robots.txt è solitamente un semplice file di testo che può essere scaricato sul tuo computer. Tuttavia, puoi persino modificarlo con l'aiuto di un editor di testo semplice come TextEdit, Blocco note o WordPad.

Dopo aver eseguito tutte le modifiche, ora è il momento di salvarlo. Puoi caricare questo file nella cartella principale del tuo sito web.

Come puoi eseguire test sul tuo file Robots.txt?

Puoi eseguire i test con l'aiuto dello strumento tester robots.txt.

Sul Web troverai molti strumenti di tester robots.txt. Uno dei migliori è Google Search Console.
Per lavorare con questo strumento devi prima avere un sito web collegato alla console di ricerca di Google. Successivamente, puoi iniziare a utilizzare le sue funzionalità.

Dall'elenco a discesa, devi solo selezionare la tua proprietà.

Tuttavia, selezionerà automaticamente il file robots.txt del tuo sito Web ed evidenzierà tutti gli avvisi e gli errori. Questo è uno dei migliori strumenti che ti aiutano a ottimizzare il file WordPress Robots.txt molto facilmente.

Conclusione:
Il motto principale dell'ottimizzazione di questo file robots.txt è quello di salvaguardare le pagine dalla scansione delle pagine. Ad esempio pagine nella cartella di amministrazione di WordPress o pagine nella cartella wp-plugin.

Il mito più comune è che puoi migliorare la velocità di scansione e indicizzarla più velocemente e ottenere un ranking più alto bloccando la categoria WordPress, le pagine di raggiungimento e i tag.

Ma questo non funzionerà in quanto andrà storto secondo le linee guida per i webmaster di Google.

Ti consigliamo vivamente di leggere e considerare tutti i punti sopra menzionati.

Ci auguriamo che questo blog ti aiuti a creare un file robots.txt utilizzando il formato giusto per il tuo sito web. E ti aiuterà a ottimizzare WordPress Robots.txt.