Come rimuovere Robots.txt da WordPress

Vuoi rimuovere robots.txt da WordPress ? Il file robots.txt è essenziale per impedire ai robot dei motori di ricerca di indicizzare determinate pagine del tuo sito web. Ma se non è configurato correttamente, ciò potrebbe causare problemi al tuo sito, quindi potrebbe essere necessario rimuoverlo.

Quindi, prima di addentrarci nel processo di rimozione, è necessario avere una comprensione più chiara del file robots.txt e del motivo per cui potrebbe essere necessario rimuoverlo.

Cos'è Robots.txt?

Il robots.txt è un file del tuo sito Web WordPress che contiene le linee guida per i robot dei motori di ricerca su quali aree o pagine del tuo sito Web devono essere indicizzate e sottoposte a scansione . Informa inoltre i motori di ricerca tramite regole e istruzioni specifiche sull'eventuale indicizzazione delle pagine e delle sezioni del tuo sito web.

Se consideriamo un esempio reale, i web crawler di Google, noti anche come Googlebot, analizzano regolarmente i siti Web per mantenere aggiornato l'indice delle pagine. Questi web crawler seguono le istruzioni delineate nel file robots.txt durante la scansione del sito web. Quindi, indicizzano e scansionano le pagine e le aree del tuo sito Web in base alle linee guida menzionate nel file robots.txt.

Allo stesso modo, i bot dei motori di ricerca di tutti gli altri noti web crawler indicizzano e scansionano il tuo sito web utilizzando il file robots.txt. Il file è utile per impedire ai bot di accedere a determinate aree, pagine o directory del sito Web. Ma allo stesso tempo, in alcuni casi potresti trarre vantaggio rimuovendo o disabilitando il file robots.txt dal tuo sito Web WordPress.

Perché dovresti rimuovere Robots.txt da WordPress?

Ci sono molti motivi per considerare di rimuovere o disabilitare il file robots.txt dal tuo sito web WordPress. Eccone alcuni:

• Restrizioni involontarie: il file robots.txt a volte può contenere regole che impediscono involontariamente ai crawler dei motori di ricerca di accedere a pagine o sezioni essenziali del tuo sito web. Ciò può influire negativamente sulla visibilità del tuo sito nei risultati dei motori di ricerca e sul posizionamento del tuo sito.
• Siti di sviluppo o staging: se hai un sito di sviluppo o staging a scopo di test, potresti non volere che i motori di ricerca indicizzino questi siti. Pertanto, se rimuovi il file robots.txt, puoi assicurarti che i crawler dei motori di ricerca non indicizzino o visualizzino questi siti nei risultati di ricerca. Ciò ti consente di concentrarti sul test e sul perfezionamento del tuo sito durante il processo iniziale di sviluppo e test senza il rischio che sia visibile pubblicamente agli utenti.
• Indicizzazione avanzata: i crawler dei motori di ricerca possono accedere e indicizzare liberamente le pagine e i contenuti del tuo sito Web quando rimuovi il file robots.txt. In questo modo possono scoprire e includere una gamma più ampia di contenuti del tuo sito nel loro indice. Questo può essere utile se vuoi garantire la massima visibilità e rilevabilità dei contenuti del tuo sito web.
• Conflitti di plug-in: i conflitti tra plug-in specifici del tuo sito Web WordPress e il file robots.txt possono talvolta portare a problemi o errori imprevisti. Quindi rimuovere il file robots.txt può aiutare a risolvere tali conflitti e garantire il buon funzionamento del tuo sito WordPress.

Tuttavia, è importante notare che la rimozione del file robots.txt non è una decisione da prendere alla leggera e di solito non è consigliata. Considera le implicazioni e consulta un esperto prima di continuare se non sei sicuro del suo impatto sulle prestazioni SEO del tuo sito web.

Come rimuovere Robots.txt da WordPress

Puoi rimuovere o disabilitare il file robots.txt da WordPress in 2 modi principali :

1. Utilizzo del client FTP
2. cPanel

Esamineremo questi metodi in dettaglio con una guida passo passo per rimuovere robots.txt da WordPress. Entrambi i modi sono simili tra loro. Ma devi prima accedere all'FTP o al cPanel del tuo sito web.

Nota: prima di rimuovere il file robots.txt dal tuo sito web, assicurati di crearne una copia. Quindi, puoi caricare nuovamente il file originale sul tuo sito Web se apporti modifiche involontarie durante la procedura, che potrebbero causare errori o bug.

1. Rimuovere Robots.txt utilizzando il client FTP

Utilizzare un client FTP per rimuovere robots.txt dal tuo sito Web WordPress è facile. Puoi accedere a FTP per WordPress utilizzando un client FTP come FileZilla o Cyberduck. Quindi, puoi iniziare a modificare i file del tuo sito Web utilizzandolo.

Useremo il client FTP FileZilla per questo tutorial che puoi scaricare e installare sul tuo computer dal loro sito web. Ma sei libero di usare qualsiasi client FTP che ti piace. I passaggi sono quasi identici tra loro.

Dopo aver installato il client FTP, devi connettere il tuo sito Web al client FTP. Quindi apri l'applicazione FileZilla sul tuo computer e vai su File> Site Manager dall'angolo in alto a sinistra della barra dei menu. Puoi anche utilizzare la scorciatoia da tastiera Ctrl+S sulla tastiera per accedere al gestore del sito.

Quindi, fai clic su Nuovo sito e inserisci il nome del tuo sito Web in I miei siti .

Ora apri la scheda Generale sul lato destro dello schermo, dove dovrai inserire le credenziali per connettere il tuo sito con il client FTP. Se non disponi delle credenziali richieste, puoi richiederle al tuo provider di hosting.

Dopo aver inserito le credenziali, fare clic su Connetti .

Ora avrai accesso alla directory dei file del tuo sito Web da dove puoi rimuovere il file robust.txt del tuo sito Web WordPress. Il file robots.txt si trova nella directory principale del tuo sito web, chiamata anche cartella " public_html ". Puoi accedervi utilizzando Filezilla Explorer.

Una volta trovato il file robots.txt, fai clic con il pulsante destro del mouse sul file e seleziona Elimina .

Questo è tutto! Hai rimosso con successo il file robots.txt dal tuo sito Web WordPress.

2. Rimuovi Robots.txt dal cPanel

Se desideri un approccio più diretto alla rimozione manuale del file robots.txt dal tuo sito Web WordPress, puoi utilizzare il cPanel. Tutto quello che devi fare è accedere al tuo account cPanel utilizzando il link fornito dal tuo provider di hosting. Ancora una volta, puoi contattare il tuo provider di hosting se non disponi delle credenziali e dei dettagli necessari.

Dopo aver effettuato l'accesso al cPanel, scorrere fino alla sezione File e fare clic su File Manager . Ora puoi accedere a tutti i file del tuo sito Web WordPress.

Quindi, vai alla directory principale o alla cartella " public_html " poiché il file robots.txt è qui. Ora seleziona il file robots.txt e fai clic su Elimina nella barra dei menu del file manager.

Grande! Il tuo file robots.txt è stato rimosso dal tuo sito Web WordPress.

Come disabilitare Robots.txt su WordPress?

Gli approcci sopra menzionati possono aiutarti a rimuovere il file robots.txt dal tuo sito Web WordPress. Ma di solito non è raccomandato in quanto il file è molto importante per il tuo SEO. Quindi, se desideri un'opzione più sicura, puoi disabilitare il file robots.txt nel tuo sito Web WordPress.

Di conseguenza, il file robots.txt sarà presente nella directory dei file del tuo sito Web anche se non ci saranno restrizioni per i robot dei motori di ricerca per la scansione e l'indicizzazione del tuo sito Web. Esistono diversi modi per disabilitare il file robots.txt in WordPress. Puoi farlo direttamente dalla dashboard di WordPress o modificare il file manualmente utilizzando un plug-in, FTP o cPanel.

1. Disabilita Robots.txt dalla dashboard di WordPress

È semplice disabilitare il file robots.txt dalla dashboard di WordPress. Tutto quello che devi fare è andare su Impostazioni > Lettura dalla dashboard di WordPress, deselezionare l'opzione Visibilità sui motori di ricerca e salvare le modifiche .

Questo rimuoverà tutto il contenuto del file robots.txt nel tuo sito Web WordPress e lo cambierà in:

 Agente utente: *
Non consentire:

Pertanto, ciò impedirà ai motori di ricerca di indicizzare il tuo sito web. Ma la decisione di onorare questa richiesta spetta ai motori di ricerca.

2. Disabilita Robots.txt utilizzando un plug-in

Puoi anche modificare e disabilitare il file robots.txt utilizzando un plug-in se utilizzi già un plug-in SEO dal tuo sito Web WordPress. Questo può farti risparmiare molto tempo se non vuoi che i bot dei motori di ricerca indicizzino il tuo sito utilizzando il file robots.txt.

Diversi plugin SEO di WordPress ti consentono di modificare e disabilitare il file robots.txt. Ma per questa dimostrazione utilizzeremo il plug-in Rank Math SEO .

Ha un'interfaccia molto semplice per modificare il file robots.txt. Ciò renderà molto semplice modificare e rimuovere il contenuto del file robots.txt del tuo sito Web WordPress per disattivarlo.

Se desideri utilizzare qualsiasi altro plug-in SEO, puoi farlo. I passaggi sono molto simili per ogni plugin. Quindi devi installare e attivare il plugin prima di iniziare a usarlo.

2.1. Installa e attiva il plug-in

Per installare il plugin, vai su Plugin > Aggiungi nuovo dalla dashboard di WordPress e cerca le parole chiave del plugin. Non appena viene visualizzato nei risultati della ricerca, fai clic su Installa ora .

L'installazione sarà completata in pochi secondi. Quindi, fai clic su Attiva per attivare il plug-in.

Puoi anche caricare e installare manualmente il plug-in se desideri utilizzare plug-in SEO premium. Consulta la nostra guida sull'installazione manuale di un plug-in di WordPress se hai bisogno di aiuto.

2.2. Modifica e disabilita il file Robots.txt

Dopo aver attivato il plug-in, vai su Rank Math > Impostazioni generali dalla dashboard di WordPress e apri la scheda Modifica file robots.txt. Ciò ti consentirà di modificare i codici e le istruzioni che desideri includere nel tuo file robots.txt. Il plug-in ha persino fornito un editor di testo qui per aggiungere o rimuovere i codici e le istruzioni sul tuo file robots.txt.

Se hai già modificato questo file, potresti vedere diverse istruzioni qui a seconda delle pagine che non vuoi che i bot dei motori di ricerca eseguano la scansione e l'indicizzazione. D'altra parte, se questo è il file robots.txt predefinito creato da WordPress, vedrai i seguenti dettagli:

 Agente utente: *
Non consentire: /wp-admin/
Consenti: /wp-admin/admin-ajax.php

Qui, tutto ciò che devi fare è rimuovere tutti i codici aggiuntivi nel file robots.txt e lasciare il file con le seguenti istruzioni:

 Agente utente: *
Non consentire:

Dopo aver aggiunto le istruzioni precedenti, fai clic su Salva modifiche .

Questo è tutto! Hai disabilitato correttamente il file robots.txt utilizzando un plug-in.

3. Disabilita Robots.txt utilizzando il client FTP o cPanel

Il file robots.txt può anche essere disabilitato utilizzando un client FTP o cPanel . Per questo approccio, non è necessario rimuovere alcun contenuto del file robots.txt dal tuo sito Web WordPress. Tuttavia, devi creare un nuovo file robots.txt utilizzando qualsiasi editor di testo e includere solo le seguenti istruzioni :

 Agente utente: *
Non consentire:

Assicurati di salvare il file come " robots.txt ".

Ora tutto ciò che devi fare è caricare e sostituire il file robots.txt appena creato con quello precedente utilizzando un client FTP o cPanel.

Se desideri utilizzare FTP , puoi prima connettere il tuo sito Web con il client FTP utilizzando i passaggi indicati in questa guida. Quindi, carica il nuovo file robots.txt nella directory principale o nella cartella " public_html ".

Allo stesso modo, se desideri utilizzare cPanel per disabilitare il file robots.txt, puoi prima accedere al tuo account cPanel e aprire la directory del file . Puoi seguire i passaggi della sezione "Rimuovi Robots.txt da cPanel" di questa guida. Quindi, vai alla cartella " public_html " e carica qui il file robots.txt appena creato.

Se hai bisogno di aiuto per modificare questo file, consulta la nostra guida dettagliata sulla modifica di robots.txt in WordPress.

Conclusione

Questi sono i vari metodi con cui puoi disabilitare o rimuovere il file robots.txt dal tuo sito web WordPress . Può essere utile se vengono creati problemi sul tuo sito Web a causa del file robots.txt. Rimuoverlo può anche avvantaggiarti se il tuo sito web è in fase di sviluppo o se desideri un'indicizzazione avanzata del tutto.

Ma per riassumere, puoi rimuovere completamente il file robots.txt dal tuo sito Web WordPress utilizzando due modi principali:

• Utilizzo del client FTP
• cPanel

Entrambi questi approcci sono molto efficaci nella rimozione del file robots.txt dal tuo sito web. Ma poiché questo di solito non è raccomandato, puoi anche disabilitarlo se vuoi stare più al sicuro. Puoi disabilitarlo utilizzando la dashboard di WordPress o modificarlo utilizzando un plug-in, FTP o cPanel.

Quindi puoi rimuovere o disabilitare il file robots.txt ora? Fateci sapere se l'avete mai provato.

Nel frattempo, ecco alcune altre guide che possono aiutarti a personalizzare o migliorare il tuo sito Web WordPress:

• Come impostare la classifica SEO per la matematica? Il modo giusto!
• Rimuovi Yoast SEO dal database in WordPress
• Come migliorare la SEO di WordPress