Como remover o Robots.txt do WordPress

Deseja remover o robots.txt do WordPress ? O arquivo robots.txt é essencial para impedir que bots de mecanismos de pesquisa indexem determinadas páginas do seu site. Mas se não estiver configurado corretamente, isso pode causar problemas para o seu site, então você pode precisar removê-lo.

Portanto, antes de nos aprofundarmos no processo de remoção, você precisa ter uma compreensão mais clara do arquivo robots.txt e por que pode ser necessário removê-lo.

O que é Robots.txt?

O robots.txt é um arquivo do seu site WordPress que contém as diretrizes para os bots do mecanismo de pesquisa em quais áreas ou páginas do seu site devem ser indexadas e rastreadas . Ele também informa os mecanismos de pesquisa usando regras e instruções específicas sobre se as páginas e seções do seu site devem ser indexadas.

Se considerarmos um exemplo do mundo real, os rastreadores da web do Google, também conhecidos como Googlebot, analisam regularmente sites para manter seu índice de página atualizado. Esses rastreadores da Web seguem as instruções descritas no arquivo robots.txt durante a verificação do site. Em seguida, eles indexam e rastreiam as páginas e áreas do seu site de acordo com as diretrizes mencionadas no arquivo robots.txt.

Da mesma forma, os bots dos mecanismos de pesquisa de todos os outros rastreadores da Web conhecidos indexam e rastreiam seu site usando o arquivo robots.txt. O arquivo é útil para impedir que bots acessem determinadas áreas, páginas ou diretórios do site. Mas, ao mesmo tempo, você pode se beneficiar removendo ou desativando o arquivo robots.txt do seu site WordPress em alguns casos.

Por que você deve remover o Robots.txt do WordPress?

Há muitos motivos para considerar a remoção ou desativação do arquivo robots.txt do seu site WordPress. Aqui estão alguns deles:

• Restrições não intencionais: às vezes, o arquivo robots.txt pode conter regras que restringem involuntariamente o acesso de rastreadores de mecanismos de pesquisa a páginas ou seções essenciais do seu site. Isso pode afetar negativamente a visibilidade do seu site nos resultados do mecanismo de pesquisa e afetar a classificação do seu site.
• Sites de desenvolvimento ou preparação: se você tiver um site de desenvolvimento ou preparação para fins de teste, talvez não queira que os mecanismos de pesquisa indexem esses sites. Portanto, se você remover o arquivo robots.txt, poderá garantir que os rastreadores do mecanismo de pesquisa não indexem ou exibam esses sites nos resultados da pesquisa. Isso permite que você se concentre em testar e refinar seu site durante o desenvolvimento inicial e no processo de teste, sem o risco de ficar visível para os usuários publicamente.
• Indexação aprimorada: os rastreadores do mecanismo de pesquisa podem acessar e indexar livremente as páginas e o conteúdo do seu site quando você remove o arquivo robots.txt. Assim, eles podem descobrir e incluir uma variedade maior de conteúdo do seu site em seu índice. Isso pode ser benéfico se você quiser garantir a máxima visibilidade e capacidade de descoberta do conteúdo do seu site.
• Conflitos de plug-in: conflitos entre plug-ins específicos do seu site WordPress e o arquivo robots.txt podem, às vezes, levar a problemas ou erros inesperados. Portanto, remover o arquivo robots.txt pode ajudar a resolver esses conflitos e garantir o bom funcionamento do seu site WordPress.

No entanto, é importante observar que a remoção do arquivo robots.txt não é uma decisão a ser tomada de ânimo leve e geralmente não é recomendada. Considere as implicações e consulte um especialista antes de continuar se não tiver certeza sobre o impacto no desempenho de SEO do seu site.

Como remover o Robots.txt do WordPress

Você pode remover ou desabilitar o arquivo robots.txt do WordPress de 2 maneiras principais :

1. Usando cliente FTP
2. cPanel

Analisaremos esses métodos em detalhes com um guia passo a passo para remover o robots.txt do WordPress. Ambas as formas são semelhantes entre si. Mas você deve acessar o FTP ou o cPanel do seu site primeiro.

Observação: antes de remover o arquivo robots.txt do seu site, certifique-se de fazer uma cópia dele. Em seguida, você pode enviar o arquivo original para o seu site novamente se fizer alterações não intencionais durante o procedimento, o que pode levar a erros ou bugs.

1. Remova o Robots.txt usando o cliente FTP

É fácil usar um cliente FTP para remover o robots.txt do seu site WordPress. Você pode acessar o FTP para WordPress usando um cliente FTP como FileZilla ou Cyberduck. Então, você pode começar a editar os arquivos do seu site usando-o.

Usaremos o cliente FTP FileZilla para este tutorial, que você pode baixar e instalar em seu computador a partir do site deles. Mas você é livre para usar qualquer cliente FTP que desejar. As etapas são quase idênticas entre si.

Depois de instalar o cliente FTP, você deve conectar seu site ao cliente FTP. Portanto, abra o aplicativo FileZilla em seu computador e vá para Arquivo > Gerenciador de sites no canto superior esquerdo da barra de menus. Você também pode usar o atalho de teclado Ctrl+S em seu teclado para acessar o gerenciador do site.

Em seguida, clique em Novo Site e insira o nome do seu site em Meus Sites .

Agora, abra a guia Geral no lado direito da tela, onde você precisará inserir as credenciais para conectar seu site ao cliente FTP. Se você não tiver as credenciais necessárias, poderá solicitá-las ao seu provedor de hospedagem.

Depois de inserir as credenciais, clique em Conectar .

Agora você terá acesso ao diretório de arquivos do seu site, de onde poderá remover o arquivo robust.txt do seu site WordPress. O arquivo robots.txt está no diretório raiz do seu site, também chamado de pasta “ public_html ”. Você pode navegar até ele usando o Filezilla Explorer.

Depois de encontrar o arquivo robots.txt, clique com o botão direito do mouse no arquivo e selecione Excluir .

É isso! Você removeu com sucesso o arquivo robots.txt do seu site WordPress.

2. Remova Robots.txt do cPanel

Se você deseja uma abordagem mais direta para remover manualmente o arquivo robots.txt do seu site WordPress, pode usar o cPanel. Tudo o que você precisa fazer é fazer login na sua conta cPanel usando o link fornecido pelo seu provedor de hospedagem. Novamente, você pode entrar em contato com seu provedor de hospedagem se não tiver as credenciais e detalhes necessários.

Depois de fazer login no cPanel, vá até a seção Arquivos e clique em Gerenciador de arquivos . Agora você pode acessar todos os arquivos do seu site WordPress.

Em seguida, navegue até o diretório raiz ou pasta “ public_html ” já que o arquivo robots.txt está aqui. Agora, selecione o arquivo robots.txt e clique em Excluir na barra de menus do gerenciador de arquivos.

Ótimo! Seu arquivo robots.txt agora foi removido do seu site WordPress.

Como desativar o Robots.txt no WordPress?

As abordagens mencionadas acima podem ajudá-lo a remover o arquivo robots.txt do seu site WordPress. Mas geralmente não é recomendado, pois o arquivo é muito importante para o seu SEO. Portanto, se você deseja uma opção mais segura, pode desativar o arquivo robots.txt em seu site WordPress.

Como resultado, o arquivo robots.txt estará presente no diretório de arquivos do seu site, mesmo que não haja nenhuma restrição para que os bots do mecanismo de pesquisa rastreiem e indexem seu site. Existem várias maneiras de desativar o arquivo robots.txt no WordPress. Você pode fazer isso diretamente no painel do WordPress ou editar o arquivo manualmente usando um plug-in, FTP ou cPanel.

1. Desative o Robots.txt no Painel do WordPress

É fácil desativar o arquivo robots.txt no painel do WordPress. Tudo o que você precisa fazer é ir para Configurações > Leitura no painel do WordPress, desmarcar a opção Visibilidade do mecanismo de pesquisa e salvar as alterações .

Isso removerá todo o conteúdo do arquivo robots.txt do seu site WordPress e o alterará para:

 Agente de usuário: *
Não permitir:

Portanto, isso impedirá que os mecanismos de pesquisa indexem seu site. Mas a decisão de honrar esse pedido cabe aos mecanismos de busca.

2. Desative o Robots.txt usando um plug-in

Você também pode editar e desabilitar o arquivo robots.txt usando um plug-in, caso já use um plug-in de SEO em seu site WordPress. Isso pode economizar muito tempo se você não quiser que os bots do mecanismo de pesquisa indexem seu site usando o arquivo robots.txt.

Vários plug-ins de SEO do WordPress permitem que você edite e desative o arquivo robots.txt. Mas usaremos o plug-in Rank Math SEO para esta demonstração.

Possui uma interface muito simples para editar o arquivo robots.txt. Isso tornará muito fácil editar e remover o conteúdo do arquivo robots.txt do seu site WordPress para desativá-lo.

Se você quiser usar qualquer outro plug-in de SEO, poderá fazê-lo. As etapas são muito semelhantes para cada plug-in. Portanto, você deve instalar e ativar o plug-in antes de começar a usá-lo.

2.1. Instale e Ative o Plugin

Para instalar o plug-in, vá para Plug-ins > Adicionar novo no painel do WordPress e pesquise as palavras-chave do plug-in. Assim que for exibido nos resultados da pesquisa, clique em Instalar agora .

A instalação será concluída em apenas alguns segundos. Em seguida, clique em Ativar para ativar o plug-in.

Você também pode carregar e instalar manualmente o plug-in se quiser usar qualquer plug-in de SEO premium. Consulte nosso guia sobre a instalação manual de um plug-in do WordPress se precisar de ajuda.

2.2. Editar e desativar o arquivo Robots.txt

Depois de ativar o plug-in, vá para Rank Math > Configurações gerais no painel do WordPress e abra a guia Editar arquivo robots.txt . Isso permitirá que você edite os códigos e instruções que deseja incluir em seu arquivo robots.txt. O plug-in até forneceu um editor de texto aqui para adicionar ou remover os códigos e instruções em seu arquivo robots.txt.

Se você já editou este arquivo antes, poderá ver várias instruções aqui, dependendo das páginas que não deseja que os bots do mecanismo de pesquisa rastreiem e indexem. Por outro lado, se este for o arquivo robots.txt padrão que o WordPress criou, você verá os seguintes detalhes:

 Agente de usuário: *
Não permitir: /wp-admin/
Permitir: /wp-admin/admin-ajax.php

Aqui, basta remover todos os códigos adicionais do arquivo robots.txt e deixar o arquivo com as seguintes instruções:

 Agente de usuário: *
Não permitir:

Depois de adicionar a instrução acima, clique em Salvar alterações .

É isso! Você desativou com sucesso o arquivo robots.txt usando um plug-in.

3. Desative Robots.txt usando cliente FTP ou cPanel

O arquivo robots.txt também pode ser desabilitado usando um cliente FTP ou cPanel . Para esta abordagem, você não precisa remover nenhum conteúdo do arquivo robots.txt do seu site WordPress. No entanto, você precisa criar um novo arquivo robots.txt usando qualquer editor de texto e incluir apenas as seguintes instruções :

 Agente de usuário: *
Não permitir:

Certifique-se de salvar o arquivo como " robots.txt ."

Agora tudo o que você precisa fazer é carregar e substituir o arquivo robots.txt recém-criado pelo antigo usando um cliente FTP ou cPanel.

Se você quiser usar o FTP , primeiro conecte seu site ao cliente FTP usando as etapas mencionadas neste guia. Em seguida, carregue o novo arquivo robots.txt no diretório raiz ou na pasta “ public_html ”.

Da mesma forma, se você quiser usar o cPanel para desabilitar o arquivo robots.txt, você pode primeiro fazer login na sua conta cPanel e abrir o diretório do arquivo . Você pode seguir as etapas da seção “Remover Robots.txt do cPanel” deste guia. Em seguida, navegue até a pasta “ public_html ” e carregue o arquivo robots.txt recém-criado aqui.

Se precisar de ajuda para editar este arquivo, consulte nosso guia detalhado sobre edição de robots.txt no WordPress.

Conclusão

Estes são os vários métodos com os quais você pode desativar ou remover o arquivo robots.txt do seu site WordPress . Pode ser útil se forem criados problemas em seu site devido ao arquivo robots.txt. Removê-lo também pode beneficiá-lo se o seu site estiver em estágio de desenvolvimento ou se você quiser uma indexação avançada.

Mas, para resumir, você pode remover completamente o arquivo robots.txt do seu site WordPress usando duas maneiras principais:

• Usando cliente FTP
• cPanel

Ambas as abordagens são muito eficazes na remoção do arquivo robots.txt do seu site. Mas como isso geralmente não é recomendado, você também pode desativá-lo se quiser ficar mais seguro. Você pode desativá-lo usando o painel do WordPress ou editá-lo usando um plug-in, FTP ou cPanel.

Então você pode remover ou desabilitar o arquivo robots.txt agora? Deixe-nos saber se você já experimentou.

Enquanto isso, aqui estão mais alguns guias que podem ajudá-lo a personalizar ou melhorar seu site WordPress:

• Como configurar SEO de matemática de classificação? O caminho certo!
• Remover Yoast SEO do banco de dados no WordPress
• Como melhorar o SEO do WordPress