Como Editar robots.txt no WordPress (com e sem Plugins)

Você está procurando as maneiras mais eficazes de editar robots.txt no WordPress ? Eles são cruciais se você deseja que os rastreadores dos mecanismos de pesquisa conheçam as páginas e seções do seu site que eles devem rastrear e indexar.

Mesmo que o WordPress gere um arquivo robots.txt para o seu site por padrão, você ainda pode precisar alterá-lo para gerenciar o que os mecanismos de pesquisa podem visualizar. Se você não estiver familiarizado com o robots.txt, não se preocupe. Explicaremos o que é robots.txt e por que é essencial editá-lo, juntamente com as várias maneiras de editá-lo em seu site WordPress com este tutorial.

Então, vamos nos aprofundar para entender o que é robots.txt.

O que é Robots.txt?

Robots.txt é um arquivo de texto simples no diretório raiz do seu site que contém instruções para robôs ou bots da web em quais páginas ou áreas do seu site eles devem rastrear e indexar . O arquivo informa aos mecanismos de busca se as páginas ou seções devem ser indexadas ou não com base em regulamentos específicos do site.

Por exemplo, rastreadores da Web, como os rastreadores da Web do Google, verificam sites regularmente para atualizar seu índice de páginas. Esses rastreadores da web do Google, também conhecidos como Googlebot, seguem as instruções indicadas no arquivo robots.txt para verificar o site.

O objetivo principal do arquivo robots.txt é ajudar os webmasters a controlar quais informações os mecanismos de pesquisa podem acessar em seus sites. Você pode usar o arquivo para impedir que bots acessem sites ou diretórios específicos. Mas lembre-se de que alguns bots além do Googlebot e outros rastreadores da Web renomados podem não seguir as diretrizes do arquivo.

Por que você deve editar o arquivo Robots.txt?

Existem vários benefícios de editar seu arquivo robots.txt no WordPress. Aqui vão algumas considerações:

• Bloqueie bots indesejados: alguns bots podem não ser benéficos para o seu site ou podem consumir recursos valiosos em seu servidor. Isso pode resultar em tempos de carregamento lentos do site e degradar o desempenho do site. Portanto, editar o arquivo robots.txt pode ajudar a impedir que bots indesejados rastreiem seu site e melhorar a velocidade geral do site.
• Proteja informações confidenciais: certas páginas do seu site podem conter informações confidenciais que você não deseja que os mecanismos de pesquisa indexem. Isso pode incluir dados pessoais, informações comerciais confidenciais, conteúdo protegido por senha ou até mesmo conteúdo legal ou relacionado à conformidade.
  Você pode evitar que essas páginas sejam rastreadas e indexadas editando seu arquivo robots.txt. Isso ajudará até a proteger a privacidade e a segurança do seu site.
• Bots diretos para páginas específicas : você também pode usar o robots.txt para direcionar os bots para as páginas específicas do seu site que você deseja que os mecanismos de pesquisa rastreiem e indexem. Isso permite que você priorize as páginas que deseja classificar melhor nos resultados do mecanismo de pesquisa.
• Impedir a indexação de conteúdo duplicado: você pode ter páginas em seu site com conteúdo semelhante, como categorias ou páginas de tags. Nesse caso, você pode usar o arquivo robots.txt para impedir que bots de mecanismos de pesquisa os indexem. Isso pode ajudar a evitar problemas de conteúdo duplicado que afetam negativamente as classificações do mecanismo de pesquisa do seu site.

Agora que você entendeu o que é o arquivo robots.txt e por que eles são essenciais, vamos para a próxima seção, onde mostraremos como personalizá-lo.

Como Editar Robots.txt no WordPress

Você pode editar o arquivo robots.txt de três maneiras principais no WordPress:

1. Usando um cliente FTP
2. cPanel
3. Com um plug-in

Passaremos por cada uma dessas abordagens em detalhes. Mas se você usar o cliente FTP ou a abordagem cPanel , primeiro terá que criar um arquivo robots.txt manualmente .

O WordPress cria um arquivo virtual robots.txt por padrão quando você inicia seu site. Ele pode ser acessado adicionando o caminho “ /robots.txt ” ao final do seu domínio.

Por exemplo, você pode acessar o arquivo robots.txt do QuadLayers usando o link: “https://quadlayers.com/robots.txt”.

No entanto, não usamos o arquivo robots.txt padrão. Ele foi editado para atender às necessidades específicas de QuadLayers. Mas o arquivo robots.txt padrão criado pelo WordPress inclui apenas as seguintes informações:

 Agente de usuário: *
Não permitir: /wp-admin/
Permitir: /wp-admin/admin-ajax.php

Infelizmente, você não pode editar este arquivo, pois é virtual . Para editar o arquivo robots.txt do seu site WordPress, você deve criar um manualmente.

Para fazer isso, você pode usar qualquer editor de texto para criar um arquivo vazio e salvá-lo como “ robots.txt ”.

Como alternativa, se você quiser usar um plug-in de SEO para editar o arquivo, isso pode ser feito automaticamente por meio do plug-in. Aprenderemos isso mais adiante neste guia.

No entanto, seu arquivo robots.txt deve conter as mesmas informações, não importa qual abordagem você use. Então, vamos ver o que deve ser incluído no arquivo robots.txt também.

O que incluir no arquivo Robots.txt?

Para garantir que os mecanismos de pesquisa indexem seu site corretamente, aqui estão alguns comandos ou diretivas de código que você pode incluir em seu arquivo robots.txt:

• User-agent: identifica o mecanismo de pesquisa ou bot ao qual as instruções se aplicam. Você pode incluir um ou mais agentes de usuário em seu arquivo robots.txt, dependendo dos bots que deseja controlar. Por exemplo, “User-agent: Googlebot” refere-se ao rastreador da web do Google.
• Disallow: Esta diretiva informa aos bots quais páginas ou diretórios os bots do mecanismo de pesquisa não devem rastrear ou indexar. Você pode especificar páginas individuais ou diretórios inteiros. Por exemplo, “Disallow: /wp-admin/” bloquearia todos os bots de rastrear páginas dentro do diretório de administração do WordPress.
• Mapa do site: esta diretiva informa aos bots onde encontrar o arquivo de mapa do site do seu site. O arquivo de mapa do site lista todas as páginas do seu site que você deseja que os mecanismos de pesquisa indexem.

Você também pode usar a diretiva “ allow ” no arquivo robots.txt. Ele informa aos bots quais páginas ou diretórios eles devem rastrear ou indexar. No entanto, lembre-se que é opcional e deve ser usado apenas quando necessário.

Aqui está um exemplo de um arquivo robots.txt básico:

 Agente de usuário: *
Não permitir: /wp-admin/
Não permitir: /wp-includes/
Mapa do site: https://www.example.com/sitemap.xml

Neste exemplo, o user-agent está definido como “*”, o que significa que as instruções se aplicam a todos os bots. A diretiva “disallow” impede que os bots rastreiem o administrador do WordPress e os diretórios “wp-include”. Da mesma forma, a diretiva sitemap especifica a localização do arquivo de mapa do site.

Agora que você tem uma compreensão básica do que incluir no arquivo robots.txt, pode adicionar todas as páginas da Web que não deseja que os bots rastreiem ou indexem. Por fim, salve o arquivo.

1) Edite Robots.txt usando um cliente FTP

Para editar o robots.txt no WordPress usando um cliente FTP, você deve instalar um cliente FTP e conectar seu site. Existem muitos clientes FTP como FileZilla e Cyberduck que você pode usar para este método. Mas usaremos o FileZilla para este tutorial.

1.1) Conecte seu site WordPress ao FTP

Depois de instalar o cliente FTP, abra o aplicativo e vá para Arquivo > Gerenciador de sites . Você também pode abrir o gerenciador de sites pressionando Ctrl+S no teclado.

Em seguida, clique em Novo Site e insira o nome do seu site em Meus Sites .

Agora, abra a guia Geral e insira as credenciais do seu site. Você pode obter as credenciais para conectar seu site ao FileZilla do seu serviço de hospedagem.

Depois de inserir as credenciais, clique em Conectar .

Você pode acessar o diretório de arquivos do site a partir do seu computador depois que o site estiver conectado. Então, vamos carregar o arquivo robots.txt do seu computador para o seu site.

1.2) Carregue o arquivo Robots.txt no WordPress

Depois de conectar seu site ao cliente FTP, você deve navegar até o diretório raiz do seu site, pois é onde o arquivo robots.txt deve estar localizado.

O arquivo raiz também é chamado de arquivo “ public_html ”.

Você pode carregar o arquivo robots.txt criado recentemente aqui. Se já existir um arquivo robots.txt neste arquivo, substitua-o.

É isso!

Agora é só testar o arquivo robots.txt adicionando o caminho “/robots.txt” no final do domínio, como mostramos nos exemplos anteriores.

2) Edite Robots.txt usando cPanel

A edição do arquivo robots.txt com o cPanel é muito semelhante à abordagem do cliente FTP. Primeiro, você deve fazer login no cPanel do seu site. Novamente, todas as credenciais de login necessárias já devem ter sido fornecidas pelo seu serviço de hospedagem.

Depois de fazer login no cPanel, vá até a seção Arquivos e clique em Gerenciador de arquivos .

Em seguida, navegue até o diretório de arquivos “ public_html ” e carregue o arquivo robots.txt criado recentemente aqui. Mais uma vez, se um arquivo robots.txt já existir aqui, você precisará substituí-lo pelo recém-editado.

Finalmente, teste seu arquivo robots.txt adicionando o caminho “/robots.txt” no final do seu domínio.

3) Edite Robots.txt usando um Plugin

Se você quiser economizar muito tempo e problemas para editar a página robots.txt, também pode usar um plug-in. Vários plugins de SEO como Yoast SEO, All in One SEO e Rank Math SEO permitem que você crie e edite o arquivo robots.txt.

Você pode consultar nossa lista completa dos melhores plug-ins de SEO para WordPress se precisar de mais informações para ajudá-lo a decidir o plug-in que deseja usar.

Mas usaremos o plug-in Rank Math SEO para esta demonstração. É um dos plugins de SEO mais populares e possui uma interface muito simples para editar o arquivo robots.txt. Então vamos começar instalando o plugin.

3.1) Instale e Ative o Plugin

Para instalar o plug-in, você deve acessar Plug-ins > Adicionar novo no painel do WordPress e pesquisar primeiro as palavras-chave do plug-in. Depois de ver o plug-in nos mecanismos de pesquisa, clique em Instalar agora . A instalação levará apenas alguns instantes.

Assim que a instalação estiver concluída, clique em Ativar para ativar o plug-in.

Se você quiser usar qualquer um dos plug-ins premium, deverá carregá-lo manualmente. Você pode consultar nosso guia detalhado sobre a instalação manual de um plug-in do WordPress para obter mais informações.

Além disso, se você encontrar algum problema ao configurar o Rank Math SEO, temos até um guia específico sobre como configurar o Rank Math.

3.2) Editar Arquivo Robots.txt

Após a ativação do plug-in, vá para Rank Math > Configurações gerais no painel do WordPress e selecione a guia Editar arquivo robots.txt . Você pode ver que o plug-in forneceu seu editor de texto para você editar o arquivo robots.txt nesta seção.

Aqui, você deve adicionar todos os códigos e comandos dependendo das páginas da web que deseja que os bots rastreiem e indexem. Se precisar de ajuda, fornecemos todas as orientações necessárias neste tutorial em uma das etapas anteriores.

Depois de adicionar todos os comandos e diretivas necessários para o arquivo robots.txt, clique em Salvar alterações .

Ótimo! Agora, se você adicionar o caminho “/robots.txt” no final do domínio, verá que o arquivo foi atualizado de acordo. Portanto, os bots do mecanismo de pesquisa passarão apenas pelas páginas da Web que você permitiu com base no arquivo robots.txt.

Conclusão

É assim que você pode criar e editar o arquivo robots.txt no WordPress . É essencial fazê-lo se você não deseja que os bots dos mecanismos de pesquisa acessem o conteúdo confidencial ou duplicado do seu site. O arquivo robots.txt também pode ser usado para direcionar os bots para rastrear e indexar páginas específicas do seu site.

Para resumir, você pode editar o arquivo robots.txt usando três maneiras principais:

• Usando um cliente FTP
• cPanel
• Com um plug-in

Usando cliente FTP e cPanel são muito semelhantes . Tudo o que você precisa fazer é entrar no cPanel ou conectar seu site com o cliente FTP e enviar o arquivo robots.txt. Em seguida, você deve carregar o arquivo robots.txt que foi criado manualmente por você anteriormente.

Por outro lado, o arquivo robots.txt será adicionado automaticamente ao seu site se você usar um plug-in . Os plug-ins ainda fornecem um editor de texto para ajudá-lo a editar o arquivo robots.txt.

Então, você pode editar o arquivo robots.txt para o seu site agora? Deixe-nos saber nos comentários se você já experimentou.

Enquanto isso, se você achou este artigo útil, aqui estão mais algumas postagens que você pode usar para personalizar ou melhorar seu site WordPress:

• Como melhorar o SEO do WordPress: 9 maneiras
• Melhores plugins SSL para WordPress (gratuitos e pagos)
• Como adicionar meta descrições no WordPress