Como otimizar seu WordPress Robots.txt (Guias Avançados)

Muitos de vocês já devem ter ouvido falar do arquivo robots.txt, mas você sabe onde ele está e como é? Mais importante ainda, você sabe como otimizar seu arquivo robot.txt do WordPress para impulsionar o SEO?

Este artigo abordará essas questões para fornecer uma imagem correta e clara do arquivo robots.txt do WordPress. A partir daí, você pode usar o arquivo para aumentar sua visibilidade online nas SERPs ou ocultar seu conteúdo sensível dos olhos do público.

Vamos começar com a localização do robots.txt, seus exemplos, destacar as formas de editar o arquivo e, em seguida, encerrar este post com dicas avançadas sobre a otimização do robots.txt do WordPress.

Vamos mergulhar!

• Onde está a localização do WordPress robot.txt?
• Como editar robot.txt no WordPress?
• Como otimizar seu arquivo WordPress Robots.txt para SEO

Onde está a localização do WordPress robots.txt?

O arquivo robots.txt reside na pasta raiz do seu site. Seu principal dever é orientar os bots dos mecanismos de pesquisa sobre como rastrear e indexar seu site. Em particular, ele nega o acesso do mecanismo de pesquisa a determinados arquivos e pastas.

Muitos proprietários de sites WordPress usam o arquivo robots.txt para desencorajar a indexação de pesquisa . Isso soa contra-intuitivo, certo? Considerando o fato de que SEO ou conquistar a 1ª posição em SERPs desempenha um componente crítico no sucesso do negócio online.

Ainda assim, se o seu site estiver no modo de desenvolvimento ou contiver algum conteúdo pessoal ou de baixa qualidade, o robot.txt será útil no rastreamento de blocos e na indexação desse conteúdo. A partir daqui, você pode otimizar seu arquivo robots.txt do WordPress para priorizar suas principais páginas de destino, como páginas de vendas, páginas de produtos ou postagens patrocinadas.

Da mesma forma, você também pode otimizar sua cota de rastreamento . Cota de rastreamento, ou orçamento de rastreamento, refere-se ao número de páginas em seu site WordPress que os bots do Google rastreiam a qualquer momento. Permitir que suas páginas importantes rastreiem o orçamento ajuda a indexá-las e classificá-las rapidamente na primeira página dos resultados de pesquisa.

No entanto, lembre-se de otimizar o arquivo robots.txt, pois pode prejudicar seu SEO se for mal feito.

Exemplo do WordPress Robots.txt

Você pode ver o arquivo robots.txt de qualquer site adicionando /robots.txt no final do nome de domínio. Portanto, um arquivo robots.txt será parecido com isto.

O agente do usuário em um arquivo robots.txt é o mecanismo de pesquisa que lê o arquivo robots.txt. Se No user-agent estiver marcado com um asterisco, isso significa que ele dá luz verde a todos os mecanismos de pesquisa.

Nos arquivos robots.txt, permitir e não permitir informar aos bots quais páginas e conteúdo eles podem e não podem rastrear. Como você pode ver, permitimos que os mecanismos de pesquisa rastreiem e indexem arquivos em nosso WordPress admin-ajax e não permitimos o acesso a plugins e pastas de administração.

Um mapa do site é um arquivo XML que contém uma lista e detalhes de todas as páginas do seu site.

Como editar Robots.txt no WordPress?

A maneira mais fácil de editar robots.txt no WordPress é usando plugins. Existem vários plugins de SEO robustos que se destacam em ajudá-lo a editar o arquivo robots.txt, tudo em um SEO, YoastSEO, RankMath, etc., apenas para citar alguns.

Além disso, você também pode procurar ajuda de plugins desenvolvidos exclusivamente para otimizar seu arquivo robots.txt do WordPress, como Virtual Robots.txt, otimização do WordPress Robots.txt e muito mais.

Alternativamente, é possível editar o arquivo manualmente via FTP Client. Primeiro, você precisa conectar seu provedor de hospedagem WordPress usando um cliente FTP. Depois disso, localize o arquivo robots.txt no diretório raiz do seu site.

Se você não vir o arquivo robot.txt lá, é provável que seu site não o tenha. Não se desespere, apenas crie um novo. Clique com o botão direito do mouse e escolha “Criar novo arquivo” e faça o download para sua área de trabalho. Robots.txt é um arquivo de texto simples, o que significa que você pode baixá-lo e editá-lo normalmente como outros arquivos com editores de texto como Wordpad ou Notepad.

Depois disso, atualize suas alterações, carregue seu arquivo robots.txt editado para a pasta raiz novamente e pronto.

Teste seu arquivo Robots.txt

Você precisa certificar-se de que seu arquivo robot.txt funcione normalmente após a edição. Se ocorrer algum erro, isso pode levar à exclusão do seu site das páginas de resultados de pesquisa.

Entre uma ampla variedade de ferramentas de teste de robots.txt disponíveis, recomendamos que você use o Google Search Console, permitindo testar seu arquivo robots.txt gratuitamente.

Certifique-se de que você já enviou o URL do seu site para o Google Search Console, para que a ferramenta verifique sua autenticação. Caso contrário, confira nosso guia sobre como enviar seu site para os mecanismos de pesquisa.

Então você pode usar a ferramenta de teste de robôs do Google Search Console. Depois de selecionar uma propriedade no menu suspenso, a ferramenta logo de cara passa pelo arquivo e notifica você se houver algum erro e aviso.

Mais do que isso, a ferramenta permite que você entre em uma determinada página do seu site e selecione um agente de usuário específico para verificar se a indexação dessa página está bloqueada ou a indexação é aceita.

É possível editar o arquivo diretamente na ferramenta e executar novamente o teste. No entanto, o arquivo real ainda permanece inalterado. Pode ser necessário copiar a edição e colar no arquivo real e salvá-lo lá.

Como otimizar seu arquivo WordPress Robots.txt para SEO

É altamente recomendável desabilitar seletivamente algumas de suas páginas confidenciais, como /wp-admin/ , /wp-content/plugins/ , /trackback/ e /readme.html , enquanto o restante permanece "permitir".

Além disso, você pode otimizar seu arquivo robots.txt do WordPress adicionando seu mapa do site a ele. Embora o WordPress forneça seu próprio mapa do site, você pode usar plugins de SEO como YoastSEO ou All in One SEO para criar seu personalizado. Eles lhe dão o poder de criar sitemaps separados para Posts e Páginas.

Nesse ponto, adicionar esses sitemaps ao seu arquivo robots.txt aumentará o rastreamento dos bots com mais rapidez e facilidade.

Além disso, apesar da ideia de otimização, é altamente recomendável não tocar ou editar demais o arquivo robots.txt. Isso ocorre porque alterar demais o arquivo pode prejudicar a estrutura da sua página e enganar os bots na prevenção do rastreamento do seu site.

Então, menos é mais. Você só precisa se concentrar no mapa do site e fazer com que suas principais páginas sejam descobertas primeiro.

Aumente sua visibilidade online agora!

Robots.txt é um arquivo importante que permite otimizar estrategicamente sua cota de rastreamento e ocultar conteúdo privado da indexação de pesquisa.

Este artigo mostrou o que é um arquivo robots.txt, onde encontrá-lo e como editar o arquivo. Também apresentamos a você como otimizar seu arquivo robots.txt do WordPress para SEO. O problema é que quanto menos edição no robots.txt, melhor. E não se esqueça de adicionar um mapa do site personalizado ao arquivo para aumentar a visibilidade da sua página principal.

O que você está esperando? Aumente sua visibilidade online com o arquivo robot.txt agora!