Como desencorajar os mecanismos de pesquisa de indexar seu site WordPress

Os mecanismos de pesquisa usam rastreadores ou robôs da Web para rastrear e indexar seu site. Para muitos proprietários de sites, a indexação do conteúdo de seus sites é crucial para aumentar sua visibilidade online e, assim, aumentar o tráfego em seus sites. No entanto, há casos em que você não deseja que seu site seja indexado. Esses motivos podem realmente fazer você pensar em como desencorajar os mecanismos de pesquisa de indexar seu site.

É possível impedir que um recurso ou página do seu site apareça na pesquisa do Google. Neste artigo, veremos como desencorajar e impedir que os mecanismos de pesquisa indexem seu site.

Índice

Indexação x listagem no Google

Razões pelas quais você deseja impedir que os mecanismos de pesquisa indexem seu site

Como impedir que os mecanismos de pesquisa rastreiem e indexem seu site

• Por meio da caixa de seleção padrão de visibilidade do mecanismo de pesquisa do WordPress
• Modificando o arquivo Robots.txt
• Protegendo seu site com senha

Removendo um site da Pesquisa Google

Conclusão

Indexação x listagem no Google

Indexação

A indexação é o processo de coleta e download de dados de conteúdo do site para o servidor do mecanismo de pesquisa e, posteriormente, armazenar os dados adicionando-os ao seu banco de dados central (índice).

O processo de indexação é precedido pelo rastreamento, em que os mecanismos de pesquisa tendem a varrer a web para identificar qualquer conteúdo novo ou atualizado. Esse conteúdo é o que, por sua vez, é usado na indexação.

A indexação permitirá renderizar dados relevantes para consultas de pesquisa muito mais rapidamente, pois o conteúdo é organizado, em comparação com a pesquisa em todo o conteúdo executando várias consultas.

Listagem

A listagem envolve principalmente a renderização do seu site nas páginas de resultados do mecanismo de pesquisa (SERPs).

Se um site for exibido nas páginas de resultados do mecanismo de pesquisa, isso significa que esse site está indexado. Abaixo está uma captura de tela de exemplo sobre isso:

A indexação, no entanto, não significa essencialmente que seu site será listado nas SERPs.

Também é importante observar que um site não precisa ser indexado para ser listado. Se houver links apontando para o domínio do site ou qualquer outro conteúdo do site, o Google o utilizará.

Razões pelas quais você deseja impedir que os mecanismos de pesquisa indexem seu site

1. Ao criar um site de desenvolvimento

Como proprietário de um site, na maioria dos casos, você deseja criar seu site primeiro em um ambiente de desenvolvimento antes de enviar o site final para produção.

No entanto, você não deseja que o conteúdo do seu site de desenvolvimento seja indexado pelo Google, o que, por sua vez, levaria à concorrência com seu site de produção. Nesse caso, você precisaria desabilitar a indexação em seu site de desenvolvimento para evitar tal cenário.

2. Conteúdo Privado

Se o seu site contém conteúdo privado que você não deseja que seja acessível aos mecanismos de pesquisa, você pode optar por impedir que esse site seja indexado.

Um exemplo de tal cenário pode ser se você tiver páginas da Web que só devem ser acessíveis se um usuário tiver uma assinatura ou apenas quando um usuário estiver conectado. Esse conteúdo não deve ser disponibilizado para indexação.

3. Conteúdo hackeado/comprometido

Em um cenário em que seu site é invadido e, portanto, comprometido, isso representa uma ameaça à segurança para os usuários do seu site e especialmente quando se trata de sites de comércio eletrônico.

Para ajudar na redução de tais riscos seria apropriado desindexar o site ou até mesmo excluí-lo.

4. Conteúdo duplicado

Às vezes, você pode realmente ter conteúdo duplicado em seu site, especialmente quando se trata de sites de comércio eletrônico, nos quais as páginas do produto podem parecer semelhantes. No entanto, ter conteúdo duplicado em seu site pode levar à penalização do Google.

Portanto, é importante desindexar qualquer conteúdo duplicado em seu site para evitar ser penalizado.

5. Conteúdo desatualizado

Em alguns casos, você pode ter um site apresentando informações desatualizadas e, portanto, os resultados da pesquisa conteriam essas informações. Essas informações podem, por sua vez, ser enganosas para os visitantes do site.

Portanto, seria ótimo desencorajar os mecanismos de pesquisa de indexar esse conteúdo em tais situações.

6. Informações vazadas

Se o conteúdo for disponibilizado prematuramente ao público, você precisará desencorajar os mecanismos de pesquisa de indexar esse conteúdo ou cancelar a publicação do site. Isso ajudará a tornar esse conteúdo inacessível.

7. Conteúdo Nocivo

Em situações em que você possa ter conteúdo que possa considerar prejudicial ao seu site, você pode considerar a desindexação do site. Este pode ser o caso, por exemplo, se o seu site tiver sido invadido e informações maliciosas adicionadas a ele.

Como impedir que os mecanismos de pesquisa rastreiem e indexem seu site

Existem várias maneiras de considerar se você deseja desencorajar os mecanismos de pesquisa de rastrear e indexar seu site. Examinaremos algumas dessas maneiras em ordem e exploraremos como cada uma delas ajuda a realizar isso.

Por meio da caixa de seleção padrão de visibilidade do mecanismo de pesquisa do WordPress

Esse método permite desencorajar os mecanismos de pesquisa de rastrear seu site diretamente do painel do WordPress. Para implementá-lo, você precisará:

i) Faça login no seu painel do WordPress usando uma conta de administrador

ii) Navegue até a seção Configurações > Leitura no painel do WordPress

iii) Na seção “Visibilidade do mecanismo de pesquisa”, ative a opção “Desencorajar os mecanismos de pesquisa de indexar este site”

iv) Salve suas alterações

Uma vez que o acima é realizado, o código abaixo é adicionado ao cabeçalho do seu site:

 <meta name="robots" content="noindex, nofollow">

O arquivo robots.txt também é modificado para:

 User-agent: * Disallow: /

Isso ajudará a desencorajar os mecanismos de pesquisa de indexar seu site. No entanto, é importante observar que, embora essas alterações ajudem a desencorajar os mecanismos do site de indexar seu site, cabe aos mecanismos de pesquisa individuais honrar a solicitação ou não.

Modificando o arquivo Robots.txt (manualmente)

Semelhante ao método acima, esta é considerada uma abordagem manual para modificar o arquivo robots.txt.

Para conseguir isso, você precisará:

i) Acesse os arquivos do seu site através de um software FTP como o Filezilla

ii) Na raiz dos arquivos do seu site, verifique o arquivo robots.txt. Na maioria dos casos, isso está dentro da pasta public_html.

Se você não parece rastrear o arquivo, considere criar um.

iii) Adicione o seguinte código ao arquivo:

 User agent: * Disallow: /

iv) Salve suas alterações

Você também pode proibir a indexação em páginas específicas adicionando o subdiretório e o slug na seção Disallow:. Um exemplo disso seria:

 User agent: * Disallow /blog/this-is-a-link-to-our-website

Protegendo seu site com senha

Os mecanismos de pesquisa não estão em condições de rastrear sites protegidos por senha, pois não têm acesso a eles. Isso torna a proteção por senha do seu site uma das abordagens mais adequadas quando se trata de impedir a indexação do seu site.

A proteção por senha do seu site pode ser alcançada através de várias abordagens:

i) Proteção por senha através do seu painel de controle de hospedagem

ii) Usando um plugin de proteção por senha

Proteção por senha através do seu painel de controle de hospedagem

Vários painéis de controle de hospedagem têm etapas diferentes na implementação da proteção por senha em um site. No nosso caso aqui, usaremos um exemplo de cPanel.

Para proteger seu site com senha via cPanel, você precisará realizar o seguinte:

i) Faça login na sua conta cPanel

ii) Navegue até a seção Arquivos e selecione “Privacidade do diretório”

iii) Selecione o diretório raiz de seus sites. No nosso caso aqui, será public_html/buddybuilder

iv) Clique na ação “Editar” ao lado

v) Habilite a opção “Senha proteger este diretório” e salve suas alterações

vi) Volte para a etapa anterior clicando no link “Voltar” e dentro da nova seção “Criar usuário”, configure uma nova conta de usuário para ser usada no acesso ao site.

Uma vez feito isso, os mecanismos de pesquisa não estarão em condições de rastrear seu site.

Usando um plug-in de proteção por senha

Nesta opção, você pode considerar o uso do plug-in protegido por senha. Para configurar o plugin, você precisará realizar o seguinte:

i) Navegue até a seção Plugins> Adicionar novo no painel do WordPress e procure por “Protegido por senha”

ii) Instale e ative o plugin

iii) Navegue até a seção Configurações > Protegido por senha em seu painel do WordPress

iv) Habilite a opção “Status Protegido por Senha” e preencha sua senha

v) Especificar o número de dias que o site permanecerá protegido

vi) Salve suas alterações

É importante observar que neste método, uma vez que arquivos como imagens são acessados ​​diretamente no navegador, a proteção por senha não é aplicada e, portanto, a imagem pode ser facilmente acessada.

Removendo um site da Pesquisa Google

No caso de você já ter seu site indexado pelo Google e desejar remover o site do mecanismo de pesquisa, poderá fazê-lo realizando o seguinte:

i) Acesse o Google Search Console: https://search.google.com/search-console/

ii) Faça login usando os detalhes da sua conta. Se você não tiver uma conta, você pode criar uma no mesmo link acima e adicionar uma propriedade. Aqui está um guia sobre como fazer isso: https://support.google.com/webmasters/answer/34592?hl=en

iii) Na seção superior esquerda, selecione a propriedade com a URL que você deseja remover

iv) Clique na seção “Remoções”

v) Na aba “Remoções Temporárias”, clique no botão “Nova Solicitação”

vi) Na aba “Remover URL Temporária” dentro do popup renderizado, você terá duas opções “Remover somente esta URL” e “Remover todas as URLs com este prefixo”.

Se você deseja remover apenas a URL especificada, por exemplo, uma postagem de blog específica, será necessário preencher sua URL e selecionar a opção “Remover somente esta URL”.

Por outro lado, se desejar remover o domínio raiz e quaisquer outros URLs associados a ele, será necessário preencher seu URL como domínio raiz e selecionar a opção “Remover todos os URLs com este prefixo”.

vii) Clique no botão “Next” para enviar sua solicitação.

É importante observar que, uma vez feito isso, o Google removerá temporariamente seu site dos mecanismos de pesquisa por um período temporário. Isso geralmente é de 6 meses e, posteriormente, seu URL pode ser reindexado novamente, e é por isso que é crucial "Bloquear os mecanismos de pesquisa de rastrear e indexar seu site".

Conclusão

Há muitas razões pelas quais se pode optar por desencorajar os motores de busca de indexar seu site. Neste artigo, analisamos alguns desses motivos, bem como algumas das abordagens que você pode considerar realizar para desencorajar os mecanismos de pesquisa de indexar seu site WordPress.

Usar o método padrão da caixa de visibilidade do mecanismo de pesquisa do WordPress ou modificar os métodos de arquivo robots.txt pode não ser totalmente eficaz para alguns mecanismos de pesquisa, pois alguns ainda podem rastrear, por exemplo, seus arquivos ou imagens. É altamente recomendável emparelhar esses métodos com proteção por senha. Isso impede que os mecanismos de pesquisa acessem qualquer conteúdo do seu site.

Esperamos que este artigo seja útil. Se você tiver dúvidas, comentários ou sugestões, sinta-se à vontade para enviá-los na seção de comentários abaixo.