Cum să descurajați motoarele de căutare de la indexarea site-ului dvs. WordPress

Motoarele de căutare folosesc crawler-uri sau roboți web pentru a vă accesa și indexa site-ul web. Pentru mulți proprietari de site-uri web, indexarea conținutului site-ului lor este destul de crucială pentru a le crește vizibilitatea online și, prin urmare, a crește traficul pe site-urile lor. Cu toate acestea, există cazuri în care nu ați dori ca site-ul dvs. să fie indexat. Aceste motive vă pot face să vă gândiți cum să descurajați motoarele de căutare de la indexarea site-ului dvs.

Este posibil să împiedicați o resursă sau o pagină din site-ul dvs. să apară în căutarea Google. În acest articol, vom analiza cum să descurajăm și să împiedicăm motoarele de căutare să indexeze site-ul dvs.

Cuprins

Indexare vs listare pe Google

Motive pentru care ați dori să blocați motoarele de căutare de la indexarea site-ului dvs

Cum să blocați motoarele de căutare de la crawlerea și indexarea site-ului dvs. web

• Prin caseta de selectare implicită pentru vizibilitatea motorului de căutare WordPress
• Modificarea fișierului Robots.txt
• Protejarea cu parolă a site-ului dvs. web

Eliminarea unui site web din Căutarea Google

Concluzie

Indexare vs listare pe Google

Indexarea

Indexarea este procesul de colectare și descărcare a datelor despre conținutul site-ului pe serverul motorului de căutare și apoi stocarea datelor prin adăugarea acestora la baza de date centrală (index).

Procesul de indexare este precedat de crawling, prin care motoarele de căutare tind să scaneze web-ul pentru a identifica orice conținut nou sau actualizat. Acest conținut este ceea ce este, la rândul său, utilizat în indexare.

Indexarea va permite redarea datelor relevante pentru interogările de căutare mult mai rapid, deoarece conținutul este organizat, în comparație cu căutarea prin tot conținutul prin executarea de interogări multiple.

Listare

Listarea implică în principal redarea site-ului dvs. în paginile cu rezultate ale motorului de căutare (SERP-uri).

Dacă un site web este afișat în paginile de rezultate ale motorului de căutare, înseamnă că un astfel de site web este indexat. Mai jos este un exemplu de captură de ecran despre asta:

Cu toate acestea, indexarea nu înseamnă în esență că site-ul dvs. va fi listat în SERP-uri.

De asemenea, este important să rețineți că un site web nu trebuie să fie indexat pentru ca acesta să fie listat. Dacă există link-uri care indică domeniul site-ului sau alt conținut al site-ului, atunci Google va utiliza acest lucru.

Motive pentru care ați dori să blocați motoarele de căutare de la indexarea site-ului dvs

1. Când se creează un site de dezvoltare

În calitate de proprietar de site, în cele mai multe cazuri, ați dori să vă creați site-ul mai întâi într-un mediu de dezvoltare înainte de a împinge site-ul final în producție.

Cu toate acestea, nu doriți ca conținutul site-ului dvs. de dezvoltare să fie indexat de Google, ceea ce ar duce, la rândul său, la concurență cu site-ul dvs. de producție. În acest caz, ar trebui să dezactivați indexarea în site-ul dvs. de dezvoltare pentru a evita un astfel de scenariu.

2. Conținut privat

Dacă site-ul dvs. web conține conținut privat pe care nu l-ați dori să fie accesibil motoarele de căutare, puteți opta pentru a preveni indexarea unui astfel de site.

Un exemplu de astfel de scenariu ar putea fi dacă aveți pagini web care ar trebui să fie accesibile numai dacă un utilizator are un abonament sau numai atunci când un utilizator este conectat. Un astfel de conținut nu ar trebui să fie disponibil pentru indexare.

3. Conținut piratat/compromis

Într-un scenariu în care site-ul dvs. este piratat și, prin urmare, compromis, aceasta reprezintă o amenințare de securitate pentru utilizatorii site-ului dvs. și mai ales când vine vorba de site-uri de comerț electronic.

Pentru a ajuta la reducerea acestor riscuri, ar fi oportun să deindexați site-ul sau chiar să îl ștergeți.

4. Conținut duplicat

Uneori, este posibil să aveți de fapt conținut duplicat pe site-ul dvs. web, mai ales când vine vorba de site-uri de comerț electronic, în care paginile de produse pot apărea similare. Cu toate acestea, a avea conținut duplicat pe site-ul dvs. poate duce de fapt la penalizare de către Google.

Prin urmare, este important să deindexați orice conținut duplicat din site-ul dvs. pentru a nu fi penalizat.

5. Conținut învechit

În unele cazuri, este posibil să aveți un site web care redă informații învechite și, prin urmare, rezultatele căutării ar conține aceste informații. La rândul lor, astfel de informații pot induce în eroare vizitatorii site-ului.

Prin urmare, ar fi grozav să descurajăm motoarele de căutare de la indexarea unui astfel de conținut în astfel de situații.

6. Scurgeri de informații

Dacă conținutul este pus la dispoziția publicului prematur, atunci ar trebui să descurajați motoarele de căutare de la indexarea unui astfel de conținut sau să anulați publicarea site-ului. Acest lucru vă va ajuta să faceți acest conținut inaccesibil.

7. Conținut dăunător

În situațiile în care este posibil să aveți conținut pe care îl puteți considera dăunător site-ului dvs., puteți lua în considerare deindexarea site-ului. Acesta ar putea fi, de exemplu, cazul în care site-ul dvs. ar fi fost piratat și informații rău intenționate ar fi adăugate acestuia.

Cum să blocați motoarele de căutare de la crawlerea și indexarea site-ului dvs. web

Există mai multe moduri de luat în considerare dacă doriți să descurajați motoarele de căutare să acceseze cu crawlere și să vă indexeze site-ul. Vom analiza unele dintre aceste moduri în ordine și vom explora modul în care fiecare dintre ele ajută la realizarea acestui lucru.

Prin caseta de selectare implicită pentru vizibilitatea motorului de căutare WordPress

Această metodă vă permite să descurajați motoarele de căutare să acceseze cu crawlere site-ul dvs. direct din tabloul de bord WordPress. Pentru a fi implementat, va trebui să:

i) Conectați-vă la tabloul de bord WordPress folosind un cont de administrator

ii) Navigați la secțiunea Setări > Citire din tabloul de bord WordPress

iii) În secțiunea „Vizibilitatea motorului de căutare”, activați opțiunea „Descurajați motoarele de căutare de la indexarea acestui site”

iv) Salvați modificările

Odată ce cele de mai sus sunt efectuate, codul de mai jos este adăugat la antetul site-ului dvs.:

 <meta name="robots" content="noindex, nofollow">

Fișierul robots.txt este, de asemenea, modificat în:

 User-agent: * Disallow: /

Acest lucru va ajuta la descurajarea motoarele de căutare de la indexarea site-ului dvs. Cu toate acestea, este important să rețineți că, în timp ce aceste modificări ajută la descurajarea motoarelor site-ului de la indexarea site-ului dvs., este la latitudinea motoarelor de căutare individuale să onoreze cererea sau nu.

Modificarea fișierului Robots.txt (manual)

Similar cu metoda de mai sus, aceasta este considerată o abordare manuală a modificării fișierului robots.txt.

Pentru a realiza acest lucru, va trebui să:

i) Accesați fișierele site-ului dvs. printr-un software FTP, cum ar fi Filezilla

ii) În rădăcina fișierelor site-ului dvs., verificați fișierul robots.txt. În cele mai multe cazuri, acesta se află în folderul public_html.

Dacă se pare că nu urmăriți fișierul, puteți lua în considerare crearea unuia.

iii) Adăugați următorul cod la fișier:

 User agent: * Disallow: /

iv) Salvați modificările

De asemenea, puteți interzice indexarea pe anumite pagini adăugând subdirectorul și slug-ul în secțiunea Disallow:. Un exemplu în acest sens ar fi:

 User agent: * Disallow /blog/this-is-a-link-to-our-website

Protejarea cu parolă a site-ului dvs. web

Motoarele de căutare nu sunt în măsură să acceseze cu crawlere site-uri web protejate cu parolă, deoarece nu au acces la ele. Acest lucru face ca protejarea cu parolă a site-ului dvs. să fie una dintre cele mai potrivite abordări atunci când vine vorba de prevenirea indexării site-ului dvs.

Protecția prin parolă a site-ului dvs. poate fi realizată prin diferite abordări:

i) Protecție prin parolă prin panoul de control al găzduirii

ii) Utilizarea unui plugin de protecție prin parolă

Protecție prin parolă prin panoul de control al găzduirii

Diverse panouri de control pentru găzduire au diferiți pași în implementarea protecției cu parolă într-un site web. În cazul nostru aici, vom folosi un exemplu de cPanel.

Pentru a vă proteja site-ul prin parolă prin cPanel, va trebui să efectuați următoarele:

i) Conectați-vă la contul dvs. cPanel

ii) Navigați la secțiunea Fișiere și selectați „Confidențialitate director”

iii) Selectați directorul rădăcină al site-urilor dvs. În cazul nostru de aici, acesta va fi public_html / buddybuilder

iv) Faceți clic pe acțiunea „Editare” de lângă aceasta

v) Activați opțiunea „Protejați cu parolă acest director” și salvați modificările

vi) Întoarceți-vă la pasul anterior făcând clic pe linkul „Înapoi” și în noua secțiune „Creare utilizator”, configurați un nou cont de utilizator pentru a fi utilizat la accesarea site-ului web.

Odată făcut acest lucru, motoarele de căutare nu vor fi în măsură să vă acceseze cu crawlere site-ul.

Folosind un plugin de protecție prin parolă

În această opțiune, puteți lua în considerare utilizarea pluginului Protejat cu parolă. Pentru a configura pluginul, va trebui să efectuați următoarele:

i) Navigați la secțiunea Plugin-uri > Adăugați nou din tabloul de bord WordPress și căutați „Protejat prin parolă”

ii) Instalați și activați pluginul

iii) Navigați la secțiunea Setări > Protejat cu parolă din tabloul de bord WordPress

iv) Activați opțiunea „Stare protejată prin parolă” și completați parola

v) Precizați numărul de zile în care site-ul va rămâne protejat

vi) Salvați modificările

Este important de reținut că în această metodă, odată ce fișierele precum imaginile sunt accesate direct în browser, protecția cu parolă nu este aplicată și, prin urmare, imaginea poate fi accesată cu ușurință.

Eliminarea unui site web din Căutarea Google

În cazul în care aveți deja site-ul dvs. indexat de Google și doriți să eliminați site-ul din motorul de căutare, puteți face acest lucru efectuând următoarele:

i) Accesați Google Search Console: https://search.google.com/search-console/

ii) Conectați-vă folosind detaliile contului dvs. Dacă nu aveți un cont, puteți crea unul din același link de mai sus și adăugați o proprietate. Iată un ghid despre cum să procedați în acest sens: https://support.google.com/webmasters/answer/34592?hl=ro

iii) În secțiunea din stânga sus, selectați proprietatea cu adresa URL pe care doriți să o eliminați

iv) Faceți clic pe secțiunea „Eliminări”.

v) În fila „Eliminări temporare”, faceți clic pe butonul „Solicitare nouă”.

vi) În fila „Eliminare temporară URL” din fereastra pop-up redată, veți avea două opțiuni „Eliminați numai această adresă URL” și „Eliminați toate adresele URL cu acest prefix”.

Dacă doriți să eliminați numai adresa URL specificată, de exemplu o anumită postare de blog, va trebui să completați adresa URL a acesteia și să selectați opțiunea „Eliminați numai această adresă URL”.

Pe de altă parte, dacă doriți să eliminați domeniul rădăcină și orice alte adrese URL asociate cu acesta, va trebui să completați adresa URL ca domeniu rădăcină și să selectați opțiunea „Eliminați toate adresele URL cu acest prefix”.

vii) Faceți clic pe butonul „Următorul” pentru a trimite cererea dumneavoastră.

Este important să rețineți că, odată ce acest lucru este făcut, Google va elimina temporar site-ul dvs. din motoarele de căutare pentru o perioadă temporară. Acest lucru durează de obicei 6 luni, iar ulterior URL-ul dvs. poate fi reindexat încă o dată, motiv pentru care este esențial să „Blocați motoarele de căutare de la accesarea cu crawlere și la indexarea site-ului dvs.”.

Concluzie

Există multe motive pentru care s-ar putea opta pentru a descuraja motoarele de căutare de la indexarea site-ului lor. În acest articol, am analizat câteva dintre aceste motive, precum și câteva dintre abordările pe care le puteți lua în considerare pentru a descuraja motoarele de căutare să indexeze site-ul dvs. WordPress.

Utilizarea metodei implicite pentru caseta de vizibilitate a motorului de căutare WordPress sau modificarea metodelor fișierelor robots.txt poate să nu fie pe deplin eficientă pentru unele motoare de căutare, deoarece unele pot accesa cu crawlere, de exemplu, fișierele sau imaginile dvs. Vă recomandăm cu căldură să asociați aceste metode cu protecția prin parolă. Acest lucru împiedică motoarele de căutare să acceseze oricare dintre conținutul site-ului dvs.

Sperăm că acest articol este de ajutor. Dacă aveți întrebări, comentarii sau sugestii, nu ezitați să le trimiteți din secțiunea de comentarii de mai jos.