Cum să editați robots.txt în WordPress (cu și fără pluginuri)

Căutați cele mai eficiente modalități de a edita robots.txt în WordPress ? Acestea sunt esențiale dacă doriți să le informați crawlerilor motoarelor de căutare paginile și secțiunile site-ului dvs. pe care ar trebui să le acceseze cu crawlere și să le indexeze.

Chiar dacă WordPress generează un fișier robots.txt pentru site-ul dvs. în mod implicit, este posibil să fie necesar să îl modificați pentru a gestiona ceea ce pot vizualiza motoarele de căutare. Dacă nu sunteți familiarizat cu robots.txt, nu vă faceți griji. Vă vom explica ce este robots.txt și de ce este esențial să îl editați, împreună cu diferitele modalități de a-l edita pe site-ul dvs. WordPress cu acest tutorial.

Deci, haideți să înțelegem ce este robots.txt.

Ce este Robots.txt?

Robots.txt este un fișier text simplu din directorul rădăcină al site-ului dvs. web, care conține instrucțiuni pentru roboți web sau roboți pe paginile sau zonele site-ului dvs. pe care trebuie să le acceseze cu crawlere și să le indexeze . Fișierul le spune motoarelor de căutare dacă paginile sau secțiunile trebuie indexate sau nu pe baza reglementărilor specifice site-ului.

De exemplu, crawlerele web, cum ar fi crawlerele web Google, verifică site-urile web în mod regulat pentru a-și actualiza indexul paginilor. Aceste crawler-uri web de la Google, cunoscute și ca Googlebot, urmează instrucțiunile din fișierul robots.txt pentru a verifica site-ul.

Scopul principal al fișierului robots.txt este de a ajuta webmasterii să controleze ce informații pot accesa motoarele de căutare pe site-urile lor. Puteți folosi fișierul pentru a preveni accesarea roboților în anumite site-uri sau directoare. Dar rețineți că este posibil ca unii roboți, în afară de Googlebot și alți crawler-uri web renumiți, să nu respecte instrucțiunile din fișier.

De ce ar trebui să editați fișierul Robots.txt?

Există mai multe beneficii de a edita fișierul robots.txt în WordPress. Iată câteva considerații:

• Blocați roboții nedoriți: este posibil ca unii roboți să nu fie folositori pentru site-ul dvs. web sau să consume resurse valoroase pe serverul dvs. Acest lucru poate duce la lenți timpi de încărcare a site-ului și pot reduce performanța site-ului. Prin urmare, editarea fișierului robots.txt vă poate ajuta să blocați roboții nedoriți să acceseze cu crawlere site-ul dvs. și să îmbunătățiți viteza generală a site-ului.
• Protejați informațiile sensibile: anumite pagini de pe site-ul dvs. web pot conține informații sensibile pe care nu doriți să le indexeze motoarele de căutare. Acestea pot include date personale, informații comerciale confidențiale, conținut protejat prin parolă sau chiar conținut legal sau legat de conformitate.
  Puteți împiedica accesarea cu crawlere și indexarea acestor pagini prin editarea fișierului robots.txt. Acest lucru va ajuta chiar la protejarea confidențialității și a securității site-ului dvs. web.
• Direcționați roboții către anumite pagini : puteți utiliza și robots.txt pentru a direcționa roboții către anumite pagini de pe site-ul dvs. pe care doriți să le acceseze cu crawlere și să le indexeze motoarele de căutare. Acest lucru vă permite să prioritizați paginile pe care doriți să le clasați mai sus în rezultatele motorului de căutare.
• Preveniți indexarea conținutului duplicat: este posibil să aveți pagini pe site-ul dvs. cu conținut similar, cum ar fi pagini de categorii sau etichete. Dacă da, puteți utiliza fișierul robots.txt pentru a împiedica roboții motoarelor de căutare să le indexeze. Acest lucru poate ajuta la evitarea problemelor de conținut duplicat care influențează negativ clasamentul site-ului dvs. în motoarele de căutare.

Acum că înțelegeți ce este fișierul robots.txt și de ce sunt esențiale, să trecem la următoarea secțiune, unde vă vom arăta cum să-l personalizați.

Cum să editați Robots.txt în WordPress

Puteți edita fișierul robots.txt în 3 moduri majore în WordPress:

1. Utilizarea unui client FTP
2. cPanel
3. Cu un plugin

Vom analiza în detaliu fiecare dintre aceste abordări. Dar dacă utilizați clientul FTP sau abordarea cPanel , mai întâi va trebui să creați manual un fișier robots.txt .

WordPress creează un fișier virtual robots.txt în mod implicit atunci când lansați site-ul. Poate fi accesat adăugând calea „ /robots.txt ” la sfârșitul domeniului dumneavoastră.

De exemplu, puteți accesa fișierul robots.txt al QuadLayers folosind link-ul: „https://quadlayers.com/robots.txt”.

Cu toate acestea, nu folosim fișierul robots.txt implicit. A fost editat pentru a satisface nevoile specifice ale QuadLayers. Dar fișierul robots.txt implicit creat de WordPress include doar următoarele informații:

 Agent utilizator: *
Nu permiteți: /wp-admin/
Permite: /wp-admin/admin-ajax.php

Din păcate, nu puteți edita acest fișier deoarece este virtual . Pentru a edita fișierul robots.txt al site-ului dvs. WordPress, trebuie să creați unul manual.

Pentru a face acest lucru, puteți utiliza orice editor de text pentru a crea un fișier gol și a salva fișierul ca „ robots.txt ”.

Alternativ, dacă doriți să utilizați un plugin SEO pentru a edita fișierul, acest lucru se poate face automat prin intermediul pluginului. Vom afla acest lucru mai târziu în acest ghid.

Cu toate acestea, fișierul robots.txt trebuie să conțină aceleași informații, indiferent de abordarea pe care o utilizați. Deci, să ne uităm la ceea ce trebuie inclus și în fișierul robots.txt.

Ce să includeți în fișierul Robots.txt?

Pentru a vă asigura că motoarele de căutare indexează corect site-ul dvs. web, iată câteva comenzi de cod sau directive pe care le puteți include în fișierul robots.txt:

• User-agent: Acesta identifică motorul de căutare sau botul căruia i se aplică instrucțiunile. Puteți include unul sau mai mulți agenți de utilizator în fișierul robots.txt, în funcție de roboții pe care doriți să îi controlați. De exemplu, „User-agent: Googlebot” se referă la crawler-ul web al Google.
• Disallow: această directivă le spune roboților ce pagini sau directoare nu ar trebui să acceseze cu crawlere sau să indexeze roboții motoarelor de căutare. Puteți specifica pagini individuale sau directoare întregi. De exemplu, „Disallow: /wp-admin/” ar bloca toți roboții să acceseze cu crawlere paginile din directorul de administrare WordPress.
• Harta site-ului: această directivă le spune roboților unde să găsească fișierul sitemap al site-ului dvs. Fișierul sitemap listează toate paginile de pe site-ul dvs. pe care doriți să le indexeze motoarele de căutare.

De asemenea, puteți utiliza directiva „ allow ” în fișierul robots.txt. Le spune roboților ce pagini sau directoare ar trebui să acceseze cu crawlere sau să indexeze. Cu toate acestea, amintiți-vă că este opțional și ar trebui utilizat numai atunci când este necesar.

Iată un exemplu de fișier robots.txt de bază:

 Agent utilizator: *
Nu permiteți: /wp-admin/
Nu permiteți: /wp-includes/
Harta site-ului: https://www.example.com/sitemap.xml

În acest exemplu, user-agent este setat la „*”, ceea ce înseamnă că instrucțiunile se aplică tuturor roboților. Directiva „disallow” blochează roboții să acceseze cu crawlere administratorul WordPress și directoarele „wp-include”. În mod similar, directiva sitemap specifică locația fișierului sitemap.

Acum că aveți o înțelegere de bază a ceea ce să includeți în fișierul robots.txt, puteți adăuga toate paginile web pe care nu doriți ca boții să le acceseze cu crawlere sau să le indexeze. În cele din urmă, salvați fișierul.

1) Editați Robots.txt folosind un client FTP

Pentru a edita robots.txt în WordPress utilizând un client FTP, trebuie să instalați un client FTP și să vă conectați site-ul web. Există mulți clienți FTP precum FileZilla și Cyberduck pe care îi puteți folosi pentru această metodă. Dar vom folosi FileZilla pentru acest tutorial.

1.1) Conectați site-ul dvs. WordPress la FTP

După ce instalați clientul FTP, deschideți aplicația și accesați Fișier > Manager site . De asemenea, puteți deschide managerul site-ului apăsând Ctrl+S de pe tastatură.

Apoi, faceți clic pe Site nou și introduceți numele site-ului dvs. sub Site-urile mele .

Acum, deschideți fila General și introduceți acreditările site-ului dvs. Puteți obține acreditările pentru a vă conecta site-ul web la FileZilla de la serviciul dvs. de găzduire.

După ce introduceți acreditările, faceți clic pe Conectare .

Puteți accesa directorul de fișiere al site-ului de pe computer după ce site-ul este conectat. Deci, haideți să încărcăm fișierul robots.txt de pe computer pe site-ul dvs. web.

1.2) Încărcați fișierul Robots.txt pe WordPress

Odată ce vă conectați site-ul cu clientul FTP, trebuie să navigați la directorul rădăcină al site-ului dvs., deoarece aici ar trebui să fie localizat fișierul robots.txt.

Fișierul rădăcină este denumit și fișierul „ public_html ”.

Puteți încărca fișierul robots.txt recent creat aici. Dacă un fișier robots.txt există deja în acest fișier, înlocuiți-l.

Asta este!

Acum tot ce trebuie să faceți este să testați fișierul robots.txt adăugând calea „/robots.txt” la sfârșitul domeniului, așa cum v-am arătat în exemplele anterioare.

2) Editați Robots.txt folosind cPanel

Editarea fișierului robots.txt cu cPanel este foarte asemănătoare cu cea a abordării clientului FTP. În primul rând, trebuie să vă conectați la cPanel-ul site-ului dvs. Din nou, toate acreditările necesare de conectare ar fi trebuit deja furnizate de serviciul dvs. de găzduire.

După ce vă conectați la cPanel, derulați la secțiunea Fișiere și faceți clic pe Manager fișiere .

Apoi, navigați la directorul de fișiere „ public_html ” și încărcați fișierul robots.txt creat recent aici. Încă o dată, dacă un fișier robots.txt există deja aici, trebuie să-l înlocuiți cu cel nou editat.

În cele din urmă, testați fișierul robots.txt adăugând calea „/robots.txt” la sfârșitul domeniului.

3) Editați Robots.txt folosind un plugin

Dacă doriți să economisiți mult timp și bătăi de cap pentru a edita pagina robots.txt, puteți utiliza și un plugin. Mai multe plugin-uri SEO precum Yoast SEO, All in One SEO și Rank Math SEO vă permit să creați și să editați fișierul robots.txt.

Puteți consulta lista noastră completă cu cele mai bune pluginuri SEO WordPress dacă aveți nevoie de mai multe informații care să vă ajute să decideți pluginul pe care doriți să îl utilizați.

Dar vom folosi pluginul Rank Math SEO pentru această demonstrație. Este unul dintre cele mai populare pluginuri SEO și are o interfață foarte simplă pentru a edita fișierul robots.txt. Deci, să începem prin a instala pluginul.

3.1) Instalați și activați pluginul

Pentru a instala pluginul, trebuie să mergeți la Plugin-uri > Adăugați nou din tabloul de bord WordPress și să căutați mai întâi cuvintele cheie ale pluginului. După ce vedeți pluginul în motoarele de căutare, faceți clic pe Instalați acum . Instalarea va dura doar câteva momente.

Imediat ce instalarea este finalizată, faceți clic pe Activare pentru a activa pluginul.

Dacă doriți să utilizați oricare dintre pluginurile premium, trebuie să îl încărcați manual. Puteți consulta ghidul nostru detaliat despre instalarea manuală a unui plugin WordPress pentru mai multe.

Mai mult decât atât, dacă întâmpinați vreo problemă la configurarea Rank Math SEO, avem chiar și un ghid specific despre cum să configurați Rank Math.

3.2) Editați fișierul Robots.txt

După ce pluginul este activat, accesați Rank Math > Setări generale din tabloul de bord WordPress și selectați fila Editați fișierul robots.txt . Puteți vedea că pluginul a furnizat editorul său de text pentru a edita fișierul robots.txt în această secțiune.

Aici, trebuie să adăugați toate codurile și comenzile în funcție de paginile web pe care doriți ca boții să le acceseze cu crawlere și să le indexeze. Dacă aveți nevoie de ajutor cu acesta, am furnizat toate îndrumările necesare în acest tutorial într-unul dintre pașii anteriori.

După ce ați adăugat toate comenzile și directivele necesare pentru fișierul robots.txt, faceți clic pe Salvare modificări .

Grozav! Acum, dacă adăugați calea „/robots.txt” la sfârșitul domeniului, veți vedea că fișierul a fost actualizat în consecință. Deci, roboții motoarelor de căutare vor trece doar prin paginile web pe care le-ați permis pe baza fișierului robots.txt.

Concluzie

Acesta este modul în care puteți crea și edita fișierul robots.txt în WordPress . Este esențial să faceți acest lucru dacă nu doriți ca roboții motoarelor de căutare să treacă prin conținut sensibil sau duplicat al site-ului dvs. Fișierul robots.txt poate fi folosit și pentru a direcționa roboții să acceseze cu crawlere și să indexeze anumite pagini ale site-ului dvs.

Pentru a rezuma, puteți edita fișierul robots.txt folosind trei moduri principale:

• Utilizarea unui client FTP
• cPanel
• Cu un plugin

Utilizarea clientului FTP și cPanel sunt foarte asemănătoare . Tot ce trebuie să faceți este să vă conectați la cPanel sau să vă conectați site-ul web cu clientul FTP și să încărcați fișierul robots.txt. Apoi, trebuie să încărcați fișierul robots.txt care a fost creat manual de dvs. mai devreme.

Pe de altă parte, fișierul robots.txt va fi adăugat automat pe site-ul dvs. dacă utilizați un plugin . Pluginurile oferă chiar și un editor de text pentru a vă ajuta să editați fișierul robots.txt.

Deci, puteți edita fișierul robots.txt pentru site-ul dvs. web acum? Spune-ne în comentarii dacă l-ai încercat vreodată.

Între timp, dacă ați găsit acest articol util, iată câteva postări pe care le puteți folosi pentru a personaliza sau îmbunătăți site-ul dvs. WordPress:

• Cum să îmbunătățiți SEO WordPress: 9 moduri
• Cele mai bune pluginuri SSL WordPress (gratuite și plătite)
• Cum să adăugați meta descrieri în WordPress