Jak edytować robots.txt w WordPress (z wtyczkami i bez)

Szukasz najskuteczniejszych sposobów edytowania pliku robots.txt w WordPressie ? Są one kluczowe, jeśli chcesz, aby roboty wyszukiwarek znały strony i sekcje Twojej witryny, które powinny przeszukiwać i indeksować.

Mimo że WordPress domyślnie generuje plik robots.txt dla Twojej witryny, może być konieczna jego zmiana, aby zarządzać tym, co wyszukiwarki mogą wyświetlać. Jeśli nie znasz pliku robots.txt, nie martw się. W tym samouczku wyjaśnimy, czym jest plik robots.txt i dlaczego jego edycja jest niezbędna, a także różne sposoby edytowania go w witrynie WordPress.

Zagłębmy się więc, aby zrozumieć, czym jest plik robots.txt.

Co to jest plik Robots.txt?

Robots.txt to zwykły plik tekstowy w katalogu głównym Twojej witryny, który zawiera instrukcje dla robotów internetowych lub botów, które strony lub obszary witryny mają przeszukiwać i indeksować . Plik mówi wyszukiwarkom, czy strony lub sekcje powinny być indeksowane, czy nie, w oparciu o szczegółowe regulaminy serwisu.

Na przykład roboty indeksujące, takie jak roboty indeksujące Google, regularnie sprawdzają witryny w celu aktualizacji indeksu stron. Te roboty indeksujące Google, znane również jako Googlebot, postępują zgodnie z instrukcjami podanymi w pliku robots.txt, aby sprawdzić witrynę.

Głównym celem pliku robots.txt jest pomoc webmasterom w kontrolowaniu, do jakich informacji wyszukiwarki mogą uzyskiwać dostęp w ich witrynach. Możesz użyć tego pliku, aby uniemożliwić botom dostęp do określonych witryn lub katalogów. Pamiętaj jednak, że niektóre boty oprócz Googlebota i innych renomowanych robotów indeksujących mogą nie postępować zgodnie z wytycznymi zawartymi w pliku.

Dlaczego warto edytować plik Robots.txt?

Edycja pliku robots.txt w WordPress ma kilka zalet. Oto kilka uwag:

• Blokuj niechciane boty: Niektóre boty mogą nie być korzystne dla Twojej witryny lub mogą zużywać cenne zasoby na Twoim serwerze. Może to spowodować powolne ładowanie witryny i obniżyć jej wydajność. Edycja pliku robots.txt może więc pomóc zablokować niechcianym robotom indeksowanie Twojej witryny i poprawić ogólną szybkość witryny.
• Chroń poufne informacje: niektóre strony w Twojej witrynie mogą zawierać poufne informacje, których wyszukiwarki nie powinny indeksować. Może to obejmować dane osobowe, poufne informacje biznesowe, treści chronione hasłem, a nawet treści prawne lub związane ze zgodnością.
  Możesz zapobiec przeszukiwaniu i indeksowaniu tych stron, edytując plik robots.txt. Pomoże to nawet chronić prywatność i bezpieczeństwo Twojej witryny.
• Kieruj boty do określonych stron : możesz także użyć pliku robots.txt, aby kierować boty do określonych stron w Twojej witrynie, które mają być przeszukiwane i indeksowane przez wyszukiwarki. Dzięki temu możesz nadać priorytet stronom, które chcesz umieścić wyżej w wynikach wyszukiwania.
• Zapobiegaj indeksowaniu zduplikowanych treści: w Twojej witrynie mogą znajdować się strony o podobnej treści, takie jak strony kategorii lub tagów. Jeśli tak, możesz użyć pliku robots.txt, aby zapobiec indeksowaniu ich przez roboty wyszukiwarek. Pomoże to uniknąć problemów z powielaniem treści, które negatywnie wpływają na ranking Twojej witryny w wyszukiwarkach.

Teraz, gdy już wiesz, czym jest plik robots.txt i dlaczego jest on niezbędny, przejdźmy do następnej sekcji, w której pokażemy, jak go dostosować.

Jak edytować robots.txt w WordPress

Możesz edytować plik robots.txt na 3 główne sposoby w WordPress:

1. Korzystanie z klienta FTP
2. cPanel
3. Z wtyczką

Omówimy szczegółowo każde z tych podejść. Ale jeśli korzystasz z klienta FTP lub podejścia cPanel , musisz najpierw ręcznie utworzyć plik robots.txt .

WordPress domyślnie tworzy wirtualny plik robots.txt podczas uruchamiania witryny. Dostęp do niego można uzyskać, dodając ścieżkę „ /robots.txt ” na końcu domeny.

Na przykład możesz uzyskać dostęp do pliku robots.txt QuadLayers, korzystając z łącza: „https://quadlayers.com/robots.txt”.

Nie używamy jednak domyślnego pliku robots.txt. Został zredagowany, aby spełnić specyficzne potrzeby QuadLayers. Ale domyślny plik robots.txt utworzony przez WordPress zawiera tylko następujące informacje:

 Agent użytkownika: *
Nie zezwalaj: /wp-admin/
Zezwól: /wp-admin/admin-ajax.php

Niestety nie możesz edytować tego pliku, ponieważ jest on wirtualny . Aby edytować plik robots.txt swojej witryny WordPress, musisz utworzyć go ręcznie.

Aby to zrobić, możesz użyć dowolnego edytora tekstu, aby utworzyć pusty plik i zapisać plik jako „ robots.txt ”.

Alternatywnie, jeśli chcesz użyć wtyczki SEO do edycji pliku, można to zrobić automatycznie za pomocą wtyczki. Dowiemy się o tym w dalszej części tego przewodnika.

Niemniej jednak Twój plik robots.txt musi zawierać te same informacje, niezależnie od zastosowanego podejścia. Przyjrzyjmy się zatem, co musi znaleźć się w pliku robots.txt.

Co zawrzeć w pliku Robots.txt?

Aby upewnić się, że wyszukiwarki prawidłowo indeksują Twoją witrynę, oto kilka poleceń kodu lub dyrektyw, które możesz umieścić w pliku robots.txt:

• User-agent: identyfikuje wyszukiwarkę lub bota, do którego odnoszą się instrukcje. W pliku robots.txt możesz umieścić jednego lub więcej agentów użytkownika, w zależności od tego, jakimi botami chcesz sterować. Na przykład „User-agent: Googlebot” odnosi się do robota indeksującego Google.
• Nie zezwalaj: ta dyrektywa mówi robotom, których stron lub katalogów roboty wyszukiwarek nie powinny przeszukiwać ani indeksować. Możesz określić pojedyncze strony lub całe katalogi. Na przykład „Disallow: /wp-admin/” zablokuje wszystkim botom możliwość indeksowania stron w katalogu administracyjnym WordPress.
• Mapa witryny: Ta dyrektywa mówi botom, gdzie znaleźć plik mapy witryny Twojej witryny. Plik mapy witryny zawiera listę wszystkich stron w Twojej witrynie, które mają zostać zindeksowane przez wyszukiwarki.

Możesz także użyć dyrektywy „ allow ” w pliku robots.txt. Mówi botom, które strony lub katalogi powinny przeszukiwać lub indeksować. Pamiętaj jednak, że jest to opcjonalne i powinno być używane tylko wtedy, gdy jest to konieczne.

Oto przykład podstawowego pliku robots.txt:

 Agent użytkownika: *
Nie zezwalaj: /wp-admin/
Nie zezwalaj: /wp-include/
Mapa witryny: https://www.example.com/sitemap.xml

W tym przykładzie klient użytkownika jest ustawiony na „*”, co oznacza, że ​​instrukcje dotyczą wszystkich botów. Dyrektywa „disallow” blokuje robotom indeksowanie administratora WordPress i katalogów „wp-include”. Podobnie dyrektywa sitemap określa lokalizację pliku mapy witryny.

Teraz, gdy masz podstawową wiedzę na temat tego, co należy uwzględnić w pliku robots.txt, możesz dodać wszystkie strony internetowe, których roboty nie mają indeksować ani indeksować. Na koniec zapisz plik.

1) Edytuj plik Robots.txt za pomocą klienta FTP

Aby edytować plik robots.txt w WordPress za pomocą klienta FTP, musisz zainstalować klienta FTP i połączyć się ze swoją witryną. Istnieje wiele klientów FTP, takich jak FileZilla i Cyberduck, których można użyć do tej metody. Ale w tym samouczku będziemy używać FileZilla .

1.1) Połącz swoją witrynę WordPress z serwerem FTP

Po zainstalowaniu klienta FTP otwórz aplikację i przejdź do Plik > Menedżer witryny . Możesz także otworzyć menedżera witryny, naciskając Ctrl + S na klawiaturze.

Następnie kliknij Nowa witryna i wprowadź nazwę swojej witryny w sekcji Moje witryny .

Teraz otwórz kartę Ogólne i wprowadź poświadczenia witryny. Możesz uzyskać poświadczenia, aby połączyć swoją witrynę z FileZilla z usługi hostingowej.

Po wprowadzeniu poświadczeń kliknij Połącz .

Dostęp do katalogu plików witryny można uzyskać z komputera po podłączeniu witryny. Śmiało, prześlij plik robots.txt z komputera na swoją witrynę.

1.2) Prześlij plik Robots.txt do WordPress

Po połączeniu witryny z klientem FTP należy przejść do katalogu głównego witryny, ponieważ tam powinien znajdować się plik robots.txt.

Plik główny jest również nazywany plikiem „ public_html ”.

Tutaj możesz przesłać ostatnio utworzony plik robots.txt. Jeśli plik robots.txt już istnieje w tym pliku, zastąp go.

Otóż ​​to!

Teraz wszystko, co musisz zrobić, to przetestować plik robots.txt, dodając ścieżkę „/robots.txt” na końcu domeny, tak jak pokazaliśmy w poprzednich przykładach.

2) Edytuj plik Robots.txt za pomocą cPanel

Edycja pliku robots.txt za pomocą cPanel jest bardzo podobna do tej z podejściem klienta FTP. Najpierw musisz zalogować się do cPanelu swojej strony internetowej. Ponownie, wszystkie niezbędne dane logowania powinny już zostać dostarczone przez Twoją usługę hostingową.

Po zalogowaniu się do cPanelu przewiń do sekcji Pliki i kliknij Menedżer plików .

Następnie przejdź do katalogu plików „ public_html ” i prześlij tutaj niedawno utworzony plik robots.txt. Ponownie, jeśli plik robots.txt już tu istnieje, musisz go zastąpić nowo edytowanym.

Na koniec przetestuj plik robots.txt, dodając ścieżkę „/robots.txt” na końcu domeny.

3) Edytuj plik Robots.txt za pomocą wtyczki

Jeśli chcesz zaoszczędzić sobie dużo czasu i kłopotów z edycją strony robots.txt, możesz również użyć wtyczki. Kilka wtyczek SEO, takich jak Yoast SEO, All in One SEO i Rank Math SEO, pozwala tworzyć i edytować plik robots.txt.

Możesz przejrzeć naszą pełną listę najlepszych wtyczek WordPress SEO, jeśli potrzebujesz więcej informacji, które pomogą Ci wybrać wtyczkę, której chcesz użyć.

Ale do tej demonstracji użyjemy wtyczki Rank Math SEO . Jest to jedna z najpopularniejszych wtyczek SEO i ma bardzo prosty interfejs do edycji pliku robots.txt. Zacznijmy więc od zainstalowania wtyczki.

3.1) Zainstaluj i aktywuj wtyczkę

Aby zainstalować wtyczkę, musisz przejść do Wtyczki> Dodaj nowy z pulpitu nawigacyjnego WordPress i najpierw wyszukać słowa kluczowe wtyczki. Po wyświetleniu wtyczki w wyszukiwarkach kliknij Zainstaluj teraz . Instalacja zajmie tylko kilka chwil.

Po zakończeniu instalacji kliknij Aktywuj , aby aktywować wtyczkę.

Jeśli chcesz korzystać z którejkolwiek z wtyczek premium, musisz przesłać ją ręcznie. Więcej informacji znajdziesz w naszym szczegółowym przewodniku dotyczącym ręcznej instalacji wtyczki WordPress.

Co więcej, jeśli napotkasz jakiekolwiek problemy podczas konfigurowania Rank Math SEO, mamy nawet specjalny przewodnik, jak skonfigurować Rank Math.

3.2) Edytuj plik Robots.txt

Po aktywacji wtyczki przejdź do Rank Math > Ustawienia ogólne z pulpitu nawigacyjnego WordPress i wybierz kartę Edytuj plik robots.txt . Możesz zobaczyć, że wtyczka udostępniła swój edytor tekstu, abyś mógł edytować plik robots.txt w tej sekcji.

Tutaj musisz dodać wszystkie kody i polecenia w zależności od stron internetowych, które boty mają przeszukiwać i indeksować. Jeśli potrzebujesz pomocy, przedstawiliśmy wszystkie niezbędne wskazówki w tym samouczku w jednym z poprzednich kroków.

Po dodaniu wszystkich wymaganych poleceń i dyrektyw do pliku robots.txt kliknij przycisk Zapisz zmiany .

Świetnie! Teraz, jeśli dodasz ścieżkę „/robots.txt” na końcu domeny, zobaczysz, że plik został odpowiednio zaktualizowany. Tak więc roboty wyszukiwarek będą przeglądać tylko strony internetowe, na które zezwolisz na podstawie pliku robots.txt.

Wniosek

W ten sposób możesz tworzyć i edytować plik robots.txt w WordPress . Jest to niezbędne, jeśli nie chcesz, aby roboty wyszukiwarek przeglądały wrażliwe lub zduplikowane treści Twojej witryny. Plik robots.txt może być również używany do kierowania robotów do przeszukiwania i indeksowania określonych stron Twojej witryny.

Podsumowując, możesz edytować plik robots.txt na trzy główne sposoby:

• Korzystanie z klienta FTP
• cPanel
• Z wtyczką

Korzystanie z klienta FTP i cPanelu jest bardzo podobne . Wystarczy, że zalogujesz się do cPanelu lub połączysz swoją stronę internetową z klientem FTP i wgrasz plik robots.txt. Następnie musisz przesłać plik robots.txt, który został wcześniej utworzony przez Ciebie ręcznie.

Z drugiej strony plik robots.txt zostanie automatycznie dodany do Twojej witryny, jeśli użyjesz wtyczki . Wtyczki zapewniają nawet edytor tekstu, który pomaga edytować plik robots.txt.

Czy możesz teraz edytować plik robots.txt swojej witryny? Daj nam znać w komentarzach, czy kiedykolwiek próbowałeś.

Tymczasem, jeśli ten artykuł okazał się pomocny, oto kilka innych postów, których możesz użyć do dostosowania lub ulepszenia witryny WordPress:

• Jak poprawić SEO WordPress: 9 sposobów
• Najlepsze wtyczki SSL WordPress (darmowe i płatne)
• Jak dodać opisy meta w wordpress