Kaçınılması Gereken 14 Yaygın WordPress Robots.txt Hatası

Robots.txt, arama tarayıcılarına ve diğer botlara WordPress web sitenizde nasıl davranmaları gerektiğini söyleyen güçlü bir sunucu dosyasıdır. Sitenizin arama motoru optimizasyonunu (SEO) hem olumlu hem de olumsuz olarak büyük ölçüde etkileyebilir.

Bu nedenle bu dosyanın ne olduğunu ve nasıl kullanılacağını bilmelisiniz. Aksi takdirde web sitenize zarar verebilir veya en azından potansiyelinin bir kısmını masada bırakabilirsiniz.

Bu senaryodan kaçınmanıza yardımcı olmak için bu yazıda robots.txt dosyasını ayrıntılı olarak ele alacağız. Ne olduğunu, amacını, dosyanızı nasıl bulacağınızı ve yöneteceğinizi ve neleri içermesi gerektiğini tanımlayacağız. Bundan sonra, insanların WordPress robots.txt dosyasında yaptığı en yaygın hataları, bunlardan kaçınmanın yollarını ve bir hata yaptığınızı fark ederseniz nasıl kurtarabileceğinizi ele alacağız.

WordPress robots.txt dosyası nedir?

Belirtildiği gibi robots.txt bir sunucu yapılandırma dosyasıdır. Bunu genellikle sunucunuzun kök klasöründe bulursunuz.

Açtığınızda içerik şuna benzer:

Bu kod parçaları, web sitenize gelen botlara oradayken nasıl davranacaklarını, özellikle de web sitenizin hangi bölümlerine erişip hangilerine erişemeyeceklerini söyleyen talimatlardır.

Hangi botları soruyorsunuz?

En yaygın örnekler, dizine eklenecek veya güncellenecek web sayfalarını arayan arama motorlarından gelen otomatik tarayıcıların yanı sıra yapay zeka modellerinden gelen botlar ve diğer otomatik araçlardır.

Bu Dosyayla Hangi Yönergeleri Verebilirsiniz?

Robots.txt temel olarak dört temel yönergeyi bilir:

• Kullanıcı aracısı – Kimin, yani takip edilen kuralların hangi grup veya bireysel botlar için olduğunu tanımlar.
• İzin Verme – Kullanıcı aracısının erişiminin yasak olduğu dizinleri, dosyaları veya kaynakları belirtir.
• İzin Ver – İstisnaları ayarlamak için kullanılabilir; örneğin, yasaklanmış dizinlerdeki bireysel klasörlere veya kaynaklara erişime izin vermek için.
• Site Haritası – Botları bir web sitesinin site haritasının URL konumuna yönlendirir.

Dosyanın işini yapabilmesi için yalnızca Kullanıcı aracısı ve İzin Verme zorunludur; diğer iki direktif isteğe bağlıdır. Örneğin herhangi bir botun sitenize erişmesini şu şekilde engelleyebilirsiniz:

 User-agent: * Disallow: /

Yıldız işareti, aşağıdaki kuralın tüm kullanıcı aracıları için geçerli olduğunu belirtir. Disallow'dan sonra gelen eğik çizgi, bu sitedeki tüm dizinlerin yasaklı olduğunu belirtir. Bu, genellikle geliştirme sitelerinde bulduğunuz ve arama motorları tarafından dizine eklenmemesi gereken robots.txt dosyasıdır.

Ancak bireysel botlar için de kurallar oluşturabilirsiniz:

 User-agent: Googlebot Allow: /private/resources/

Robots.txt dosyasının bağlayıcı olmadığını unutmamak önemlidir. Yalnızca Robotları Hariç Tutma Protokolüne uyan kuruluşlardaki botlar, bu protokolün talimatlarına uyacaktır. Sitenizdeki güvenlik açıklarını arayan kötü amaçlı botlar bunları görmezden gelebilir ve görmezden gelecektir ve bunlara karşı ek önlemler almanız gerekir.

Standarda bağlı kalan kuruluşlar bile bazı direktifleri göz ardı edecektir. Aşağıda bunun örneklerinden bahsedeceğiz.

Robots.txt Neden Önemlidir?

WordPress sitenizin robots.txt dosyasına sahip olması zorunlu değildir. Siteniz siteniz olmadan çalışacaktır ve arama motorları, siteniz olmadığı için sizi cezalandırmayacaktır. Ancak birini dahil etmek şunları yapmanıza olanak sağlar:

• Giriş sayfaları veya belirli medya dosyaları gibi içerikleri arama sonuçlarının dışında tutun.
• Arama tarayıcılarının tarama bütçenizi sitenizin önemsiz bölümlerine harcamasını, muhtemelen dizine eklemelerini istediğiniz sayfaları göz ardı etmesini önleyin.
• Arama motorlarını site haritanıza yönlendirin, böylece web sitenizin geri kalanını daha kolay keşfedebilirler.
• İsraf eden botları dışarıda tutarak sunucu kaynaklarını koruyun.

Tüm bunlar sitenizi, özellikle de SEO'nuzu daha iyi hale getirmeye yardımcı olur; bu nedenle robots.txt dosyasını nasıl kullanacağınızı anlamanız önemlidir.

WordPress robots.txt Dosyanızı Bulma, Düzenleme ve Oluşturma

Belirtildiği gibi robots.txt dosyası genellikle web sitenizin sunucudaki kök klasöründe bulunur. Buradan FileZilla gibi bir FTP istemcisiyle erişebilir ve herhangi bir metin düzenleyiciyle düzenleyebilirsiniz.

Eğer böyle bir dosyanız yoksa, boş bir metin dosyası oluşturup bunu "robots.txt" olarak adlandırıp, onu yönergelerle doldurup yüklemeniz mümkündür.

En azından dosyanızı görüntülemenin başka bir yolu da alanınıza /robots.txt eklemektir, örneğin https://wp-rocket.me/robots.txt.

Ayrıca dosyaya WordPress arka ucundan erişmenin yolları da vardır. Birçok SEO eklentisi, yönetim arayüzünden onu görmenize ve sıklıkla değişiklik yapmanıza olanak tanır.

Alternatif olarak WPCode gibi bir eklenti de kullanabilirsiniz.

İyi Bir WordPress robots.txt Dosyası Nasıl Görünür?

Web sitenizin dosyasında hangi direktiflerin olması gerektiğine dair herkese uyan tek bir cevap yoktur; kurulumunuza bağlıdır. İşte birçok WordPress web sitesi için anlamlı olan bir örnek:

 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://yourwebsite.com/sitemap.xml

Bu örnek birkaç sonuca ulaşıyor:

1. Yönetici alanına erişimi engeller
2. Temel yönetici işlevlerine erişime izin verir
3. Bir site haritası konumu sağlar

Bu kurulum güvenlik, SEO performansı ve verimli tarama arasında bir denge kurar.

Bu 14 WordPress robots.txt Hatasını Yapmayın

Amacınız robots.txt dosyasını kendi siteniz için kurup optimize etmekse aşağıdaki hatalardan kaçındığınızdan emin olun.

1. Dahili WordPress robots.txt dosyasının göz ardı edilmesi

Sitenizin kök dizininde “fiziksel” bir robots.txt dosyası olmasa bile WordPress kendi sanal dosyasıyla birlikte gelir. Arama motorlarının web sitenizi dizine eklemediğini fark ederseniz bunu hatırlamanız özellikle önemlidir.

Bu durumda, Ayarlar > Okuma altında onları bunu yapmaktan vazgeçirme seçeneğini etkinleştirmiş olma ihtimaliniz yüksektir.

Bu, tüm arama tarayıcılarını sanal robots.txt dosyasında dışarıda tutacak bir yönerge koyar. Devre dışı bırakmak için kutunun işaretini kaldırın ve alttaki kaydedin.

2. Yanlış Yere Yerleştirmek

Botlar, özellikle de arama tarayıcıları, robots.txt dosyanızı yalnızca tek bir konumda, yani web sitenizin kök dizininde arar. Dosyayı başka bir yere, örneğin bir klasöre yerleştirirseniz, onu bulamazlar ve görmezden gelirler.

WordPress'i bir alt dizine yerleştirmediğiniz sürece, sunucunuza FTP yoluyla eriştiğinizde kök dizininiz, geldiğiniz yerde olmalıdır. wp-admin , wp-content ve wp-includes klasörlerini görüyorsanız doğru yerdesiniz.

3. Güncel Olmayan İşaretlemeyi Dahil Etme

Yukarıda belirtilen yönergelerin yanı sıra, eski web sitelerinin robots.txt dosyalarında hâlâ bulabileceğiniz iki yönerge daha vardır:

• Noindex – Arama motorlarının sitenizde dizine eklememesi gereken URL'leri belirtmek için kullanılır.
• Tarama gecikmesi – Web sunucusu kaynaklarını aşırı yüklememeleri için tarayıcıları kısıtlamayı amaçlayan bir yönerge.

Bu direktiflerin her ikisi de artık en azından Google tarafından göz ardı ediliyor. En azından Bing hala tarama gecikmesini onurlandırıyor.

Çoğunlukla bu yönergeleri kullanmamak en iyisidir. Bu, dosyanızın yalın kalmasına yardımcı olur ve hata riskini azaltır.

İpucu: Amacınız arama motorlarının belirli sayfaları dizine eklemesini engellemekse bunun yerine noindex meta etiketini kullanın. Sayfa bazında bir SEO eklentisi ile uygulayabilirsiniz.

Sayfaları robots.txt aracılığıyla engellerseniz tarayıcılar noindex etiketini görecekleri kısma ulaşamaz. Bu şekilde, içeriği olmadan sayfanızı dizine eklemeye devam edebilirler ki bu daha da kötüdür.

4. Temel Kaynakların Engellenmesi

İnsanların yaptığı hatalardan biri, tarama bütçesini korumak amacıyla WordPress sitelerindeki tüm stil sayfalarına (CSS dosyaları) ve komut dosyalarına (JavaScript dosyaları) erişimi engellemek için robots.txt kullanmaktır.

Ancak bu iyi bir fikir değil. Arama motoru botları, sayfaları ziyaretçilerin gördüğü gibi "görecek" şekilde işler. Bu, içeriği anlamalarına ve buna göre dizine eklemelerine yardımcı olur.

Bu kaynakları engelleyerek, arama motorlarına sayfalarınız hakkında yanlış bir izlenim verebilir, potansiyel olarak sayfalarınızın düzgün şekilde dizine eklenmemesine veya sıralamalarının zarar görmesine yol açabilirsiniz.

CSS ve JavaScript dosyalarının sitenizin performansını engelleyebileceğini düşünüyorsanız, bunları hem botlar hem de düzenli ziyaretçiler için hızlı yüklenecek şekilde optimize etmek daha iyi bir fikirdir. Bunu, kodu küçülterek ve web sitesi dosyalarını sıkıştırarak daha hızlı iletilmesini sağlayarak yapabilirsiniz. Ayrıca kullanılmayan kodları ortadan kaldırarak ve oluşturmayı engelleyen kaynakları erteleyerek bunların dağıtımını optimize etmek mümkündür.

İpucu : WP Rocket gibi bir performans eklentisi kullanarak bu işlemi basitleştirebilirsiniz. Kullanıcı dostu arayüzü, Dosya Optimizasyonu menüsündeki birkaç kutuyu işaretleyerek dosya dağıtımını optimize etmenize olanak tanır.

WP Rocket ayrıca web sitesi performansını artırmak için aşağıdakiler dahil ek özelliklerle birlikte gelir:

• Özel bir mobil önbellek ile önbelleğe alma
• Resimler ve videolar için geç yükleme
• Önbelleği, bağlantıları, harici dosyaları ve yazı tiplerini önceden yükleme
• Veritabanı optimizasyonu

Ayrıca eklenti birçok optimizasyon adımını otomatik olarak uygular. Örnekler arasında tarayıcı ve sunucu önbelleğe alma, GZIP sıkıştırma ve LCP'yi geliştirmek için ekranın üst kısmındaki görüntülerin optimize edilmesi yer alır. Bu şekilde, WP Rocket'ı açarak siteniz daha hızlı hale gelecektir.

Eklenti ayrıca 14 günlük para iade garantisi sunuyor, böylece onu risksiz bir şekilde test edebilirsiniz.

5. Geliştirme robots.txt dosyasının güncellenmemesi

Geliştiriciler bir web sitesi oluştururken genellikle tüm botların siteye erişmesini yasaklayan bir robots.txt dosyası eklerler. Bu mantıklı; İstediğiniz son şey, tamamlanmamış sitenizin arama sonuçlarında görünmesidir.

Sorun yalnızca bu dosyayı yanlışlıkla üretim sunucunuza aktardığınızda ve arama motorlarının canlı web sitenizi dizine eklemesini engellediğinizde ortaya çıkar. İçeriğiniz arama sonuçlarında görünmeyi reddediyorsa bunu kesinlikle kontrol edin.

6. Site Haritanıza Bağlantı Eklememek

Robots.txt'ten site haritanıza bağlantı vermek, arama motoru tarayıcılarına tüm içeriğinizin bir listesini sağlar. Bu, eriştikleri mevcut sayfadan daha fazlasını dizine ekleme şansınızı artırır.

Tek gereken bir satır:

 Sitemap: https://yourwebsite.com/sitemap.xml

Evet, site haritanızı doğrudan Google Arama Konsolu gibi araçlara da gönderebilirsiniz.

Ancak bunu robots.txt dosyanıza eklemek, özellikle web yöneticisi araçlarını kullanmadığınız arama motorları için yine de faydalıdır.

7. Çakışan Kuralları Kullanmak

Robots.txt dosyası oluştururken yaygın olarak yapılan hatalardan biri birbiriyle çelişen kurallar eklemektir; örneğin:

 User-agent: * Disallow: /blog/ Allow: /blog/

Yukarıdaki yönergeler, arama motorlarının /blog/ dizinini tarayıp taramaması gerektiği konusunda belirsiz bırakıyor. Bu öngörülemeyen sonuçlara yol açar ve SEO'nuza zarar verebilir.

Çatışmaları önlemek için şu en iyi uygulamaları izleyin:

• Önce belirli kuralları kullanın – Daha geniş kuralların önüne daha spesifik kurallar koyun.
• Fazlalıktan kaçının – Aynı yol için karşıt yönergeleri dahil etmeyin.
• robots.txt dosyanızı test edin – Kuralların beklendiği gibi davrandığını doğrulamak için araçları kullanın. Aşağıda bununla ilgili daha fazla bilgi bulabilirsiniz.

8. Robots.txt ile Hassas İçeriği Gizlemeye Çalışmak

Daha önce de belirtildiği gibi robots.txt, içeriği arama sonuçlarının dışında tutacak bir araç değildir. Aslında, dosya herkese açık olduğundan, onu hassas içeriği engellemek için kullanmak, içeriğin tam olarak nerede bulunduğunu yanlışlıkla ortaya çıkarabilir.

İpucu : İçeriği arama sonuçlarının dışında tutmak için noindex meta etiketini kullanın. Ayrıca sitenizin hassas alanlarını hem robotlardan hem de yetkisiz kullanıcılardan korumak için parolayla koruyun.

9. Joker Karakterlerin Uygunsuz Şekilde Kullanılması

Joker karakterler, yönergelerinize büyük yol veya dosya grupları eklemenizi sağlar. Daha önce bir tanesiyle tanışmıştık, * sembolü. "Her örneği" anlamına gelir ve en sık olarak tüm kullanıcı aracıları için geçerli olan kuralları ayarlamak için kullanılır.

Diğer bir joker karakter sembolü ise, kuralları URL'nin son kısmına uygulayan $'dır. Örneğin tarayıcıların sitenizdeki tüm PDF dosyalarına erişmesini engellemek istiyorsanız bunu kullanabilirsiniz:

 Disallow: /*.pdf$

Joker karakterler yararlı olsa da geniş kapsamlı sonuçlara yol açabilirler. Bunları dikkatli kullanın ve herhangi bir hata yapmadığınızdan emin olmak için her zaman robots.txt dosyanızı test edin.

10. Mutlak ve Göreli URL'leri Karıştırmak

Mutlak ve göreli URL'ler arasındaki fark aşağıda açıklanmıştır:

• Mutlak URL – https://yourwebsite.com/private/
• Göreli URL – /özel/

robots.txt yönergelerinizde göreli URL'ler kullanmanız önerilir; örneğin:

 Disallow: /private/

Mutlak URL'ler, botların yönergeyi göz ardı edebileceği veya yanlış yorumlayabileceği sorunlara neden olabilir. Bunun tek istisnası, mutlak bir URL olması gereken site haritanızın yoludur.

11. Büyük/Küçük Harfe Duyarlılığın Gözardı Edilmesi

Robots.txt yönergeleri büyük/küçük harfe duyarlıdır. Bu, aşağıdaki iki direktifin birbirinin yerine geçemeyeceği anlamına gelir:

 Disallow: /Private/ Disallow: /private/

Robots.txt dosyanızın beklendiği gibi davranmadığını fark ederseniz sorunun yanlış büyük harf kullanımından kaynaklanıp kaynaklanmadığını kontrol edin.

12. Sondaki Eğik Çizgileri Yanlış Kullanmak

Sondaki eğik çizgi, bir URL'nin sonundaki eğik çizgidir:

• Sonunda eğik çizgi olmadan : /directory
• Sonunda eğik çizgiyle : /dizin/

robots.txt dosyasında hangi site kaynaklarına izin verileceği ve hangilerine izin verilmeyeceğine karar verir. İşte bir örnek:

 Disallow: /private/

Yukarıdaki kural, tarayıcıların sitenizdeki "özel" dizine ve içindeki her şeye erişmesini engeller. Öte yandan, diyelim ki sondaki eğik çizgiyi şöyle bıraktınız:

 Disallow: /private

Bu durumda kural, sitenizde "özel" ile başlayan diğer örnekleri de engeller; örneğin:

• https://websiteniz.com/private.html
• https://websiteniz.com/privateer

Bu nedenle kesin olmak önemlidir. Şüphe duyduğunuzda dosyanızı test edin.

13. Alt Alan Adları için eksik robots.txt

Arama motorları bunları ayrı web varlıkları olarak değerlendirdiğinden, web sitenizdeki her alt alan adının (ör. dev.websiteniz.com) kendi robots.txt dosyasına ihtiyacı vardır. Bir dosya olmadan, tarayıcıların sitenizin gizli tutmayı düşündüğünüz bölümlerini dizine ekleme riskiyle karşı karşıya kalırsınız.

Örneğin, geliştirme sürümünüz "dev" adlı bir klasördeyse ve bir alt etki alanı kullanıyorsa, arama tarayıcılarını engellemek için özel bir robots.txt dosyasına sahip olduğundan emin olun.

14. robots.txt Dosyanızı Test Etmemek

WordPress robots.txt dosyanızı yapılandırırken yapılan en büyük hatalardan biri, özellikle değişiklik yaptıktan sonra dosyayı test etmemektir.

Gördüğümüz gibi sözdizimi veya mantıktaki küçük hatalar bile önemli SEO sorunlarına neden olabilir. Bu nedenle her zaman robots.txt dosyanızı test edin.

Dosyanızla ilgili tüm sorunları Google Search Console'da Ayarlar > robots.txt altında görebilirsiniz.

Başka bir yol da, Screaming Frog gibi bir araçla tarama davranışını simüle etmektir. Ayrıca, yeni kuralların canlı sitenize uygulanmadan önce etkilerini doğrulamak için bir hazırlama ortamı kullanın.

robots.txt Hatasından Nasıl Kurtarılır

Robots.txt dosyanızda hata yapmak kolaydır, ancak neyse ki bunları keşfettikten sonra düzeltmek de genellikle kolaydır.

Güncellenmiş robots.txt dosyanızı bir test aracıyla çalıştırarak başlayın. Ardından, sayfalar daha önce robots.txt yönergeleri tarafından engellenmişse, dizine ekleme isteğinde bulunmak için bunları Google Search Console'a veya Bing Web Yöneticisi Araçları'na manuel olarak girin.

Ayrıca site haritanızın güncel bir sürümünü yeniden gönderin.

Bundan sonrası sadece bir bekleme oyunudur. Arama motorları sitenizi tekrar ziyaret edecek ve umarız sıralamalardaki yerinizi hızlı bir şekilde geri kazanacaktır.

WordPress robots.txt’nizin Kontrolünü Elinize Alın

Robots.txt dosyalarıyla bir gram önleme, bir kilo tedaviden daha iyidir. Özellikle büyük web sitelerinde hatalı bir dosya sıralamaya, trafiğe ve gelire zarar verebilir.

Bu nedenle sitenizin robots.txt dosyasında yapılacak her türlü değişiklik dikkatli bir şekilde ve kapsamlı testlerle yapılmalıdır. Yapabileceğiniz hataların farkında olmak onları önlemenin ilk adımıdır.

Bir hata yaptığınızda paniğe kapılmamaya çalışın. Sorunu teşhis edin, hataları düzeltin ve sitenizin yeniden taranmasını sağlamak için site haritanızı yeniden gönderin.

Son olarak, arama motorlarının sitenizi düzgün bir şekilde taramamasının nedeninin performans olmadığından emin olun. Sitenizi anında daha hızlı hale getirmek için WP Rocket'ı şimdi deneyin!