WordPress'te robots.txt Nasıl Düzenlenir (Eklentiler ile ve Eklentiler olmadan)

WordPress'te robots.txt dosyasını düzenlemenin en etkili yollarını mı arıyorsunuz? Arama motoru tarayıcılarının web sitenizin taramaları ve dizine eklemeleri gereken sayfaları ve bölümleri bilmesini istiyorsanız bunlar çok önemlidir.

WordPress varsayılan olarak web siteniz için bir robots.txt dosyası oluştursa da, arama motorlarının görüntüleyebileceklerini yönetmek için yine de değiştirmeniz gerekebilir. robots.txt dosyasına aşina değilseniz endişelenmeyin. Bu öğretici ile robots.txt'nin ne olduğunu ve onu düzenlemenin neden gerekli olduğunu ve WordPress web sitenizde onu düzenlemenin çeşitli yollarını açıklayacağız.

Öyleyse, robots.txt'nin ne olduğunu anlamak için ayrıntılı olarak inceleyelim.

Robots.txt nedir?

Robots.txt, web sitenizin kök dizininde bulunan ve web robotlarının veya botların sitenizin hangi sayfalarını veya alanlarını taramaları ve dizine eklemeleri gerektiği konusunda yönergeler içeren bir düz metin dosyasıdır . Dosya, arama motorlarına, web sitesinin özel düzenlemelerine göre sayfaların veya bölümlerin dizine eklenmesi gerekip gerekmediğini söyler.

Örneğin, Google web tarayıcıları gibi web tarayıcıları, sayfa dizinlerini güncellemek için web sitelerini düzenli olarak kontrol eder. Googlebot olarak da bilinen bu Google web tarayıcıları, web sitesini kontrol etmek için robots.txt dosyasında belirtilen talimatları izler.

robots.txt dosyasının birincil amacı, web yöneticilerine arama motorlarının sitelerinde hangi bilgilere erişebileceğini kontrol etmelerinde yardımcı olmaktır. Botların belirli sitelere veya dizinlere erişmesini engellemek için dosyayı kullanabilirsiniz. Ancak, Googlebot ve diğer ünlü web tarayıcıları dışındaki bazı botların dosyadaki yönergelere uymayabileceğini unutmayın.

Robots.txt Dosyasını Neden Düzenlemelisiniz?

Robots.txt dosyanızı WordPress'te düzenlemenin çeşitli avantajları vardır. İşte birkaç husus:

• İstenmeyen botları engelleyin: Bazı botlar web siteniz için faydalı olmayabilir veya sunucunuzdaki değerli kaynakları tüketebilir. Bu, web sitesi yükleme sürelerinin yavaşlamasına neden olabilir ve sitenizin performansını düşürebilir. Dolayısıyla, robots.txt dosyanızı düzenlemek, istenmeyen botların sitenizi taramasını engellemenize ve web sitenizin genel hızını artırmanıza yardımcı olabilir.
• Hassas bilgileri koruyun: Web sitenizdeki belirli sayfalar, arama motorlarının dizine eklemesini istemediğiniz hassas bilgiler içerebilir. Bu, kişisel verileri, gizli ticari bilgileri, parola korumalı içeriği ve hatta yasal veya uyumlulukla ilgili içeriği içerebilir.
  Robots.txt dosyanızı düzenleyerek bu sayfaların taranmasını ve dizine eklenmesini engelleyebilirsiniz. Bu, web sitenizin gizliliğini ve güvenliğini korumaya bile yardımcı olacaktır.
• Botları belirli sayfalara yönlendirme : Botları web sitenizde arama motorlarının taramasını ve dizine eklemesini istediğiniz belirli sayfalara yönlendirmek için robots.txt dosyasını da kullanabilirsiniz. Bu, arama motoru sonuçlarında daha üst sıralarda yer almak istediğiniz sayfalara öncelik vermenizi sağlar.
• Yinelenen içeriğin dizine eklenmesini önleyin: Web sitenizde kategori veya etiket sayfaları gibi benzer içeriğe sahip sayfalar olabilir. Öyleyse, arama motoru botlarının bunları dizine eklemesini önlemek için robots.txt dosyasını kullanabilirsiniz. Bu, web sitenizin arama motoru sıralamalarını olumsuz etkileyen yinelenen içerik sorunlarının önlenmesine yardımcı olabilir.

Artık robots.txt dosyasının ne olduğunu ve neden gerekli olduklarını anladığınıza göre, onu nasıl özelleştireceğinizi göstereceğimiz bir sonraki bölüme geçelim.

WordPress'te Robots.txt Nasıl Düzenlenir

Robots.txt dosyasını WordPress'te 3 ana şekilde düzenleyebilirsiniz:

1. Bir FTP istemcisi kullanma
2. cPanel
3. bir eklenti ile

Bu yaklaşımların her birini ayrıntılı olarak inceleyeceğiz. Ancak FTP istemcisini veya cPanel yaklaşımını kullanırsanız, önce manuel olarak bir robots.txt dosyası oluşturmanız gerekir.

WordPress, sitenizi başlattığınızda varsayılan olarak sanal bir robots.txt dosyası oluşturur . Alanınızın sonuna " /robots.txt " yolu eklenerek erişilebilir.

Örneğin, QuadLayers'ın robots.txt dosyasına "https://quadlayers.com/robots.txt" bağlantısını kullanarak erişebilirsiniz.

Ancak, varsayılan robots.txt dosyasını kullanmayız. QuadLayers'ın özel ihtiyaçlarını karşılamak için düzenlenmiştir. Ancak WordPress tarafından oluşturulan varsayılan robots.txt dosyası yalnızca aşağıdaki bilgileri içerir:

 Kullanıcı aracısı: *
İzin verme: /wp-admin/
İzin ver: /wp-admin/admin-ajax.php

Ne yazık ki, sanal olduğu için bu dosyayı düzenleyemezsiniz . WordPress web sitenizin robots.txt dosyasını düzenlemek için manuel olarak bir tane oluşturmalısınız.

Bunu yapmak için herhangi bir metin düzenleyiciyi kullanarak boş bir dosya oluşturabilir ve dosyayı " robots.txt " olarak kaydedebilirsiniz.

Alternatif olarak, dosyayı düzenlemek için bir SEO eklentisi kullanmak isterseniz, bu eklenti aracılığıyla otomatik olarak yapılabilir. Bunu daha sonra bu kılavuzda öğreneceğiz.

Bununla birlikte, hangi yaklaşımı kullanırsanız kullanın, robots.txt dosyanız aynı bilgileri içermelidir. O halde robots.txt dosyasında nelerin olması gerektiğine de bakalım.

Robots.txt dosyasına Neler Eklenmeli?

Arama motorlarının web sitenizi düzgün bir şekilde dizine eklediğinden emin olmak için robots.txt dosyanıza ekleyebileceğiniz bazı kod komutları veya yönergeleri burada bulabilirsiniz:

• User-agent: Bu, talimatların uygulanacağı arama motorunu veya botu tanımlar. Kontrol etmek istediğiniz botlara bağlı olarak robots.txt dosyanıza bir veya daha fazla kullanıcı aracısı ekleyebilirsiniz. Örneğin, "User-agent: Googlebot", Google'ın web tarayıcısını ifade eder.
• Disallow: Bu yönerge botlara, arama motoru botlarının hangi sayfaları veya dizinleri taramaması veya dizine eklememesi gerektiğini söyler. Tek tek sayfaları veya tüm dizinleri belirleyebilirsiniz. Örneğin, "Disallow: /wp-admin/", tüm botların WordPress yönetici dizinindeki sayfaları taramasını engeller.
• Site Haritası: Bu yönerge, botlara web sitenizin site haritası dosyasını nerede bulacağını söyler. Site haritası dosyası, sitenizdeki arama motorlarının dizine eklemesini istediğiniz tüm sayfaları listeler.

Robots.txt dosyasındaki " allow " yönergesini de kullanabilirsiniz. Botlara hangi sayfaları veya dizinleri taramaları veya indekslemeleri gerektiğini söyler. Ancak, isteğe bağlı olduğunu ve yalnızca gerektiğinde kullanılması gerektiğini unutmayın.

İşte temel bir robots.txt dosyası örneği:

 Kullanıcı aracısı: *
İzin verme: /wp-admin/
İzin verme: /wp-includes/
Site haritası: https://www.example.com/sitemap.xml

Bu örnekte kullanıcı aracısı, talimatların tüm botlar için geçerli olduğu anlamına gelen "*" olarak ayarlanmıştır. "Disallow" yönergesi, botların WordPress yöneticisini ve "wp-include" dizinlerini taramasını engeller. Benzer şekilde, site haritası direktifi site haritası dosyasının konumunu belirtir.

Artık robots.txt dosyasına nelerin dahil edileceği konusunda temel bir anlayışa sahip olduğunuza göre, botların taramasını veya dizine eklemesini istemediğiniz tüm web sayfalarını ekleyebilirsiniz. Son olarak dosyayı kaydedin.

1) Bir FTP İstemcisi kullanarak Robots.txt dosyasını düzenleyin

Bir FTP istemcisi kullanarak WordPress'te robots.txt dosyasını düzenlemek için, bir FTP istemcisi kurmanız ve web sitenizi bağlamanız gerekir. Bu yöntem için kullanabileceğiniz FileZilla ve Cyberduck gibi birçok FTP istemcisi bulunmaktadır. Ancak bu eğitim için FileZilla kullanacağız.

1.1) WordPress Web Sitenizi FTP'ye Bağlayın

FTP istemcisini yükledikten sonra uygulamayı açın ve Dosya > Site Yöneticisi seçeneğine gidin. Klavyenizdeki Ctrl+S tuşlarına basarak da site yöneticisini açabilirsiniz.

Ardından, Yeni Site'ye tıklayın ve Sitelerim altına web sitenizin adını girin.

Şimdi Genel sekmesini açın ve site kimlik bilgilerinizi girin. Web sitenizi FileZilla'ya bağlamak için kimlik bilgilerini barındırma hizmetinizden alabilirsiniz.

Kimlik bilgilerini girdikten sonra Bağlan'a tıklayın.

Siteye bağlandıktan sonra sitenin dosya dizinine bilgisayarınızdan erişebilirsiniz. Öyleyse devam edelim ve robots.txt dosyasını bilgisayarınızdan web sitenize yükleyelim.

1.2) Robots.txt dosyasını WordPress'e yükleyin

Sitenizi FTP istemcisine bağladıktan sonra, robots.txt dosyasının bulunması gereken yer burası olduğundan, web sitenizin kök dizinine gitmeniz gerekir.

Kök dosya aynı zamanda “ public_html ” dosyası olarak da adlandırılır.

Yakın zamanda oluşturulan robots.txt dosyasını buraya yükleyebilirsiniz . Bu dosyada zaten bir robots.txt dosyası varsa, onu değiştirin.

Bu kadar!

Şimdi yapmanız gereken önceki örneklerde gösterdiğimiz gibi robots.txt dosyasını domainin sonuna "/robots.txt" yolunu ekleyerek test etmek.

2) Robots.txt dosyasını cPanel kullanarak düzenleyin

Robots.txt dosyasını cPanel ile düzenlemek, FTP istemcisi yaklaşımına çok benzer. İlk olarak, web sitenizin cPanel'ine giriş yapmalısınız. Yine, gerekli tüm oturum açma kimlik bilgileri, barındırma hizmetiniz tarafından zaten sağlanmış olmalıdır.

cPanel'e giriş yaptıktan sonra Dosyalar bölümüne gelin ve Dosya Yöneticisi'ne tıklayın.

Ardından, " public_html " dosya dizinine gidin ve en son oluşturulan robots.txt dosyasını buraya yükleyin . Bir kez daha, burada zaten bir robots.txt dosyası varsa, onu yeni düzenlenen dosyayla değiştirmeniz gerekir.

Son olarak, alanınızın sonuna "/robots.txt" yolunu ekleyerek robots.txt dosyanızı test edin.

3) Robots.txt dosyasını bir Eklenti kullanarak düzenleyin

Robots.txt sayfasını düzenlemek için kendinize çok zaman ve güçlük kazandırmak istiyorsanız, bir eklenti de kullanabilirsiniz. Yoast SEO, All in One SEO ve Rank Math SEO gibi çeşitli SEO eklentileri, robots.txt dosyasını oluşturmanıza ve düzenlemenize olanak tanır.

Kullanmak istediğiniz eklentiye karar vermenize yardımcı olacak daha fazla bilgiye ihtiyacınız varsa, en iyi WordPress SEO eklentilerinin tam listesine bakabilirsiniz.

Ancak bu gösteri için Rank Math SEO eklentisini kullanacağız. En popüler SEO eklentilerinden biridir ve robots.txt dosyasını düzenlemek için çok basit bir arayüze sahiptir. Öyleyse eklentiyi yükleyerek başlayalım.

3.1) Eklentiyi Kurun ve Etkinleştirin

Eklentiyi yüklemek için, WordPress kontrol panelinizden Eklentiler > Yeni Ekle'ye gitmeli ve önce eklentinin anahtar kelimelerini aramalısınız. Eklentiyi arama motorlarında gördükten sonra Şimdi Kur'a tıklayın. Kurulum sadece birkaç dakika sürecektir.

Kurulum tamamlanır tamamlanmaz, eklentiyi etkinleştirmek için Etkinleştir'e tıklayın.

Premium eklentilerden herhangi birini kullanmak istiyorsanız, manuel olarak yüklemeniz gerekir. Daha fazlası için manuel olarak bir WordPress eklentisi yüklemeyle ilgili ayrıntılı kılavuzumuza bakabilirsiniz.

Ayrıca, Rank Math SEO'yu kurarken herhangi bir sorunla karşılaşırsanız, Rank Math'ı nasıl kuracağınıza dair özel bir rehberimiz bile var.

3.2) Robots.txt Dosyasını Düzenle

Eklenti etkinleştirildikten sonra, WordPress kontrol panelinizden Rank Math > Genel Ayarlar'a gidin ve robots.txt dosyasını düzenle sekmesini seçin. Bu bölümde robots.txt dosyasını düzenlemeniz için eklentinin metin düzenleyicisini sağladığını görebilirsiniz.

Burada, botların taramasını ve dizine eklemesini istediğiniz web sayfalarına bağlı olarak tüm kodları ve komutları eklemelisiniz. Bununla ilgili yardıma ihtiyacınız olursa, bu eğitimde gerekli tüm yönergeleri önceki adımlardan birinde sağladık.

Robots.txt dosyası için gerekli tüm komutları ve yönergeleri ekledikten sonra, Değişiklikleri Kaydet 'e tıklayın.

Harika! Şimdi alan adının sonuna “/robots.txt” yolunu eklerseniz, dosyanın buna göre güncellendiğini göreceksiniz. Böylece arama motoru botları, yalnızca robots.txt dosyasına dayalı olarak izin verdiğiniz web sayfalarında gezinecektir.

Çözüm

Robots.txt dosyasını WordPress'te bu şekilde oluşturabilir ve düzenleyebilirsiniz . Arama motoru botlarının web sitenizin hassas veya yinelenen içeriğinden geçmesini istemiyorsanız bunu yapmanız çok önemlidir. Robots.txt dosyası, botları web sitenizin belirli sayfalarını taramaya ve dizine eklemeye yönlendirmek için de kullanılabilir.

Özetlemek gerekirse, robots.txt dosyasını üç ana yoldan düzenleyebilirsiniz:

• Bir FTP istemcisi kullanma
• cPanel
• bir eklenti ile

FTP client ve cPanel kullanımı birbirine çok benzer . Tek yapmanız gereken cPanel'de oturum açmak veya web sitenizi FTP istemcisine bağlamak ve robots.txt dosyasını yüklemek. Ardından, daha önce manuel olarak oluşturduğunuz robots.txt dosyasını yüklemeniz gerekir.

Öte yandan, bir eklenti kullanırsanız robots.txt dosyası web sitenize otomatik olarak eklenecektir . Eklentiler, robots.txt dosyasını düzenlemenize yardımcı olacak bir metin düzenleyici bile sağlar.

Web siteniz için robots.txt dosyasını şimdi düzenleyebilir misiniz? Hiç deneyip denemediğinizi yorumlarda bize bildirin.

Bu arada, bu makaleyi faydalı bulduysanız, WordPress web sitenizi özelleştirmek veya geliştirmek için kullanabileceğiniz bazı yayınlar:

• WordPress SEO nasıl geliştirilir: 9 Yol
• En İyi WordPress SSL Eklentileri (Ücretsiz ve Ücretli)
• WordPress'te Meta Açıklamalar Nasıl Eklenir?