Yoast SEO Kullanarak WordPress Robots.txt Dosyanızı SEO İçin Optimize Etme

Arama motoru optimizasyonu (SEO), etkili bir web sitesi oluşturmanın önemli bir parçasıdır ve SEO başarısına ulaşmanın en önemli faktörlerinden biri, sitenizi optimize etmek için doğru araçları kullanmaktır. Böyle bir araç, arama motoru tarayıcılarının içeriğinize nasıl erişip onu dizine eklemesini kontrol eden Robots.txt dosyasıdır.

WordPress Robots.txt dosyanızı optimize etmek, daha iyi arama motoru sıralamalarına ulaşmanıza, web sitenizin görünürlüğünü iyileştirmenize ve trafiğinizi artırmanıza yardımcı olabilir.

Ancak önemine rağmen birçok web sitesi sahibi, Robots.txt dosyasını doğru şekilde nasıl yapılandıracaklarına aşina değildir. Bu blog yazısında, SEO için WordPress Robots.txt dosyanızda uzmanlaşmak ve web siteniz için SEO'nun tüm potansiyelini ortaya çıkarmak için bilmeniz gereken her şeyde size rehberlik edeceğiz.

Robots.txt'nin SEO'daki rolünü anlamak

Arama motoru optimizasyonunda robots.txt dosyasının işlevini anlamak, WordPress web sitesi optimizasyon çabalarınızdan en iyi şekilde yararlanmak ve mümkün olan en iyi sonuçları elde etmek için çok önemlidir. Robots Hariç Tutma Protokolü olarak da adlandırılabilecek Robots.txt adlı bir metin dosyası, arama motoru tarayıcılarına web sitenizin hangi alanlarını taraması ve dizine eklemesi gerektiği konusunda talimatlar verir.

Arama motorlarından gelen botlar web sitenizi ziyaret ettiğinde yaptıkları ilk şey kök dizinde robots.txt adlı bir dosya olup olmadığını kontrol etmektir. Bu dosya botlar için bir rehber görevi görür ve ziyaret etmelerine izin verilen ve verilmeyen siteler ve dosyalar hakkında onlara tavsiyelerde bulunur.

Robots.txt dosyanızı doğru şekilde yapılandırırsanız, arama motorlarına gösterilen materyaller ve onlardan gizlenen materyaller üzerinde tam kontrole sahip olursunuz.

Web sitenizin tarama etkinliği öncelikle robots.txt dosyası kullanılarak artırılmalıdır. Arama motoru botlarının web sitenizin en hayati bölümlerini taramaya ve dizine eklemeye odaklanmasına yardımcı olur, böylece kaynakların gerekli olmayan sitelere veya genel kamuya açıklanmaması gereken hassas materyallere israf edilmesini önler.

Robots.txt Dosyası Tam Olarak Nedir?

Robots.txt olarak bilinen basit bir metin dosyası, arama motorları tarafından kullanılan web tarayıcılarını web sitenizdeki belirli web sayfalarına yönlendirir. Ayrıca robotlara belirli siteleri taramamaları talimatını verir.

Bu makalenin derinlemesine analizine geçmeden önce bir arama motorunun işleyişini anlamanız önemlidir.
Tarama, indeksleme ve sıralama, arama motorları tarafından gerçekleştirilen üç ana faaliyettir.

Arama motorlarının yaptığı ilk şey, örümcekler veya botlar olarak da bilinen web tarayıcılarını World Wide Web'in her yerine göndermektir. Bot olarak bilinen bu programlar, yeni bağlantılar, sayfalar ve web siteleri bulmak için tüm web'i tarayan akıllı yazılım parçalarıdır. Tarama, web'deki içerikte arama işlemine verilen terimdir.

Web sitenizin sayfaları, botlar onları keşfettikten sonra kullanılabilecek bir veri yapısı halinde düzenlenecektir. İndeksleme bu işleme verilen addır.

Ve sonuçta her şey sıralamaya bağlı. Bir kullanıcı bir arama sorgusu girdiğinde, arama motoru, kullanıcının aradığı şeye bağlı olarak bulabileceği en iyi ve en alakalı bilgiyi kullanıcıya sunmalıdır.

Robots.txt Dosyası Nasıl Görünüyor?

Robots.txt dosyası bir web sitesinin yapısının ve işlevselliğinin hayati bir bileşenidir, ancak gerçekte nasıl göründüğünü hiç merak ettiniz mi?

Dosya, Kullanıcı aracısını takip eden yıldız işaretiyle belirtildiği gibi, web sitesini ziyaret eden tüm arama motoru robotları için geçerlidir. Her arama motoru interneti keşfetmek için farklı bir kullanıcı aracısı kullanır.

Örneğin Google, web sitenizin içeriğini Google araması için dizine eklemek amacıyla Googlebot'u kullanır. Bu kullanıcı aracılarının sayısı yüzlercedir. Her kullanıcı aracısı için özel talimatlar yapılandırılabilir. Örneğin, robots.txt dosyanızın ilk satırı şöyle olmalıdır: “Googlebot için özel talimatlar ayarlamak isterseniz, Kullanıcı aracısı: Googlebot olarak bilinecektir.

Tarama bütçesi tam olarak nedir?

Tarama bütçesi, bir arama motorunun belirli bir zaman dilimi içinde bir web sitesinde taramak istediği sayfa sayısını ifade eder. Bu, web sitesinin otoritesi, popülerliği ve sunucunun tarama isteklerini işleme kapasitesi gibi çeşitli faktörlere göre belirlenir. Ayrıca web siteniz için tarama bütçesinin mümkün olduğunca verimli kullanıldığından emin olmalısınız.

Web sitenizde birden fazla sayfa varsa, öncelikle en önemli sayfalarınızın mutlaka bot tarafından taranması gerekir. Bu nedenle bunu robots.txt dosyanızda özellikle belirtmeniz zorunludur.

WordPress'te robots.txt dosyası nasıl bulunur ve düzenlenir?

WordPress'te robots.txt dosyasını bulmak ve düzenlemek, web sitenizi arama motorları için optimize etmede çok önemli bir adımdır. Bu dosyayı doğru şekilde yapılandırarak, arama motoru tarayıcılarının sitenizin hangi bölümlerine erişebileceğini kontrol edebilir ve onların en önemli sayfalara ve içeriğe odaklanmasını sağlayabilirsiniz.

WordPress'te robots.txt dosyasını bulmak ve düzenlemek için şu basit adımları izleyin:

1. WordPress kontrol panelinizde oturum açın.
2. Sol taraftaki menüden "Ayarlar" sekmesine gidin.
3. Okuma ayarlarına erişmek için “Okuma”ya tıklayın.
4. “Arama Motoru Görünürlüğü” bölümünü bulana kadar aşağı kaydırın.
5. Burada “Arama motorlarının bu siteyi indekslemesini engelle” yazan bir seçenek göreceksiniz. Arama motorunun sitenizin tamamına erişimini sınırlayan temel bir robots.txt dosyası oluşturacağından bu seçeneğin işaretli olmadığından emin olun.
6. Robots.txt dosyanızı daha da özelleştirmek istiyorsanız bunu web sitenizin kök dizinine erişerek yapabilirsiniz. Bu genellikle bir FTP istemcisi veya cPanel dosya yöneticisi aracılığıyla yapılabilir.
7. Kök dizini bulduktan sonra “robots.txt” adlı dosyayı arayın.
8. Düzenleme sırasında herhangi bir sorun ortaya çıkması ihtimaline karşı, mevcut robots.txt dosyasının bir kopyasını yedek olarak bilgisayarınıza indirin.
9. Robots.txt dosyasını bir metin düzenleyici kullanarak açın.
10. Dosyayı ihtiyaçlarınıza göre özelleştirin. Sitenizin belirli alanlarına erişime izin vermek veya erişime izin vermemek için belirli yönergeler ekleyebilirsiniz. Örneğin aşağıdaki satırı ekleyerek arama motorlarının yönetici alanınızı taramasını engelleyebilirsiniz:
1. İzin verme: /wp-admin/
11. Değişiklikleri robots.txt dosyasına kaydedin ve önceki sürümü değiştirerek web sitenizin kök dizinine geri yükleyin.
12. Son olarak, doğru şekilde yapılandırıldığından emin olmak için robots.txt dosyanızı Google'ın robots.txt test aracını veya diğer benzer araçları kullanarak test edin.

Arama motoru tarayıcılarının web sitenizle nasıl etkileşime girdiğini kontrol etmek, WordPress'te robots.txt dosyasını doğru konumda tanımlayıp değiştirerek gerçekleştirilebilir. Bu, web sitenizin görünürlüğü ve sıralaması açısından mümkün olan en iyi sonuçları elde etmenizi sağlayacaktır. Arama motoru optimizasyonunun (SEO) bu yönünü öğrenmek ve uzman olmak için zaman ayırırsanız, WordPress siteniz için başarının kilidini açma yolunda ilerleyeceksiniz.

WordPress'te Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyasının ne olduğunu ve neden bu kadar önemli olduğunu tartıştığımıza göre, devam edelim ve SEO için bir WordPress Robots.txt oluşturalım. WordPress, robots.txt dosyası oluşturmak için size iki farklı seçenek sunar. İlk yöntem, bir WordPress eklentisinin kullanılmasını içerirken, ikincisi, dosyanın web sitenizin kök klasörüne manuel olarak yüklenmesini içerir.

Adım 1: Bu, bir Robots.txt dosyası oluşturmak için Yoast SEO eklentisini kullanmaktır.

WordPress üzerine kurulu web sitenizi optimize etmenize yardımcı olması için SEO eklentilerinden yararlanabilirsiniz. Bu eklentilerin çoğu, kurulum paketlerinin içinde kendi robots.txt dosya oluşturucusunu sağlar.

Öncelikle Eklentiyi indirip yükleyin.

Eklentiler menüsüne gidin ve “Yeni Ekle”yi tıklayın. Bir sonraki adım, Yoast SEO eklentisini aramak, indirmek ve henüz sahip değilseniz onu açmaktır.

İkinci adım olarak robots.txt dosyasını oluşturun

Yoast kullanarak robots txt dosyası oluşturun

Bazı varsayılan direktiflerle oluşturulan dosyayı fark edeceksiniz.

Yoast SEO için robots.txt dosya oluşturucu otomatik olarak aşağıdaki yönergeleri içerecektir:

Kullanıcı aracısı: * İzin verme: /wp-admin/ İzin ver: /wp-admin/admin-ajax.php

Robots.txt dosyasına ekstra talimatlar ekleyin. robots.txt dosyasını düzenledikten sonra Kaydet'e tıklayın.

Alan adınızı ve '/robots.txt' girin. Aşağıda görüldüğü gibi tarayıcı varsayılan yönergeleri görüntülüyorsa robots.txt dosyanız tamamlanmış demektir.
oluşturulan robots txt dosyası

Ayrıca site haritası URL'sini robots.txt dosyanıza eklemenizi öneririz.

Varsayılan robots txt dosyası
Eklenti etkinleştirildikten sonra Yoast SEO > Araçlar bölümüne gidin ve açılır menüden Dosya düzenleyiciyi seçin. Alan adınızı doldurmaya devam edin ve ardından '/robots.txt' ile devam edin. Tarayıcıya baktığınızda bazı varsayılan yönergelerin gösterildiğini fark edeceksiniz.

Adım 2: Robots.txt Dosyasını Manuel Olarak Oluşturmak için FTP Kullanma

• Yerel bilgisayarınızda bir robots.txt dosyası oluşturmak ve ardından bunu WordPress web sitenizin kök klasörüne yüklemek, süreçteki bir sonraki adımdır.
• Buna ek olarak, Filezilla gibi bir FTP programı kullanarak WordPress hostinginize erişmeniz gerekecektir. Oturum açmak için gerekli kimlik bilgilerine henüz sahip değilseniz, barındırma hizmetinizin kontrol paneli aracılığıyla bu bilgilere erişiminiz sağlanacaktır. Sonuç olarak, FTP programınıza giriş yaptıktan sonra robots.txt dosyasının web sitenizin kök klasöründe bulunup bulunmadığını kontrol edebilirsiniz.



• Dosyaya sağ tıklayın ve varsa düzenle'yi seçin.

Bu nedenle, FTP istemcinizde başarılı bir şekilde oturum açtığınızda, robots.txt dosyasının web sitenizin kök klasöründe olup olmadığını kontrol edebileceksiniz. Alan adınızı ve ardından '/robots.txt' ifadesini girmek, dosyanızın başarıyla yüklenip yüklenmediğini belirlemenin en iyi yoludur.

Değişikliklerinizi yaptıktan sonra “Kaydet”i tıklayın.

Zaten mevcut değilse, dosyayı oluşturmanız gerekecektir. Direktiflerin Not Defteri gibi temel bir metin düzenleyici kullanılarak bir dosyaya eklenmesiyle bir tanesi yapılabilir. Örneğin

Kullanıcı aracısı: * İzin verme: /wp-admin/ İzin ver: /wp-admin/admin-ajax.php

Dosyayı web sitesinin kök klasörüne yüklemek için FTP istemcinizde 'Dosya Yükleme'yi tıklayın.

Dosyanızın başarıyla yüklenip yüklenmediğini görmek için alan adınızı ve “/robots.txt” yazın.

Bu, robots.txt dosyasını WordPress web sitenize manuel olarak yükleme yöntemidir!

Robots.txt: Avantajlarını ve dezavantajlarını biliyor

robots.txt dosyasını kullanmanın yararları

Arama motoruna, dizine eklenmesini istemediğiniz sitelerde zaman harcamaması talimatını verir, bu da arama motorunun tarama bütçelerini optimize etmeye yardımcı olur. Bunu yaparak, arama motorlarının sizin için en önemli siteleri tarama olasılığını artırırsınız.

Web sunucunuzun kaynaklarının bu şekilde israfına neden olan botların engellenmesi sunucunun optimizasyonuna katkı sağlar.
Teşekkür sayfalarını, açılış sayfalarını, giriş sayfalarını ve arama motorları tarafından dizine eklenmesi gerekmeyen diğer sayfaları gizlemek için kullanışlıdır.

robots.txt dosyasının olumsuz yönleri

Artık burada sağlanan bilgileri kullanarak robots.txt dosyasını herhangi bir web sitesinde görüntüleyebilmelisiniz. Anlamak çok zor değil. Alan adını ve ardından "/robots.txt" yazıp enter tuşuna basmanız yeterlidir.

Ancak bunun bir dereceye kadar tehlikesi de var. SEO için WordPress Robots.txt dosyasının, web sitenizin, arama motorları tarafından dizine eklenmesini istemediğiniz bazı dahili sayfalarının URL'lerini içerme olasılığı vardır.

Mesela giriş yaparken herhangi bir sebeple indekslenmesini istemediğiniz bir sayfa olabilir. Ancak robots.txt dosyasında bundan bahsediliyor olması saldırganların web sitesini görmesini mümkün kılıyor. Belirli hassas bilgileri gizlemeye çalışıyorsanız aynı durum geçerlidir.

Robots.txt dosyasını yazarken tek bir yazım hatası yapsanız bile bu, tüm arama motoru optimizasyonu (SEO) çabalarınızı boşa çıkaracaktır. Dosyanın oluşturulması kolay olsa bile bu durum geçerlidir.

Robots.txt Dosyasını Nereye Koymalı?
Bu noktada robots.txt dosyasının eklenmesi gereken konumu bildiğinizi varsayalım.

Web sitenizin robots.txt dosyası her zaman web sitesinin kök dizininde bulunmalıdır. Alan adınız alan adınız.com ise web sitenizdeki robots.txt dosyasının URL'si https://alaniniz.com/robots.txt olacaktır.

Robots.txt dosyanızı web sitenizin kök dizinine yerleştirmenin yanı sıra uyulması gereken diğer önerilen uygulamalardan bazıları şunlardır:

• Dosyanıza robots.txt adını vermeniz çok önemlidir.
• İsmin büyük harfle yazılması önemlidir. Bu nedenle, onu doğru şekilde almanız gerekir, aksi takdirde çalışmaz.
• Her talimatın ayrı bir satıra yerleştirilmesi gerekir.
• Bir URL tamamlandığında “$” işaretiyle işaretlenmelidir.
• Her kullanıcı aracısının yalnızca bir örneği kullanılmalıdır.
• İnsanlara robots.txt dosyanızın içeriğine ilişkin bir açıklama sağlamak için, yorumları her satıra bir kare (#) ile başlayarak kullanın.

robots.txt dosyanızı test etme ve doğrulama

Robots.txt dosyanızı test etmek ve doğrulamak, arama motorlarının web sitenizi düzgün bir şekilde tarayıp dizine eklemesini sağlamak için çok önemli bir adımdır. İyi optimize edilmiş bir robots.txt dosyası, arama motorlarının hassas veya alakasız sayfalara erişmesini engelleyebilir, tarama verimliliğini artırabilir ve sonuçta web sitenizin genel performansını artırabilir.

robots.txt dosyanızı test etmeye başlamak için özel olarak bu amaç için tasarlanmış çeşitli çevrimiçi araçları kullanabilirsiniz. Bu araçlar, robots.txt yönergelerinizi girmenize ve arama motorlarının bunları nasıl yorumlayıp takip ettiğini simüle etmenize olanak tanır.

Sonuçları analiz ederek dosyanızdaki olası sorunları veya yanlış yapılandırmaları tanımlayabilirsiniz. Robots.txt dosyanızı düzenli olarak izlemek ve güncellemek, özellikle web sitenizin yapısında veya içeriğinde değişiklik yaparken çok önemlidir.

Dikkatli kalarak ortaya çıkabilecek sorunları hızlı bir şekilde tespit edebilir ve düzeltebilirsiniz. Bu titiz yaklaşım sonuçta web sitenizin dijital ortamda algılanabilirliğine, indekslenmesine ve genel başarısına katkıda bulunacaktır.

Burada önerdiğimiz araç Google Search Console'dur.

'Şimdi mülk ekle' bağlantısına gidip ekrandaki basit talimatları izleyerek web sitenizi Google Search Console'a ekleyebilirsiniz. İşlemi tamamladıktan sonra “Lütfen bir mülk seçin” etiketli açılır menü, seçenekler arasında web sitenizi de içerecektir.

Web sitesini seçtikten sonra araç, web sitenizle ilişkili robots.txt dosyasını otomatik olarak alacak ve varsa hataları veya uyarıları vurgulayacaktır.

WordPress Web Siteniz için Robots.txt Dosyası Gerekli mi?

Gerçekten de WordPress web sitenizin bir robots.txt dosyasına ihtiyacı var. Web sitenizde bir robots.txt dosyası olmasa bile, arama motorları yine de onu tarayacak ve dizine ekleyecektir. Artık robots.txt'nin amacını, işleyişini ve tarama bütçesini tartıştığımıza göre neden bir tanesini çıkarmak isteyesiniz ki?

Arama motorları, robots.txt dosyası aracılığıyla neyi tarayacakları ve daha da önemlisi neyi taraymayacakları konusunda eğitilir.

Tarama bütçesinin olumsuz sonuçlarını göz önünde bulundurmak, robots.txt dosyasını eklemenin ana nedenlerinden biridir.

Daha önce de söylediğimiz gibi her web sitesinin bir tarama bütçesi vardır. Her şey bir botun tek bir oturumda kaç siteyi ziyaret ettiğine bağlıdır. Bot, bir sonraki oturumda web sitenizdeki tüm sayfaları tamamlamazsa geri dönecek ve taramaya devam edecektir.
Ayrıca bu, web sitenizin indekslenme hızını düşürür.

Arama botlarının medya varlıklarını, tema dizinlerini, eklentileri ve yabancı siteleri taramasını engelleyerek bu durumu hızlı bir şekilde düzelterek tarama kotanızdan tasarruf edebilirsiniz.

Son sözler
Web siteniz üzerinde çalışırken içerik optimizasyonu, anahtar kelime araştırması, geri bağlantı oluşturma, sitemap.xml oluşturma ve SEO ile ilgili diğer görevlere öncelik veriyoruz. SEO için WordPress Robots.txt, bazı web yöneticilerinin gözden kaçırdığı bir husustur.

Web siteniz ilk başlatıldığında robots.txt dosyası çok önemli olmayabilir. Bununla birlikte, web siteniz büyüdüğünde ve daha fazla sayfaya sahip olduğunda, önerilen robots.txt dosyasını kullanmaya başlamamız, karşılığını fazlasıyla alacaktır.