Cara Mengoptimalkan Robots.txt WordPress Anda (Panduan Tingkat Lanjut)

Banyak dari Anda mungkin pernah mendengar tentang file robots.txt tetapi apakah Anda tahu di mana dan bagaimana tampilannya? Yang terpenting, apakah Anda tahu cara mengoptimalkan file robot.txt WordPress Anda untuk meningkatkan SEO?

Artikel ini akan membahas pertanyaan-pertanyaan ini untuk memberi Anda gambaran yang benar dan jelas tentang file robots.txt WordPress. Dari sana, Anda dapat menggunakan file tersebut untuk meningkatkan visibilitas online Anda di SERPs atau menyembunyikan konten sensitif Anda dari mata publik.

Kita akan mulai dengan lokasi robots.txt, contohnya, menyoroti cara mengedit file, lalu mengakhiri posting ini dengan tips lanjutan tentang pengoptimalan robots.txt WordPress.

Mari selami!

• Di mana Lokasi robot.txt WordPress?
• Bagaimana cara Mengedit robot.txt di WordPress?
• Cara Mengoptimalkan File Robots.txt WordPress Anda untuk SEO

Di mana Lokasi robots.txt WordPress?

File robots.txt berada di folder root situs web Anda. Tugas utamanya adalah memandu bot mesin telusur tentang cara merayapi dan mengindeks situs Anda. Secara khusus, itu menolak akses mesin pencari ke file dan folder tertentu.

Banyak pemilik situs WordPress menggunakan file robots.txt untuk mencegah pengindeksan pencarian . Kedengarannya berlawanan dengan intuisi, bukan? Mengingat fakta bahwa SEO atau memenangkan posisi pertama di SERP memainkan komponen penting dalam kesuksesan bisnis online.

Namun, jika situs Anda dalam mode pengembangan, atau berisi beberapa konten pribadi atau berkualitas rendah, robot.txt terbukti berguna dalam memblokir perayapan dan pengindeksan ke konten tersebut. Dari sini, Anda dapat mengoptimalkan file robots.txt WordPress Anda untuk memprioritaskan halaman arahan teratas Anda seperti halaman penjualan, halaman produk, atau posting bersponsor.

Pada catatan yang sama, Anda juga dapat mengoptimalkan kuota perayapan Anda . Kuota perayapan, atau anggaran perayapan, mengacu pada jumlah halaman di situs WordPress Anda yang dirayapi bot Google pada waktu tertentu. Mengizinkan halaman penting Anda untuk merayapi anggaran membantu dengan cepat membuat mereka diindeks dan diberi peringkat di halaman pertama hasil pencarian.

Namun, berhati-hatilah dalam mengoptimalkan file robots.txt karena dapat membahayakan SEO Anda jika dilakukan dengan buruk.

Contoh Robots.txt WordPress

Anda dapat melihat file robots.txt dari situs web mana pun dengan menambahkan /robots.txt di akhir nama domain. Jadi file robots.txt akan terlihat seperti ini.

Agen pengguna dalam file robots.txt adalah mesin pencari yang membaca file robots.txt. Jika Di agen pengguna ditandai dengan tanda bintang, ini berarti memberikan lampu hijau ke semua mesin pencari.

Dalam file robots.txt, izinkan dan larang beri tahu bot halaman dan konten mana yang dapat dan tidak dapat dirayapi. Seperti yang Anda lihat, kami telah mengizinkan mesin pencari untuk merayapi dan mengindeks file di admin-ajax WordPress kami dan tidak mengizinkan akses ke plugin dan folder admin.

Peta situs adalah file XML yang berisi daftar dan detail semua halaman di situs web Anda.

Bagaimana Mengedit Robots.txt di WordPress?

Cara termudah untuk mengedit robots.txt di WordPress adalah menggunakan plugin. Ada beberapa plugin SEO tangguh yang unggul dalam membantu Anda mengedit file robots.txt, All in one SEO, YoastSEO, RankMath, dll. hanya untuk beberapa nama.

Selain itu, Anda juga dapat mencari bantuan dari plugin yang hanya dikembangkan untuk mengoptimalkan file robots.txt WordPress Anda seperti Virtual Robots.txt, optimasi Robots.txt WordPress, dan banyak lagi.

Atau, Anda dapat mengedit file secara manual melalui Klien FTP. Pertama, Anda perlu menghubungkan penyedia hosting WordPress Anda menggunakan klien FTP. Setelah itu, cari file robots.txt di direktori root situs web Anda.

Jika Anda tidak melihat file robot.txt di sana, kemungkinan besar situs Anda tidak memilikinya. Jangan panik, buat saja yang baru. Tekan klik kanan dan pilih "Buat file baru" lalu unduh ke desktop Anda. Robots.txt adalah file teks biasa, artinya Anda dapat mengunduh dan mengeditnya seperti biasa seperti file lain dengan editor teks seperti Wordpad atau Notepad.

Setelah itu, perbarui perubahan Anda, unggah kembali file robots.txt yang telah diedit ke folder root dan selesai.

Uji File Robots.txt Anda

Anda perlu memastikan file robot.txt Anda berfungsi seperti biasa setelah edisi. Jika ada kesalahan yang terjadi, itu dapat menyebabkan konsekuensi bahwa situs web Anda dikeluarkan dari halaman hasil pencarian.

Di antara berbagai alat pengujian robots.txt di luar sana, kami menyarankan Anda untuk menggunakan Google Search Console, yang memungkinkan Anda menguji file robots.txt secara gratis.

Pastikan Anda telah mengirimkan URL situs web Anda ke Google Search Console, sehingga alat tersebut memverifikasi otentikasi Anda. Jika tidak, lihat panduan kami tentang cara mengirimkan situs Anda ke mesin pencari.

Maka Anda dapat menggunakan Alat Pengujian Robot Google Search Console. Setelah Anda memilih properti di menu tarik-turun, alat langsung menelusuri file kemudian memberi tahu Anda jika ada kesalahan dan peringatan.

Lebih dari itu, alat ini memungkinkan Anda untuk memasukkan halaman tertentu di situs Anda kemudian memilih agen pengguna tertentu untuk memeriksa apakah halaman tersebut diblokir atau diindeks pengindeksan diterima.

Anda dapat mengedit file secara langsung pada alat dan menjalankan kembali pengujian. Namun, file yang sebenarnya masih tetap tidak berubah. Anda mungkin perlu menyalin edisi dan menempelkannya pada file yang sebenarnya dan menyimpannya di sana.

Cara Mengoptimalkan File Robots.txt WordPress Anda untuk SEO

Sangat disarankan untuk secara selektif melarang beberapa halaman sensitif Anda, seperti /wp-admin/ , /wp-content/plugins/ , /trackback/ , dan /readme.html , sementara sisanya tetap "izinkan".

Terlebih lagi, Anda dapat mengoptimalkan file robots.txt WordPress Anda dengan menambahkan peta situs Anda ke dalamnya. Meskipun WordPress menyediakan peta situsnya sendiri, Anda dapat menggunakan plugin SEO seperti YoastSEO atau All in One SEO untuk membangun yang Anda inginkan. Mereka memberi Anda kekuatan untuk membuat peta situs terpisah untuk Postingan dan Halaman.

Pada saat itu, menambahkan peta situs ini ke file robots.txt Anda akan meningkatkan perayapan bot lebih cepat dan mudah.

Selain itu, terlepas dari ide pengoptimalan, sangat disarankan untuk tidak terlalu menyentuh atau mengedit file robots.txt. Ini karena terlalu banyak mengubah file dapat merusak struktur halaman Anda dan bot yang salah memberi tahu tentang mencegah perayapan situs Anda.

Jadi, kurang lebih. Anda hanya perlu fokus pada peta situs Anda dan membuat halaman teratas Anda ditemukan terlebih dahulu.

Tingkatkan Visibilitas Online Anda Sekarang!

Robots.txt adalah file penting yang memungkinkan Anda mengoptimalkan kuota perayapan secara strategis dan menyembunyikan konten pribadi dari pengindeksan pencarian.

Artikel ini telah menunjukkan kepada Anda apa itu file robots.txt, di mana menemukannya, serta cara mengedit file tersebut. Kami juga telah memberi Anda cara mengoptimalkan file robots.txt WordPress Anda untuk SEO. Masalahnya, semakin sedikit edisi di robots.txt, semakin baik. Dan jangan lupa untuk menambahkan peta situs khusus ke file untuk meningkatkan visibilitas halaman utama Anda.

Apa yang kamu tunggu? Tingkatkan visibilitas online Anda dengan file robot.txt sekarang!