Cara Mengoptimalkan Robots.txt WordPress Anda untuk SEO Menggunakan Yoast SEO

Pengoptimalan mesin pencari (SEO) adalah bagian penting dalam membangun situs web yang efektif, dan salah satu faktor terpenting dalam mencapai kesuksesan SEO adalah menggunakan alat yang tepat untuk mengoptimalkan situs Anda. Salah satu alat tersebut adalah file Robots.txt, yang mengontrol cara crawler mesin pencari mengakses dan mengindeks konten Anda.

Mengoptimalkan file Robots.txt WordPress Anda dapat membantu Anda mencapai peringkat mesin pencari yang lebih baik, meningkatkan visibilitas situs web Anda, dan meningkatkan lalu lintas Anda.

Namun, meskipun penting, banyak pemilik situs web yang tidak mengetahui cara mengonfigurasi file Robots.txt dengan benar. Dalam postingan blog ini, kami akan memandu Anda melalui semua yang perlu Anda ketahui untuk menguasai Robots.txt WordPress untuk SEO dan membuka potensi penuh SEO untuk situs web Anda.

Memahami peran robots.txt dalam SEO

Memahami fungsi file robots.txt dalam optimasi mesin pencari sangat penting untuk mendapatkan hasil maksimal dari upaya optimasi situs WordPress Anda dan menghasilkan hasil terbaik. File teks bernama Robots.txt, yang juga dapat disebut sebagai Protokol Pengecualian Robot, memberikan instruksi kepada perayap mesin telusur di area mana di situs web Anda yang harus dirayapi dan diindeks.

Saat bot dari mesin telusur mengunjungi situs web Anda, hal pertama yang mereka lakukan adalah memeriksa direktori root untuk mencari file bernama robots.txt. File ini berfungsi sebagai panduan bagi bot, memberi saran kepada mereka tentang situs dan file yang boleh mereka kunjungi dan juga yang tidak boleh dikunjungi.

Anda memiliki kendali penuh atas materi yang ditampilkan ke mesin telusur dan hal-hal yang disembunyikan darinya jika Anda mengonfigurasi file robots.txt dengan benar.

Efektivitas pemindaian situs web Anda terutama harus ditingkatkan dengan menggunakan file robots.txt. Ini membantu bot mesin pencari berkonsentrasi pada perayapan dan pengindeksan bagian paling penting dari situs web Anda, sehingga menghindari pemborosan sumber daya di situs yang tidak penting atau materi sensitif yang tidak boleh tersedia untuk masyarakat umum.

Apa Sebenarnya File Robots.txt Itu?

File teks sederhana yang dikenal sebagai Robots.txt mengarahkan perayap web yang digunakan oleh mesin pencari ke halaman web tertentu di situs Anda. Selain itu, ini menginstruksikan robot untuk tidak merayapi situs tertentu.

Penting bagi Anda untuk memahami cara kerja mesin pencari sebelum melanjutkan dengan analisis mendalam artikel ini.
Perayapan, pengindeksan, dan pemeringkatan adalah tiga aktivitas utama yang dilakukan oleh mesin pencari.

Hal pertama yang dilakukan mesin pencari adalah mengirimkan perayap web mereka, yang juga dikenal sebagai laba-laba atau bot, ke seluruh World Wide Web. Program-program ini, yang dikenal sebagai bot, adalah perangkat lunak cerdas yang merayapi seluruh web untuk mencari koneksi, halaman, dan situs web baru. Perayapan adalah istilah yang diberikan untuk proses pencarian melalui konten di web.

Halaman situs web Anda akan diatur ke dalam struktur data yang dapat digunakan setelah bot menemukannya. Pengindeksan adalah nama yang diberikan untuk prosedur ini.

Dan pada akhirnya, semuanya bermuara pada peringkat. Saat pengguna memasukkan permintaan pencarian, mesin pencari harus menawarkan informasi terbaik dan paling relevan kepada pengguna yang dapat ditemukan bergantung pada apa yang dicari pengguna.

Bagaimana Tampilan File Robots.txt?

File robots.txt adalah komponen penting dari struktur dan fungsi situs web, namun pernahkah Anda bertanya-tanya bagaimana sebenarnya tampilannya?

File ini berlaku untuk semua robot mesin pencari yang mengunjungi situs web, seperti yang ditunjukkan oleh tanda bintang di belakang Agen-pengguna. Setiap mesin pencari menggunakan agen pengguna yang berbeda untuk menjelajahi internet.

Misalnya, Google menggunakan Googlebot untuk mengindeks konten situs web Anda untuk pencarian Google. Jumlah agen pengguna ini mencapai ratusan. Instruksi khusus dapat dikonfigurasi untuk setiap agen pengguna. Misalnya, baris pertama file robots.txt Anda seharusnya adalah, “Jika Anda ingin menetapkan instruksi khusus untuk Googlebot, itu akan dikenal sebagai Agen-pengguna: Googlebot.

Apa sebenarnya anggaran Perayapan itu?

Anggaran perayapan mengacu pada jumlah halaman yang ingin dirayapi mesin pencari di situs web dalam jangka waktu tertentu. Hal ini ditentukan oleh berbagai faktor seperti otoritas situs web, popularitas, dan kapasitas server untuk menangani permintaan perayapan. Selain itu, Anda harus memastikan bahwa anggaran perayapan digunakan seefisien mungkin untuk situs web Anda.

Halaman terpenting Anda tentunya harus dirayapi oleh bot terlebih dahulu jika website Anda memiliki beberapa halaman. Oleh karena itu, sangat penting bagi Anda untuk menyatakan hal ini secara spesifik di file robots.txt Anda.

Bagaimana cara mencari dan mengedit file robots.txt di WordPress?

Menemukan dan mengedit file robots.txt di WordPress adalah langkah penting dalam mengoptimalkan situs Anda untuk mesin pencari. Dengan mengonfigurasi file ini dengan benar, Anda dapat mengontrol bagian mana dari situs Anda yang dapat diakses oleh crawler mesin pencari, memastikan bahwa crawler tersebut fokus pada halaman dan konten yang paling penting.

Untuk mencari dan mengedit file robots.txt di WordPress, ikuti langkah-langkah sederhana ini:

1. Masuk ke dashboard WordPress Anda.
2. Navigasikan ke tab “Pengaturan” di menu sebelah kiri.
3. Klik “Membaca” untuk mengakses pengaturan membaca.
4. Gulir ke bawah hingga Anda menemukan bagian “Visibilitas Mesin Pencari”.
5. Di sini, Anda akan melihat opsi yang bertuliskan “Hindari mesin pencari mengindeks situs ini.” Pastikan opsi ini tidak dicentang, karena ini akan menghasilkan file robots.txt dasar yang membatasi akses mesin pencari ke seluruh situs Anda.
6. Jika Anda ingin menyesuaikan file robots.txt lebih lanjut, Anda dapat melakukannya dengan mengakses direktori root situs web Anda. Ini biasanya dapat dilakukan melalui klien FTP atau pengelola file cPanel.
7. Setelah Anda menemukan direktori root, cari file bernama “robots.txt”.
8. Unduh salinan file robots.txt yang ada ke komputer Anda sebagai cadangan, jika terjadi masalah saat mengedit.
9. Buka file robots.txt menggunakan editor teks.
10. Sesuaikan file sesuai kebutuhan Anda. Anda dapat menambahkan arahan khusus untuk mengizinkan atau melarang akses ke area tertentu di situs Anda. Misalnya, Anda dapat mencegah mesin telusur merayapi area admin Anda dengan menambahkan baris berikut:
1. Larang: /wp-admin/
11. Simpan perubahan pada file robots.txt dan unggah kembali ke direktori root website Anda, menggantikan versi sebelumnya.
12. Terakhir, uji file robots.txt Anda menggunakan alat pengujian robots.txt Google atau alat serupa lainnya untuk memastikannya dikonfigurasi dengan benar.

Mengontrol bagaimana crawler mesin pencari berinteraksi dengan situs web Anda dapat dilakukan di WordPress dengan mengidentifikasi dan memodifikasi file robots.txt di lokasi yang tepat. Ini akan memungkinkan Anda mendapatkan hasil terbaik dalam hal visibilitas dan peringkat situs web Anda. Jika Anda menginvestasikan waktu untuk mempelajari dan menjadi ahli dalam aspek optimasi mesin pencari (SEO), Anda akan segera membuka kesuksesan untuk situs WordPress Anda.

Bagaimana Cara Membuat File Robots.txt di WordPress?

Mari kita lanjutkan dan membuat Robots.txt WordPress untuk SEO setelah kita membahas apa itu file robots.txt dan mengapa itu sangat penting. WordPress memberi Anda dua opsi berbeda untuk membuat file robots.txt. Metode pertama melibatkan penggunaan plugin WordPress, sedangkan metode kedua melibatkan pengunggahan file secara manual ke folder root situs web Anda.

Langkah 1: Ini menggunakan plugin Yoast SEO untuk membuat file Robots.txt

Anda dapat menggunakan plugin SEO untuk membantu Anda mengoptimalkan situs web Anda yang dibangun di WordPress. Mayoritas plugin ini menyediakan pembuat file robots.txt sendiri di dalam paket instalasinya.

Pertama, unduh dan instal Plugin.

Arahkan ke menu Plugin dan klik “Tambah Baru.” Langkah selanjutnya cari plugin Yoast SEO, download, dan aktifkan jika Anda belum memilikinya.

Buat file robots.txt sebagai langkah kedua

Buat file robots txt menggunakan Yoast

Anda akan melihat file dibuat dengan beberapa arahan default.

Generator file robots.txt untuk Yoast SEO akan secara otomatis menyertakan arahan berikut:

Agen pengguna: * Larang: /wp-admin/ Izinkan: /wp-admin/admin-ajax.php

Tambahkan instruksi tambahan ke robots.txt. Setelah mengedit robots.txt, klik Simpan.

Masukkan nama domain Anda dan '/robots.txt.' File robots.txt Anda selesai jika browser menampilkan arahan default, seperti yang terlihat di bawah.
file robots txt yang dihasilkan

Kami juga menyarankan Anda menambahkan URL peta situs di robots.txt Anda.

File robot txt bawaan
Setelah plugin diaktifkan, buka Yoast SEO > Tools dan pilih File editor dari menu drop-down. Lanjutkan untuk mengisi nama domain Anda, lalu ikuti dengan '/robots.txt.' Jika Anda melihat di browser, Anda akan melihat beberapa arahan default ditampilkan.

Langkah 2: Menggunakan FTP untuk Membuat File Robots.txt Secara Manual

• Membuat file robots.txt di komputer lokal Anda dan kemudian mengunggahnya ke folder root situs WordPress Anda adalah langkah selanjutnya dalam proses ini.
• Selain itu, Anda memerlukan akses ke hosting WordPress Anda melalui penggunaan program FTP seperti Filezilla. Jika Anda belum memiliki kredensial yang diperlukan untuk masuk, kredensial tersebut akan dapat diakses oleh Anda melalui panel kontrol layanan hosting Anda. Oleh karena itu, Anda dapat memeriksa untuk memverifikasi apakah file robots.txt ada di folder root situs web Anda setelah masuk dengan program FTP Anda.



• Klik kanan file tersebut dan pilih edit jika ada.

Oleh karena itu, ketika Anda telah berhasil masuk dengan klien FTP Anda, Anda akan dapat memeriksa apakah file robots.txt ada di folder root situs web Anda. Memasukkan nama domain Anda diikuti dengan '/robots.txt' adalah cara terbaik untuk menentukan apakah file Anda berhasil diunggah atau tidak.

Setelah melakukan perubahan, klik “Simpan.”

Anda harus membuat file jika belum ada. Salah satunya dapat dilakukan dengan menambahkan arahan ke file menggunakan editor teks dasar seperti Notepad. Seperti

Agen pengguna: * Larang: /wp-admin/ Izinkan: /wp-admin/admin-ajax.php

Klik 'Unggah File' di klien FTP Anda untuk mengunggah file ke folder akar situs web.

Ketik nama domain Anda dan “/robots.txt” untuk melihat apakah file Anda telah berhasil diunggah.

Ini dia cara upload file robots.txt secara manual ke website WordPress Anda!

Robots.txt: Mengetahui kelebihan dan kekurangannya

Manfaat menggunakan file robots.txt

Ini menginstruksikan mesin pencari untuk tidak menghabiskan waktu di situs yang tidak ingin Anda indeks, yang membantu mengoptimalkan anggaran perayapan mesin pencari. Dengan melakukan hal ini, Anda meningkatkan kemungkinan mesin telusur merayapi situs-situs yang paling penting bagi Anda.

Memblokir bot yang menyebabkan sumber daya server web Anda terbuang sia-sia dengan cara ini berkontribusi pada optimalisasi server.
Berguna untuk menyembunyikan halaman terima kasih, halaman arahan, halaman login, dan halaman lain yang tidak perlu diindeks oleh mesin pencari.

Aspek negatif dari file robots.txt

Anda sekarang dapat melihat file robots.txt di situs web mana pun menggunakan informasi yang disediakan di sini. Tidak terlalu sulit untuk memahaminya. Cukup ketik nama domain, diikuti dengan “/robots.txt,” dan tekan enter.

Namun, ada bahaya yang terlibat dalam hal ini sampai tingkat tertentu. Ada kemungkinan file Robots.txt untuk SEO WordPress berisi URL ke beberapa halaman internal situs web Anda yang tidak ingin Anda indeks oleh mesin pencari.

Misalnya, mungkin ada halaman login yang tidak ingin Anda indeks karena alasan apa pun. Namun, fakta bahwa hal itu disebutkan dalam file robots.txt memungkinkan penyerang melihat situs web tersebut. Jika Anda mencoba menyembunyikan informasi sensitif tertentu, hal yang sama juga berlaku.

Bahkan jika Anda membuat satu kesalahan ketik saat menulis file robots.txt, semua upaya optimasi mesin pencari (SEO) Anda akan gagal. Hal ini berlaku meskipun file tersebut mudah dibuat.

Dimana Meletakkan File Robots.txt
Misalkan saat ini Anda sudah familiar dengan lokasi di mana file robots.txt harus disisipkan.

File robots.txt situs web Anda harus selalu berada di direktori akar situs web. URL file robots.txt di situs web Anda adalah https://domainanda.com/robots.txt jika nama domain Anda adalah domainanda.com.

Selain menempatkan file robots.txt di direktori root situs web Anda, berikut adalah beberapa praktik lain yang disarankan untuk dipatuhi:

• Sangat penting untuk memberi nama file Anda robots.txt.
• Penting untuk menggunakan huruf kapital pada nama. Oleh karena itu, Anda perlu mendapatkannya dengan benar, jika tidak maka tidak akan berfungsi.
• Setiap instruksi perlu ditempatkan pada baris terpisah.
• Jika URL sudah lengkap, URL tersebut harus ditandai dengan tanda “$”.
• Hanya satu instance dari setiap agen pengguna yang boleh digunakan.
• Untuk memberikan penjelasan kepada manusia tentang isi file robots.txt Anda, gunakan komentar dengan mengawali setiap baris dengan hash (#).

Menguji dan memvalidasi file robots.txt Anda

Menguji dan memvalidasi file robots.txt adalah langkah penting untuk memastikan mesin telusur merayapi dan mengindeks situs web Anda dengan benar. File robots.txt yang dioptimalkan dengan baik dapat mencegah mesin pencari mengakses halaman sensitif atau tidak relevan, meningkatkan efisiensi perayapan, dan pada akhirnya meningkatkan kinerja situs web Anda secara keseluruhan.

Untuk mulai menguji file robots.txt, Anda dapat menggunakan berbagai alat online yang dirancang khusus untuk tujuan ini. Alat ini memungkinkan Anda memasukkan perintah robots.txt dan menyimulasikan cara mesin telusur menafsirkan dan mengikutinya.

Dengan menganalisis hasilnya, Anda dapat mengidentifikasi potensi masalah atau kesalahan konfigurasi pada file Anda. Memantau dan memperbarui file robots.txt Anda secara teratur sangatlah penting, terutama saat membuat perubahan pada struktur atau konten situs web Anda.

Dengan tetap waspada, Anda dapat dengan cepat mengidentifikasi dan memperbaiki masalah apa pun yang mungkin timbul. Pendekatan yang cermat ini pada akhirnya akan berkontribusi pada persepsi, pengindeksan, dan kesuksesan situs web Anda secara keseluruhan dalam lanskap digital.

Alat yang kami sarankan di sini adalah Google Search Console

Anda dapat menambahkan situs web Anda ke Google Search Console dengan membuka tautan 'Tambahkan properti sekarang' dan mengikuti petunjuk sederhana di layar yang muncul. Setelah Anda selesai, menu tarik-turun berlabel “Silakan pilih properti” akan menyertakan situs web Anda di antara opsi.

Setelah memilih situs web, alat tersebut akan secara otomatis mendapatkan file robots.txt yang terkait dengan situs web Anda dan menyoroti kesalahan atau peringatan apa pun, jika ada.

Apakah File Robots.txt Diperlukan untuk Situs WordPress Anda?

Memang website WordPress Anda memang membutuhkan file robots.txt. Meskipun website Anda belum memiliki file robots.txt, mesin pencari tetap akan meng-crawl dan mengindeksnya. Sekarang kita telah membahas tujuan, cara kerja, dan anggaran perayapan robots.txt, mengapa Anda ingin menghilangkan salah satunya?

Mesin pencari dilatih apa yang harus dirayapi dan, yang lebih penting, apa yang tidak boleh dirayapi melalui file robots.txt.

Mengingat konsekuensi negatif dari anggaran perayapan adalah salah satu alasan utama untuk menambahkan robots.txt.

Seperti yang dikatakan sebelumnya, setiap situs web memiliki anggaran perayapan. Semuanya tergantung pada berapa banyak situs yang dikunjungi bot dalam satu sesi. Bot akan kembali dan melanjutkan crawlingnya pada sesi berikutnya jika tidak menyelesaikan seluruh halaman website Anda pada sesi tersebut.
Selain itu, ini menurunkan kecepatan pengindeksan situs web Anda.

Anda dapat menghemat kuota perayapan dengan segera memperbaikinya dengan mencegah bot pencarian memindai aset media, direktori tema, plugin, dan situs asing.

Kata-kata terakhir
Kami memprioritaskan optimasi konten, riset kata kunci, membangun backlink, membuat peta situs.xml, dan tugas terkait SEO lainnya saat mengerjakan situs web Anda. WordPress Robots.txt untuk SEO salah satu aspek yang diabaikan oleh beberapa webmaster.

File robots.txt mungkin tidak terlalu penting saat website Anda pertama kali diluncurkan. Meskipun demikian, ketika situs web Anda menjadi lebih besar dan memiliki lebih banyak halaman, akan ada manfaatnya jika kita mulai menggunakan file robots.txt yang direkomendasikan.