Cara Mengoptimalkan Robots.txt WordPress Anda untuk SEO

Di blog ini, kita akan mempelajari beberapa tips bagaimana Anda dapat meningkatkan SEO situs web Anda dengan mengoptimalkan file robts.txt.

Sebenarnya, file Robots.txt berperan penting dalam hal SEO karena memberi tahu mesin pencari bahwa bagaimana situs web Anda dapat dirayapi. Inilah alasan mengapa file Robot.txt dianggap sebagai salah satu alat SEO yang paling kuat.

Nanti, Anda juga akan belajar bagaimana Anda dapat membangun dan mengoptimalkan Robots.txt WordPress untuk SEO.

Apakah yang Anda maksud: file robots.txt

File teks yang dibuat oleh pemilik situs web untuk memberi tahu bot mesin pencari bahwa bagaimana mereka dapat merayapi situs web mereka dan dapat mengindeks halaman dikenal sebagai Robots.txt

Sebenarnya, di direktori root, file ini disimpan. Direktori ini juga disebut folder utama situs web Anda. Disebutkan di bawah ini adalah format file untuk file robots.txt

 Agen-pengguna: [nama agen-pengguna]
Larang: [string URL tidak dirayapi]
Agen-pengguna: [nama agen-pengguna]
Izinkan: [string URL untuk dirayapi]
Peta Situs: [URL Peta Situs XML Anda]

Untuk mengizinkan atau melarang URL tertentu, Anda dapat memiliki baris instruksi yang berbeda. Plus Anda dapat menambahkan peta situs yang berbeda juga. Bot mesin pencari akan mempertimbangkan bahwa mereka diizinkan untuk merayapi halaman jika mengizinkan URL.
Contoh robots.txt diberikan di bawah ini

 Agen pengguna: *
Izinkan: /wp-content/uploads/
Larang: /wp-content/plugins/
Larang: /wp-admin/
Peta Situs: https://example.com/sitemap_index.xml

Dalam contoh yang diberikan di atas, kami telah mengizinkan untuk merayapi halaman oleh mesin pencari dan mendapatkannya file indeks di folder unggahan WordPress.

Setelah ini, kami tidak mengizinkan bot pencarian untuk merayapi dan mengindeks folder dan plugin admin WordPress.
Terakhir, kami telah menyebutkan URL peta situs XML.

Untuk situs WordPress Anda, apakah Anda memerlukan file Robots.txt?

Mesin pencari akan mulai merayapi dan mengindeks halaman Anda bahkan jika Anda tidak memiliki file teks yaitu Robots.txt. Namun sayangnya, Anda tidak dapat memberi tahu mesin pencari Anda folder atau halaman mana yang harus dirayapi.

Tidak akan untung atau tidak akan meninggalkan dampak apapun jika Anda baru saja membuat website atau blog dengan konten yang lebih sedikit.
Namun, setelah Anda menyiapkan situs web Anda dengan banyak konten dan ketika itu mulai berkembang maka Anda akan memerlukan kontrol atas halaman yang dirayapi dan diindeks dari situs web Anda.

Alasan pertama diberikan di bawah ini

Untuk setiap situs web, bot pencarian memiliki kuota perayapan.

Ini jelas berarti bahwa selama sesi perayapan, itu akan merayapi jumlah halaman tertentu. Misalkan perayapan di situs web Anda tetap tidak lengkap maka itu akan kembali sekali lagi dan akan melanjutkan perayapan di sesi lain.

Karena itu, tingkat pengindeksan situs web dari situs web Anda akan menjadi pertarungan.

Anda dapat memperbaiki masalah ini dengan tidak mengizinkan bot pencarian untuk tidak merayapi halaman yang tidak diperlukan. Beberapa halaman yang tidak penting mungkin termasuk file plugin, halaman admin WordPress, dan folder tema.

Kuota perayapan dapat disimpan dengan tidak mengizinkan laman yang tidak diinginkan untuk dirayapi. Langkah ini akan lebih membantu karena mesin pencari sekarang akan merayapi halaman situs web dan akan dapat mengindeksnya sesegera mungkin.

Alasan lain mengapa Anda harus menggunakan dan mengoptimalkan file Robots.txt WordPress diberikan di bawah ini

Kapan pun Anda perlu menghentikan mesin pencari dari mengindeks halaman atau posting di situs Anda, maka Anda dapat menggunakan file ini.

Sebenarnya, ini adalah salah satu cara yang paling tidak tepat untuk menutupi konten situs web Anda dari masyarakat umum tetapi itu akan terbukti sebagai dukungan terbaik untuk melindungi mereka agar muncul di hasil pencarian.

Bagaimana file Robots.txt muncul?

File robots.txt yang sangat sederhana digunakan oleh sebagian besar blog populer. Konten dapat berbeda dibandingkan dengan kebutuhan situs web tertentu.

 Agen pengguna: *
Melarang:
Peta Situs: http://www.example.com/post-sitemap.xml
Peta Situs: http://www.example.com/page-sitemap.xml
Semua bot akan diizinkan oleh file robots.txt untuk mengindeks setiap konten dan menawarkan tautan ke situs web peta situs XML.
Aturan berikut disebutkan yang perlu diikuti dalam file robots.txt

Agen pengguna: *
Izinkan: /wp-content/uploads/
Larang: /wp-content/plugins/
Larang: /wp-admin/
Larang: /readme.html
Larang: /refer/
Peta Situs: http://www.example.com/post-sitemap.xml
Peta Situs: http://www.example.com/page-sitemap.xml

Ini akan menunjukkan bot untuk mengindeks semua file dan gambar WordPress. Ini tidak akan mengizinkan bot pencarian mengindeks area admin WordPress, file plugin WordPress, tautan afiliasi, dan file readme WordPress.

Untuk file robots.txt, Anda dapat menambahkan peta situs yang akan membantu bot Google mengenali semua halaman di situs web Anda.

Sekarang Anda sudah mengetahui seperti apa file robots.txt, sekarang kita akan mempelajari bagaimana file robots.txt dapat dibuat di WordPress.

Di WordPress, bagaimana cara membuat file robots.txt?

Untuk membuat file robots.txt di WordPress ada banyak sekali cara. Beberapa metode teratas tercantum di bawah ini Anda dapat memilih salah satu dari mereka untuk bekerja paling baik untuk Anda.

Metode 1: Menggunakan All in One SEO, memodifikasi file Robots.txt

All in One SEO adalah plugin WordPress paling terkenal untuk SEO di pasar yang digunakan oleh lebih dari 1 juta situs web.

Plugin All in One SEO sangat mudah digunakan dan dengan demikian ia menawarkan generator file robotx.txt. Ini juga membantu untuk mengoptimalkan WordPress Robots.txt

Jika Anda belum mengintegrasikan plugin SEO ini, maka instal dan aktifkan terlebih dahulu dari dashboard WordPress. Versi gratis juga tersedia untuk pengguna pemula sehingga mereka dapat memanfaatkan fitur-fiturnya tanpa menginvestasikan uang.

Setelah mengaktifkan plugin, Anda dapat mulai menggunakannya untuk membangun atau memodifikasi file robots.txt dari area admin WordPress Anda secara langsung.

Untuk menggunakannya

• Pergi ke All in One SEO
• Sekarang untuk mengedit file robots.txt, klik pada alat
• Sekarang dengan mengklik 'aktifkan robots.txt khusus' Anda akan mengaktifkan opsi pengeditan
• Di WordPress, Anda juga dapat membuat file robots.txt khusus dengan sakelar ini.
• Sekarang file robots.txt Anda yang ada akan ditampilkan oleh 'plugin SEO All in One' di bagian 'pratinjau robots.txt'. Ini dapat dilihat di bagian bawah layar web Anda.

Oleh WordPress, aturan default yang ditambahkan akan ditampilkan oleh versi ini
Aturan default yang muncul menyarankan ke mesin pencari Anda bahwa mereka tidak perlu merayapi file inti WordPress, menawarkan tautan ke situs web peta situs XML, dan mengizinkan bot untuk mengindeks semua kontennya.

Untuk meningkatkan robots.txt Anda untuk SEO, aturan kustom baru dapat ditambahkan.

Tambahkan agen pengguna di bidang 'Agen Pengguna', untuk menambahkan aturan. Aturan akan diterapkan ke semua agen pengguna dengan menggunakan *.
Sekarang pilih apakah Anda ingin mengizinkan atau tidak mengizinkan mesin pencari merayapi halaman.

Sekarang tambahkan jalur direktori, nama file di bidang 'Jalur Direktori'.

Untuk robots.txt Anda, aturan akan diterapkan secara otomatis. Klik tombol 'tambah aturan' untuk menambahkan aturan baru.
Kecuali Anda membuat format robotx.txt yang ideal, kami sarankan Anda menambahkan aturan baru.

Aturan khusus yang ditambahkan oleh Anda akan terlihat seperti

Untuk menyimpan perubahan Anda jangan lewatkan untuk mengklik 'simpan perubahan'

Metode 2: Ubah file Robots.txt secara manual dengan bantuan FTP

Metode lain untuk mengoptimalkan WordPress Robots.txt adalah dengan memanfaatkan fitur klien FTP untuk mulai memodifikasi file robots.txt

Anda hanya perlu terhubung dengan akun hosting WordPress Anda dengan bantuan klien FTP

Setelah login, di folder root situs web, Anda akan dapat melihat file robots.txt.

Jika Anda tidak dapat menemukannya berarti Anda tidak memiliki file robots.txt

Dalam situasi seperti itu, Anda perlu membuat file robot.txt.

Seperti yang disebutkan sebelumnya, file robots.txt biasanya berupa file teks sederhana yang dapat diunduh di komputer Anda. Namun, Anda bahkan dapat memodifikasinya dengan bantuan editor teks biasa seperti TextEdit, Notepad, atau WordPad.

Setelah Anda melakukan semua perubahan sekarang saatnya untuk menyimpannya. Anda dapat mengunggah file ini ke folder root situs web Anda.

Bagaimana Anda dapat melakukan pengujian pada file Robots.txt Anda?

Anda dapat melakukan pengujian dengan bantuan alat penguji robots.txt.

Di web, Anda akan menemukan banyak alat penguji robots.txt. Salah satu yang terbaik adalah Google Search Console.
Untuk bekerja dengan alat ini, Anda harus terlebih dahulu memiliki situs web yang terhubung dengan konsol pencarian Google. Setelah ini, Anda dapat mulai memanfaatkan fitur-fiturnya.

Dari daftar drop-down, Anda hanya perlu memilih properti Anda.

Namun, itu akan memilih file robots.txt dari situs web Anda secara otomatis dan akan menyoroti semua peringatan dan kesalahan. Ini adalah salah satu alat terbaik yang membantu Anda mengoptimalkan file Robots.txt WordPress dengan sangat mudah.

Kesimpulan:
Moto utama dari mengoptimalkan file robots.txt ini adalah untuk melindungi halaman dari crawling halaman. Misalnya halaman di folder admin WordPress atau halaman di folder wp-plugin.

Mitos yang paling umum adalah Anda dapat meningkatkan tingkat perayapan dan membuatnya lebih cepat diindeks dan mendapatkan peringkat yang lebih tinggi dengan memblokir kategori WordPress, mencapai halaman, dan tag.

Tapi ini tidak akan berhasil karena akan salah sesuai dengan pedoman webmaster Google.

Kami sangat menyarankan Anda membaca dan mempertimbangkan semua poin yang disebutkan di atas.

Kami berharap blog ini akan membantu Anda membuat file robots.txt menggunakan format yang tepat untuk situs web Anda. Dan itu akan membantu Anda mengoptimalkan WordPress Robots.txt.