Bagaimana cara mengoptimalkan Robots.txt WordPress dengan mudah?

Perkenalan

Ada banyak teknik untuk meningkatkan SEO situs web Anda. Mengoptimalkan Robots.txt WordPress adalah salah satu metode terbaik. Karena memungkinkan mesin telusur memindai situs web Anda, file Robots.txt dikenal sebagai alat SEO yang ampuh. Hasilnya, Anda dapat dengan bebas meningkatkan SEO situs Anda dengan mengutak-atik file Robots.txt. Kami akan dengan jelas memperkenalkan beberapa pendekatan untuk mengoptimalkan Robots.txt WordPress pada topik ini di posting blog ini hari ini.

Definisi file Robots.txt

Di bawah ini adalah ringkasan file Robots.txt WordPress.

Sekarang mari kita lihat struktur dasar file Robot.txt:

Izinkan kami menentukan istilah yang digunakan dalam file Robots.txt untuk Anda:

• Agen-pengguna: Nama perayap
• Larang: Mencegah halaman, folder, atau file situs web dirayapi.
• Izinkan: mengaktifkan perayapan direktori, file, dan halaman
• Peta Situs, jika tersedia: Tunjukkan lokasi peta situs: mewakili angka atau huruf.
• * : Singkatan dari angka atau karakter
• $: Anda dapat menggunakannya untuk membatasi halaman web yang menyertakan ekstensi tertentu dengan berdiri hingga akhir baris.

Mari kita lihat ilustrasi berikut untuk membantu Anda memahaminya:

Kami mengizinkan mesin telusur untuk merayapi file di folder unggahan WordPress dalam contoh Robot.txt.

Namun, kami membatasi akses mesin telusur ke folder login, kartu, dan foto.

Terakhir, kami menyediakannya dengan URL peta situs.

Mengapa file Robots.txt harus dibuat untuk situs web WordPress Anda?

Tanpa file Robots.txt, mesin pencari akan tetap merayapi dan mengindeks setiap halaman situs web. Namun demikian, mereka akan merayapi semua materi di situs web Anda, bukan hanya folder atau halaman yang Anda tentukan.

Anda harus membuat file Robots.txt untuk situs web Anda karena dua alasan utama. Pertama-tama, Anda dapat dengan mudah mengelola semua informasi di situs web Anda dengan bantuannya. Apakah halaman atau direktori harus dirayapi atau diindeks terserah Anda. Artinya halaman seperti file plugin, halaman admin, atau direktori tema tidak akan dirayapi oleh mesin pencari. Akibatnya, ini akan membantu kecepatan memuat indeks situs web Anda.

Persyaratan untuk mencegah posting atau halaman yang tidak dibutuhkan diindeks oleh mesin pencari adalah pembenaran lainnya. Oleh karena itu, Anda dapat dengan mudah dan nyaman mencegah halaman atau postingan WordPress muncul di hasil pencarian.

Cara mengoptimalkan Robots.txt WordPress lebih efisien

Di blog instruksional ini, kami akan menunjukkan cara membuat dan meningkatkan file Robots.txt di situs WordPress Anda menggunakan dua metode berbeda:

• Membuat perubahan pada file Robots.txt menggunakan plugin: All in One SEO
• Mengedit file Robots.txt secara manual dengan FTP

Agar file Robots.txt lebih efektif, gunakan plugin All in One SEO.

Beberapa Plugin SEO WordPress tersedia untuk membantu Anda mengatasi masalah ini di pasar WordPress. Namun dalam artikel ini, kami memilih untuk menggunakan All in One SEO, plugin populer dengan lebih dari 2 juta pengguna, untuk membantu Anda.

Mari kita instal terlebih dahulu dengan memilih Plugins -> Add New . kemudian cari nama plugin, instal , lalu aktifkan .

Anda akan kembali ke dashboard admin setelah menyelesaikan beberapa langkah mudah. Buka Semua dalam satu SEO -> Alat sekarang.

Mari alihkan tombol Enable Custome Robots.txt di bagian Editor Robots.txt untuk membuatnya aktif. Setelah menyalakannya, Anda dapat mengedit file Robots.txt default di WordPress.

Saat kami menggulir ke bawah, Anda akan melihat bahwa plugin ini menampilkan kotak dengan pratinjau file Robots.txt. Ini adalah aturan default WordPress.

Dengan memilih tombol Tambahkan Aturan , Anda dapat menambahkan lebih banyak aturan spesifik Anda sendiri untuk membantu SEO situs web Anda.

Mari masukkan * di kolom User-Agent untuk menerapkan aturan ke semua agen pengguna untuk menambahkan aturan baru.

Anda hanya perlu memilih Izinkan atau Larang agar bot pencarian merayapi tahap berikutnya.

Jangan lupa untuk memasukkan nama file atau path direktori di kolom Directory Path setelah itu.

Setelah selesai dengan semua preferensi Anda, mari tekan tombol Simpan Perubahan .

Semua aturan tambahan yang telah Anda tambahkan sekarang akan langsung diterapkan ke file Robots.txt.

Modifikasi dan optimalkan Robots.txt WordPress secara manual menggunakan FTP

Ini adalah pendekatan berbeda untuk pengoptimalan Robots.txt WordPress yang mungkin Anda nikmati. Anda harus mengedit file Robots.txt menggunakan klien FTP untuk melakukannya.

Untuk memanfaatkan klien FPT dengan nyaman, pertama-tama mari buat koneksi ke akun hosting WordPress Anda. Anda dapat dengan mudah melihat file Robots.txt di folder root situs Anda saat Anda mengaksesnya. Mari pilih View/Edit dengan mengklik dengan tombol kanan mouse.

Di sisi lain, Anda mungkin tidak memiliki apa pun jika Anda tidak dapat menemukannya. Jadi pertama-tama mari buat file Robots.txt untuk situs web Anda dengan memilih Buat file baru dengan tombol kanan mouse.

File Robots.txt adalah file teks biasa, sehingga Anda dapat mengunduhnya dan mengeditnya menggunakan editor teks biasa seperti Notepad atau TextEdit, dan lainnya. Anda hanya perlu mengunggahnya kembali ke folder root situs web Anda setelah itu. Sepertinya mudah, bukan begitu?

Pastikan file Robots.txt situs WordPress Anda berfungsi.

File Robots.txt Anda harus diuji setelah Anda menyiapkan dan mengonfigurasinya sehingga setiap masalah dapat diidentifikasi dan dilaporkan. Akibatnya, Anda harus mengujinya menggunakan alat penguji Robots.txt. Coba Google Search Console, karena kami sangat merekomendasikannya.

Anda harus memastikan bahwa situs web Anda ditautkan ke Google Search Console jika ingin menggunakan layanan ini. Anda kemudian dapat menggunakan Alat Pengujian Robot dengan memilih properti dari daftar pilihan. File Robots.txt untuk situs web Anda sekarang akan ditambahkan secara otomatis. Ini akan mengingatkan Anda jika ada kesalahan.

Kesimpulan

Secara keseluruhan, tujuan utama pengoptimalan file Robots.txt adalah untuk menghentikan bot pencarian mengakses halaman yang tidak diperlukan untuk masyarakat umum, termasuk folder plugin atau folder admin. Akibatnya, memblokir tag, kategori, atau halaman arsip WordPress tidak akan membantu SEO Anda. Dengan kata lain, untuk membuat file Robots.txt yang sempurna untuk situs WordPress Anda, Anda harus mengikuti pola di bawah ini.

Kami harap posting blog hari ini bermanfaat untuk mengoptimalkan Robots.txt WordPress. Ingatlah untuk meneruskannya ke kenalan Anda dan webmaster lainnya. Juga, silakan tinggalkan komentar di bawah ini jika Anda memiliki pertanyaan. Dengan demikian, kami akan merespon Anda secepat kami bisa. Saatnya Anda mengoptimalkan Robots.txt WordPress. Sampai blog masa depan, hati-hati.

Omong-omong, kami memiliki banyak sekali tema WordPress kontemporer, menarik, dan gratis yang sepenuhnya mendukung fitur bermanfaat ini. Mari kita lihat mereka dan minta salah satu dari mereka untuk mendesain ulang situs web Anda