Cara Mengedit robots.txt di WordPress (dengan dan tanpa Plugin)

Apakah Anda mencari cara paling efektif untuk mengedit robots.txt di WordPress ? Mereka sangat penting jika Anda ingin agar perayap mesin telusur mengetahui halaman dan bagian situs web Anda yang harus dirayapi dan diindeks.

Meskipun WordPress menghasilkan file robots.txt untuk situs web Anda secara default, Anda mungkin masih perlu mengubahnya untuk mengelola apa yang dapat dilihat oleh mesin telusur. Jika Anda tidak terbiasa dengan robots.txt, jangan khawatir. Kami akan menjelaskan apa itu robots.txt dan mengapa penting untuk mengeditnya, beserta berbagai cara untuk mengeditnya di situs WordPress Anda dengan tutorial ini.

Jadi, mari selami untuk memahami apa itu robots.txt.

Apa itu Robots.txt?

Robots.txt adalah file teks biasa di direktori root situs web Anda yang berisi petunjuk untuk robot web atau bot tentang halaman atau area mana di situs Anda yang harus dirayapi dan diindeks . File tersebut memberi tahu mesin telusur apakah halaman atau bagian harus diindeks atau tidak berdasarkan peraturan khusus situs web.

Misalnya, perayap web seperti perayap web Google memeriksa situs web secara teratur untuk memperbarui indeks halaman mereka. Perayap web dari Google ini, juga dikenal sebagai Googlebot, ikuti petunjuk yang tercantum dalam file robots.txt untuk memeriksa situs web.

Tujuan utama file robots.txt adalah untuk membantu webmaster dalam mengontrol informasi yang dapat diakses oleh mesin telusur di situs mereka. Anda dapat menggunakan file tersebut untuk mencegah bot mengakses situs atau direktori tertentu. Namun perlu diingat bahwa beberapa bot selain Googlebot dan perayap web terkenal lainnya mungkin tidak mengikuti pedoman dalam file.

Mengapa Anda Harus Mengedit File Robots.txt?

Ada beberapa manfaat mengedit file robots.txt Anda di WordPress. Berikut adalah beberapa pertimbangan:

• Blokir bot yang tidak diinginkan: Beberapa bot mungkin tidak bermanfaat untuk situs web Anda atau mungkin menghabiskan sumber daya berharga di server Anda. Ini dapat mengakibatkan waktu pemuatan situs web yang lambat dan menurunkan kinerja situs Anda. Jadi, mengedit file robots.txt dapat membantu Anda memblokir bot yang tidak diinginkan agar tidak merayapi situs Anda dan meningkatkan kecepatan situs web Anda secara keseluruhan.
• Lindungi informasi sensitif: Halaman tertentu di situs web Anda mungkin berisi informasi sensitif yang tidak ingin diindeks oleh mesin telusur. Ini mungkin termasuk data pribadi, informasi bisnis rahasia, konten yang dilindungi kata sandi, atau bahkan konten terkait hukum atau kepatuhan.
  Anda dapat mencegah agar laman ini tidak dirayapi dan diindeks dengan mengedit file robots.txt Anda. Ini bahkan akan membantu melindungi privasi dan keamanan situs web Anda.
• Arahkan bot ke halaman tertentu : Anda juga dapat menggunakan robots.txt untuk mengarahkan bot ke halaman tertentu di situs web Anda yang ingin dirayapi dan diindeks oleh mesin telusur. Ini memungkinkan Anda untuk memprioritaskan halaman yang ingin Anda rangking lebih tinggi dalam hasil mesin pencari.
• Cegah pengindeksan konten duplikat: Anda mungkin memiliki halaman di situs web Anda dengan konten serupa, seperti halaman kategori atau tag. Jika demikian, Anda dapat menggunakan file robots.txt untuk mencegah bot mesin telusur mengindeksnya. Ini dapat membantu menghindari masalah duplikat konten yang berdampak negatif pada peringkat mesin pencari situs web Anda.

Sekarang setelah Anda memahami apa itu file robots.txt dan mengapa itu penting, mari lanjutkan ke bagian berikutnya, di mana kami akan menunjukkan cara menyesuaikannya.

Cara Mengedit Robots.txt di WordPress

Anda dapat mengedit file robots.txt dengan 3 cara utama di WordPress:

1. Menggunakan klien FTP
2. cPanel
3. Dengan plugin

Kami akan membahas masing-masing pendekatan ini secara rinci. Tetapi jika Anda menggunakan klien FTP atau pendekatan cPanel , Anda harus membuat file robots.txt secara manual terlebih dahulu.

WordPress membuat file robots.txt virtual secara default saat Anda meluncurkan situs. Itu dapat diakses dengan menambahkan jalur " /robots.txt " di akhir domain Anda.

Misalnya, Anda dapat mengakses file robots.txt dari QuadLayers menggunakan tautan: “https://quadlayers.com/robots.txt”.

Namun, kami tidak menggunakan file robots.txt default. Itu telah diedit untuk memenuhi kebutuhan spesifik QuadLayers. Tetapi file robots.txt default yang dibuat oleh WordPress hanya menyertakan informasi berikut:

 Agen pengguna: *
Dilarang: /wp-admin/
Izinkan: /wp-admin/admin-ajax.php

Sayangnya, Anda tidak dapat mengedit file ini karena ini virtual . Untuk mengedit file robots.txt dari situs WordPress Anda, Anda harus membuatnya secara manual.

Untuk melakukannya, Anda dapat menggunakan editor teks apa pun untuk membuat file kosong dan menyimpan file tersebut sebagai " robots.txt ."

Alternatifnya, jika ingin menggunakan plugin SEO untuk mengedit file, bisa dilakukan secara otomatis melalui plugin tersebut. Kita akan mempelajarinya nanti dalam panduan ini.

Meskipun demikian, file robots.txt Anda harus berisi informasi yang sama apa pun pendekatan yang Anda gunakan. Jadi mari kita lihat juga apa saja yang harus disertakan dalam file robots.txt.

Apa yang Harus Disertakan dalam file Robots.txt?

Untuk memastikan bahwa mesin telusur mengindeks situs web Anda dengan benar, berikut beberapa perintah atau arahan kode yang dapat Anda sertakan dalam file robots.txt:

• Agen-pengguna: Ini mengidentifikasi mesin telusur atau bot tempat instruksi berlaku. Anda dapat menyertakan satu atau beberapa agen pengguna di file robots.txt, bergantung pada bot yang ingin Anda kontrol. Misalnya, “User-agent: Googlebot” mengacu pada perayap web Google.
• Larang: Direktif ini memberi tahu bot halaman atau direktori mana yang tidak boleh dirayapi atau diindeks oleh bot mesin pencari. Anda dapat menentukan halaman individual atau seluruh direktori. Misalnya, “Larang: /wp-admin/” akan memblokir semua bot dari merayapi halaman dalam direktori admin WordPress.
• Peta Situs: Arahan ini memberi tahu bot tempat menemukan file peta situs situs web Anda. File peta situs mencantumkan semua halaman di situs Anda yang ingin diindeks oleh mesin telusur.

Anda juga dapat menggunakan arahan “ izinkan ” di file robots.txt. Ini memberi tahu bot halaman atau direktori mana yang harus dirayapi atau diindeks. Namun, ingatlah bahwa itu opsional dan harus digunakan hanya jika diperlukan.

Berikut adalah contoh file robots.txt dasar:

 Agen pengguna: *
Dilarang: /wp-admin/
Larang: /wp-includes/
Peta situs: https://www.example.com/sitemap.xml

Dalam contoh ini, agen-pengguna disetel ke "*", yang berarti instruksi berlaku untuk semua bot. Direktif "disallow" memblokir bot agar tidak merayapi admin WordPress dan direktori "wp-include". Demikian pula, direktif peta situs menentukan lokasi file peta situs.

Sekarang setelah Anda memiliki pemahaman dasar tentang apa yang harus disertakan dalam file robots.txt, Anda dapat menambahkan semua halaman web yang tidak ingin dirayapi atau diindeks oleh bot. Terakhir, simpan file tersebut.

1) Edit Robots.txt menggunakan Klien FTP

Untuk mengedit robots.txt di WordPress menggunakan klien FTP, Anda harus menginstal klien FTP dan menghubungkan situs web Anda. Ada banyak klien FTP seperti FileZilla dan Cyberduck yang bisa Anda gunakan untuk metode ini. Tapi kami akan menggunakan FileZilla untuk tutorial ini.

1.1) Hubungkan Situs WordPress Anda ke FTP

Setelah Anda menginstal klien FTP, buka aplikasi dan buka File > Site Manager . Anda juga dapat membuka pengelola situs dengan menekan Ctrl+S di keyboard.

Kemudian, klik Situs Baru dan masukkan nama situs web Anda di bawah Situs Saya .

Sekarang, buka tab Umum dan masukkan kredensial situs Anda. Anda bisa mendapatkan kredensial untuk menghubungkan situs web Anda ke FileZilla dari layanan hosting Anda.

Setelah Anda memasukkan kredensial, klik Connect .

Anda dapat mengakses direktori file situs dari komputer Anda setelah situs terhubung. Jadi mari lanjutkan dan unggah file robots.txt dari komputer Anda ke situs web Anda.

1.2) Unggah file Robots.txt ke WordPress

Setelah Anda menghubungkan situs Anda dengan klien FTP, Anda harus menavigasi ke direktori root situs web Anda karena di sinilah file robots.txt seharusnya berada.

File root juga disebut sebagai file “ public_html ”.

Anda dapat mengunggah file robots.txt yang baru dibuat di sini. Jika file robots.txt sudah ada di file ini, gantilah.

Itu dia!

Sekarang yang harus Anda lakukan adalah menguji file robots.txt dengan menambahkan jalur “/robots.txt” di akhir domain, seperti yang kami tunjukkan pada contoh sebelumnya.

2) Edit Robots.txt menggunakan cPanel

Mengedit file robots.txt dengan cPanel sangat mirip dengan pendekatan klien FTP. Pertama, Anda harus masuk ke cPanel situs web Anda. Sekali lagi, semua kredensial login yang diperlukan seharusnya sudah disediakan oleh layanan hosting Anda.

Setelah Anda masuk ke cPanel, gulir ke bagian Files dan klik File Manager .

Kemudian, arahkan ke direktori file “ public_html ” dan Unggah file robots.txt yang baru saja dibuat di sini. Sekali lagi, jika file robots.txt sudah ada di sini, Anda perlu menggantinya dengan yang baru diedit.

Terakhir, uji file robots.txt Anda dengan menambahkan jalur “/robots.txt” di akhir domain Anda.

3) Edit Robots.txt menggunakan Plugin

Jika Anda ingin menghemat banyak waktu dan kerumitan untuk mengedit halaman robots.txt, Anda juga dapat menggunakan plugin. Beberapa plugin SEO seperti Yoast SEO, All in One SEO, dan Rank Math SEO memungkinkan Anda membuat dan mengedit file robots.txt.

Anda dapat melihat daftar lengkap plugin SEO WordPress terbaik kami jika Anda memerlukan informasi lebih lanjut untuk membantu Anda memutuskan plugin yang ingin Anda gunakan.

Tapi kami akan menggunakan plugin Rank Math SEO untuk demonstrasi ini. Ini adalah salah satu plugin SEO paling populer dan memiliki antarmuka yang sangat mudah untuk mengedit file robots.txt. Jadi mari kita mulai dengan menginstal plugin.

3.1) Instal dan Aktifkan Plugin

Untuk menginstal plugin, Anda harus pergi ke Plugins > Add New dari dashboard WordPress Anda dan cari kata kunci plugin terlebih dahulu. Setelah Anda melihat plugin di mesin pencari, klik Instal Sekarang . Instalasi hanya akan memakan waktu beberapa saat.

Segera setelah penginstalan selesai, klik Aktifkan untuk mengaktifkan plugin.

Jika Anda ingin menggunakan salah satu plugin premium, Anda harus mengunggahnya secara manual. Anda dapat melihat panduan terperinci kami tentang menginstal plugin WordPress secara manual untuk informasi lebih lanjut.

Selain itu, jika Anda mengalami masalah saat menyiapkan Rank Math SEO, kami bahkan memiliki panduan khusus tentang cara menyiapkan Rank Math.

3.2) Edit File Robots.txt

Setelah plugin diaktifkan, buka Rank Math > Pengaturan Umum dari dasbor WordPress Anda dan pilih tab Edit file robots.txt . Anda dapat melihat bahwa plugin telah menyediakan editor teksnya bagi Anda untuk mengedit file robots.txt di bagian ini.

Di sini, Anda harus menambahkan semua kode dan perintah tergantung pada halaman web yang ingin dirayapi dan diindeks oleh bot. Jika Anda memerlukan bantuan, kami telah menyediakan semua panduan yang diperlukan dalam tutorial ini di salah satu langkah sebelumnya.

Setelah Anda menambahkan semua perintah dan arahan yang diperlukan untuk file robots.txt, klik Save Changes .

Besar! Sekarang jika Anda menambahkan jalur “/robots.txt” di akhir domain, Anda akan melihat bahwa file tersebut telah diperbarui sebagaimana mestinya. Jadi bot mesin pencari hanya akan menelusuri halaman web yang Anda izinkan berdasarkan file robots.txt.

Kesimpulan

Ini adalah bagaimana Anda dapat membuat dan mengedit file robots.txt di WordPress . Sangat penting untuk melakukannya jika Anda tidak ingin bot mesin pencari melewati konten sensitif atau duplikat dari situs web Anda. File robots.txt juga dapat digunakan untuk mengarahkan bot agar merayapi dan mengindeks halaman tertentu di situs web Anda.

Singkatnya, Anda dapat mengedit file robots.txt menggunakan tiga cara utama:

• Menggunakan klien FTP
• cPanel
• Dengan plugin

Menggunakan klien FTP dan cPanel sangat mirip . Yang harus Anda lakukan adalah masuk ke cPanel atau menghubungkan situs web Anda dengan klien FTP dan mengunggah file robots.txt. Kemudian, Anda harus mengupload file robots.txt yang tadi Anda buat secara manual.

Di sisi lain, file robots.txt akan ditambahkan secara otomatis ke situs Anda jika Anda menggunakan plugin . Plugin bahkan menyediakan editor teks untuk membantu Anda mengedit file robots.txt.

Jadi bisakah Anda mengedit file robots.txt untuk situs web Anda sekarang? Beri tahu kami di komentar apakah Anda pernah mencobanya.

Sementara itu, jika Anda merasa artikel ini bermanfaat, berikut adalah beberapa posting lagi yang dapat Anda gunakan untuk menyesuaikan atau meningkatkan situs web WordPress Anda:

• Cara meningkatkan SEO WordPress: 9 Cara
• Plugin SSL WordPress Terbaik (Gratis dan Berbayar)
• Cara Menambahkan Deskripsi Meta di WordPress