Cara Menghapus Robots.txt dari WordPress

Apakah Anda ingin menghapus robots.txt dari WordPress ? File robots.txt sangat penting untuk memblokir bot mesin pencari agar tidak mengindeks halaman tertentu di situs Anda. Tetapi jika tidak dikonfigurasi dengan benar, ini dapat menyebabkan masalah pada situs Anda, jadi Anda mungkin perlu menghapusnya.

Jadi sebelum kita menyelami proses menghapusnya, Anda harus memiliki pemahaman yang lebih jelas tentang file robots.txt dan mengapa Anda mungkin perlu menghapusnya.

Apa itu Robots.txt?

Robots.txt adalah file situs web WordPress Anda yang berisi pedoman untuk bot mesin pencari di mana area atau halaman situs web Anda harus diindeks dan dirayapi . Ini juga memberi tahu mesin telusur menggunakan aturan dan instruksi khusus tentang apakah halaman dan bagian situs web Anda harus diindeks.

Jika kami mempertimbangkan contoh dunia nyata, perayap web Google, juga dikenal sebagai Googlebot, menganalisis situs web secara teratur untuk menjaga agar indeks laman mereka tetap mutakhir. Perayap web ini mengikuti petunjuk yang diuraikan dalam file robots.txt saat memindai situs web. Kemudian, mereka mengindeks dan merayapi halaman dan area situs web Anda sesuai dengan pedoman yang disebutkan dalam file robots.txt.

Dengan cara yang sama, bot mesin pencari dari semua indeks perayap web terkenal lainnya dan merayapi situs web Anda menggunakan file robots.txt. File ini berguna untuk membatasi bot agar tidak mengakses area situs web, halaman, atau direktori tertentu. Tetapi pada saat yang sama, Anda mungkin mendapat manfaat dengan menghapus atau menonaktifkan file robots.txt dari situs WordPress Anda dalam beberapa kasus.

Mengapa Anda Harus Menghapus Robots.txt dari WordPress?

Ada banyak alasan untuk mempertimbangkan menghapus atau menonaktifkan file robots.txt dari situs WordPress Anda. Berikut ini beberapa di antaranya:

• Pembatasan yang tidak disengaja: File robots.txt terkadang berisi aturan yang secara tidak sengaja membatasi perayap mesin telusur untuk mengakses halaman atau bagian penting situs web Anda. Ini dapat berdampak negatif pada visibilitas situs Anda di hasil mesin telusur dan memengaruhi peringkat situs Anda.
• Situs pengembangan atau pementasan: Jika Anda memiliki situs pengembangan atau pementasan untuk tujuan pengujian, Anda mungkin tidak ingin mesin telusur mengindeks situs ini. Jadi jika Anda menghapus file robots.txt, Anda dapat memastikan bahwa perayap mesin pencari tidak akan mengindeks atau menampilkan situs ini di hasil pencarian. Ini memungkinkan Anda untuk fokus pada pengujian dan penyempurnaan situs Anda selama pengembangan awal dan proses pengujian tanpa risiko terlihat oleh pengguna secara publik.
• Pengindeksan yang ditingkatkan: Perayap mesin telusur dapat dengan bebas mengakses dan mengindeks halaman dan konten situs web Anda saat Anda menghapus file robots.txt. Sehingga mereka dapat menemukan dan memasukkan lebih banyak konten situs Anda ke dalam indeks mereka. Ini bisa bermanfaat jika Anda ingin memastikan visibilitas maksimum dan kemampuan konten situs web Anda untuk ditemukan.
• Konflik Plugin: Konflik antara plugin tertentu di situs WordPress Anda dan file robots.txt terkadang dapat menyebabkan masalah atau kesalahan yang tidak terduga. Jadi menghapus file robots.txt dapat membantu menyelesaikan konflik tersebut dan memastikan kelancaran fungsi situs WordPress Anda.

Namun, perlu diperhatikan bahwa menghapus file robots.txt bukanlah keputusan yang bisa dianggap enteng dan biasanya tidak disarankan. Pertimbangkan implikasinya dan konsultasikan dengan pakar sebelum melanjutkan jika Anda tidak yakin tentang pengaruhnya terhadap kinerja SEO situs web Anda.

Cara Menghapus Robots.txt dari WordPress

Anda dapat menghapus atau menonaktifkan file robots.txt dari WordPress dengan 2 cara utama :

1. Menggunakan klien FTP
2. cPanel

Kami akan membahas metode ini secara detail dengan panduan langkah demi langkah untuk menghapus robots.txt dari WordPress. Kedua cara itu mirip satu sama lain. Tetapi Anda harus mengakses FTP atau cPanel situs web Anda terlebih dahulu.

Catatan: Sebelum Anda menghapus file robots.txt dari situs web Anda, pastikan Anda membuat salinannya. Kemudian, Anda dapat mengunggah kembali file asli ke situs web Anda jika Anda melakukan perubahan yang tidak disengaja selama prosedur, yang dapat menyebabkan kesalahan atau bug.

1. Hapus Robots.txt menggunakan Klien FTP

Menggunakan klien FTP untuk menghapus robots.txt dari situs web WordPress Anda sangatlah mudah. Anda dapat mengakses FTP untuk WordPress menggunakan klien FTP seperti FileZilla atau Cyberduck. Kemudian, Anda dapat mulai mengedit file situs web Anda dengan menggunakannya.

Kami akan menggunakan klien FTP FileZilla untuk tutorial ini yang dapat Anda unduh dan instal ke komputer Anda dari situs web mereka. Tetapi Anda bebas menggunakan klien FTP apa pun yang Anda suka. Langkah-langkahnya hampir identik satu sama lain.

Setelah Anda menginstal klien FTP, Anda harus menghubungkan situs web Anda ke klien FTP. Jadi buka aplikasi FileZilla di komputer Anda dan buka File > Site Manager dari sudut kiri atas bilah menu. Anda juga dapat menggunakan pintasan keyboard Ctrl+S di keyboard untuk mengakses pengelola situs.

Kemudian, klik Situs Baru dan masukkan nama situs web Anda di bawah Situs Saya .

Sekarang, buka tab Umum di sisi kanan layar Anda, di mana Anda harus memasukkan kredensial untuk menghubungkan situs Anda dengan klien FTP. Jika Anda tidak memiliki kredensial yang diperlukan, Anda dapat menanyakannya kepada penyedia hosting Anda.

Setelah Anda memasukkan kredensial, klik Connect .

Anda sekarang akan memiliki akses ke direktori file situs web Anda dari mana Anda dapat menghapus file robust.txt dari situs web WordPress Anda. File robots.txt ada di direktori akar situs web Anda, juga disebut folder “ public_html ”. Anda dapat menavigasi ke sana menggunakan Filezilla Explorer.

Setelah Anda menemukan file robots.txt, klik kanan file tersebut dan pilih Hapus .

Itu dia! Anda telah berhasil menghapus file robots.txt dari situs WordPress Anda.

2. Hapus Robots.txt dari cPanel

Jika Anda menginginkan pendekatan yang lebih langsung untuk menghapus file robots.txt secara manual dari situs web WordPress Anda, Anda dapat menggunakan cPanel. Yang harus Anda lakukan adalah masuk ke akun cPanel Anda menggunakan tautan yang disediakan oleh penyedia hosting Anda. Sekali lagi, Anda dapat menghubungi penyedia hosting Anda jika Anda tidak memiliki kredensial dan detail yang diperlukan.

Setelah masuk ke cPanel, gulir ke bagian Files dan klik File Manager . Anda sekarang dapat mengakses semua file situs web WordPress Anda.

Kemudian, navigasikan ke direktori root atau folder “ public_html ” karena file robots.txt ada di sini. Sekarang, pilih file robots.txt dan klik Hapus di bilah menu pengelola file.

Besar! File robots.txt Anda sekarang dihapus dari situs web WordPress Anda.

Bagaimana Cara Menonaktifkan Robots.txt di WordPress?

Pendekatan yang disebutkan di atas dapat membantu Anda menghapus file robots.txt dari situs WordPress Anda. Tetapi biasanya tidak disarankan karena file tersebut sangat penting untuk SEO Anda. Jadi jika Anda menginginkan opsi yang lebih aman, Anda dapat menonaktifkan file robots.txt di situs WordPress Anda.

Akibatnya, file robots.txt akan ada di direktori file situs web Anda meskipun tidak ada batasan bagi bot mesin pencari untuk merayapi dan mengindeks situs web Anda. Ada beberapa cara untuk menonaktifkan file robots.txt di WordPress. Anda dapat melakukannya langsung dari dasbor WordPress atau mengedit file secara manual menggunakan plugin, FTP, atau cPanel.

1. Nonaktifkan Robots.txt dari Dasbor WordPress

Sangat mudah untuk menonaktifkan file robots.txt dari dashboard WordPress Anda. Yang harus Anda lakukan adalah pergi ke Pengaturan> Membaca dari dasbor WordPress Anda, hapus centang opsi Visibilitas Mesin Pencari, dan simpan perubahannya .

Ini akan menghapus semua konten file robots.txt di situs web WordPress Anda dan mengubahnya menjadi:

 Agen pengguna: *
Melarang:

Oleh karena itu, ini akan mencegah mesin pencari mengindeks situs web Anda. Tetapi keputusan untuk menghormati permintaan ini terletak pada mesin pencari.

2. Nonaktifkan Robots.txt Menggunakan Plugin

Anda juga dapat mengedit dan menonaktifkan file robots.txt menggunakan plugin jika Anda sudah menggunakan plugin SEO dari situs WordPress Anda. Ini dapat menghemat banyak waktu jika Anda tidak ingin bot mesin telusur mengindeks situs Anda menggunakan file robots.txt.

Beberapa plugin SEO WordPress memungkinkan Anda untuk mengedit dan menonaktifkan file robots.txt. Tapi kami akan menggunakan plugin Rank Math SEO untuk demonstrasi ini.

Ini memiliki antarmuka yang sangat mudah untuk mengedit file robots.txt. Ini akan sangat memudahkan untuk mengedit dan menghapus konten file robots.txt dari situs WordPress Anda untuk menonaktifkannya.

Jika Anda ingin menggunakan plugin SEO lainnya, Anda dapat melakukannya. Langkah-langkahnya sangat mirip dengan setiap plugin. Jadi, Anda harus menginstal dan mengaktifkan plugin sebelum mulai menggunakannya.

2.1. Instal dan Aktifkan Plugin

Untuk menginstal plugin, buka Plugins > Add New dari dashboard WordPress Anda dan cari kata kunci dari plugin tersebut. Segera setelah ditampilkan di hasil pencarian, klik Instal Sekarang .

Instalasi akan selesai hanya dalam beberapa detik. Kemudian, klik Aktifkan untuk mengaktifkan plugin.

Anda juga dapat mengunggah dan menginstal plugin secara manual jika Anda ingin menggunakan plugin SEO premium apa pun. Silakan lihat panduan kami tentang menginstal plugin WordPress secara manual jika Anda memerlukan bantuan.

2.2. Edit dan Nonaktifkan File Robots.txt

Setelah Anda mengaktifkan plugin, buka Rank Math > General Settings dari dasbor WordPress Anda dan buka tab Edit file robots.txt . Ini akan memungkinkan Anda untuk mengedit kode dan instruksi yang ingin Anda sertakan dalam file robots.txt Anda. Plugin bahkan telah menyediakan editor teks di sini untuk menambah atau menghapus kode dan instruksi pada file robots.txt Anda.

Jika Anda telah mengedit file ini sebelumnya, Anda mungkin melihat beberapa petunjuk di sini tergantung pada halaman yang Anda tidak ingin dirayapi dan diindeks oleh bot mesin pencari. Di sisi lain, jika ini adalah file robots.txt default yang dibuat WordPress, Anda akan melihat detail berikut:

 Agen pengguna: *
Dilarang: /wp-admin/
Izinkan: /wp-admin/admin-ajax.php

Di sini, yang harus Anda lakukan adalah menghapus semua kode tambahan di file robots.txt dan meninggalkan file tersebut dengan petunjuk berikut:

 Agen pengguna: *
Melarang:

Setelah Anda menambahkan instruksi di atas, klik Save Changes .

Itu dia! Anda telah berhasil menonaktifkan file robots.txt menggunakan plugin.

3. Nonaktifkan Robots.txt Menggunakan Klien FTP atau cPanel

File robots.txt juga dapat dinonaktifkan menggunakan klien FTP atau cPanel . Untuk pendekatan ini, Anda tidak perlu menghapus konten apa pun dari file robots.txt dari situs WordPress Anda. Namun, Anda perlu membuat file robots.txt baru menggunakan editor teks apa saja dan hanya menyertakan petunjuk berikut :

 Agen pengguna: *
Melarang:

Pastikan Anda menyimpan file sebagai " robots.txt ."

Sekarang yang harus Anda lakukan adalah mengunggah dan mengganti file robots.txt yang baru dibuat dengan yang lama menggunakan klien FTP atau cPanel.

Jika Anda ingin menggunakan FTP , pertama-tama Anda dapat menghubungkan situs web Anda dengan klien FTP menggunakan langkah-langkah yang disebutkan dalam panduan ini. Kemudian, unggah file robots.txt baru ke direktori root atau folder “ public_html ”.

Demikian pula, jika Anda ingin menggunakan cPanel untuk menonaktifkan file robots.txt, Anda dapat masuk ke akun cPanel terlebih dahulu dan membuka direktori file . Anda dapat mengikuti langkah-langkah dari bagian “Menghapus Robots.txt dari cPanel” dari panduan ini. Kemudian, navigasikan ke folder “ public_html ” dan unggah file robots.txt yang baru dibuat di sini.

Jika Anda memerlukan bantuan untuk mengedit file ini, lihat panduan terperinci kami tentang mengedit robots.txt di WordPress.

Kesimpulan

Ini adalah berbagai metode yang dapat digunakan untuk menonaktifkan atau menghapus file robots.txt dari situs WordPress Anda . Ini bisa berguna jika masalah dibuat di situs web Anda karena file robots.txt. Menghapusnya juga dapat menguntungkan Anda jika situs web Anda sedang dalam tahap pengembangan atau jika Anda ingin pengindeksan tingkat lanjut sama sekali.

Tetapi untuk meringkas, Anda dapat sepenuhnya menghapus file robots.txt dari situs WordPress Anda menggunakan dua cara utama:

• Menggunakan klien FTP
• cPanel

Kedua pendekatan ini sangat efektif dalam menghapus file robots.txt dari situs web Anda. Namun karena ini biasanya tidak disarankan, Anda juga dapat menonaktifkannya jika ingin lebih aman. Anda dapat menonaktifkannya menggunakan dasbor WordPress atau mengeditnya menggunakan plugin, FTP, atau cPanel.

Jadi bisakah Anda menghapus atau menonaktifkan file robots.txt sekarang? Beri tahu kami jika Anda pernah mencobanya.

Sementara itu, berikut beberapa panduan lainnya yang dapat membantu Anda menyesuaikan atau meningkatkan situs web WordPress Anda:

• Bagaimana Cara Mengatur Rank Math SEO? Jalan yang benar!
• Hapus Yoast SEO dari database di WordPress
• Cara meningkatkan SEO WordPress