Cara Mencegah Mesin Pencari Mengindeks Situs WordPress Anda

Mesin pencari menggunakan crawler atau robot web lain untuk merayapi dan mengindeks situs web Anda. Bagi banyak pemilik situs web, pengindeksan konten situs web mereka sangat penting untuk meningkatkan visibilitas mereka secara online dan dengan demikian meningkatkan lalu lintas di dalam situs mereka. Namun, ada kasus di mana Anda tidak ingin situs Anda diindeks. Alasan-alasan ini sebenarnya dapat membuat Anda berpikir tentang cara mencegah mesin telusur mengindeks situs web Anda.

Dimungkinkan untuk mencegah sumber daya atau halaman dalam situs Anda muncul di pencarian Google. Dalam artikel ini, kita akan melihat bagaimana mencegah dan mencegah mesin pencari mengindeks situs web Anda.

Daftar isi

Pengindeksan Vs Daftar Di Google

Alasan Mengapa Anda Ingin Memblokir Mesin Pencari Dari Mengindeks Situs Web Anda

Cara Memblokir Mesin Pencari Dari Merangkak Dan Mengindeks Situs Web Anda

• Melalui Kotak Centang Visibilitas Mesin Pencari WordPress default
• Memodifikasi file Robots.txt
• Melindungi Situs Web Anda dengan Kata Sandi

Menghapus Situs Web dari Google Penelusuran

Kesimpulan

Pengindeksan Vs Daftar Di Google

Pengindeksan

Pengindeksan adalah proses mengumpulkan dan mengunduh data konten situs ke server mesin pencari dan setelah itu menyimpan data dengan menambahkannya ke basis data pusatnya (indeks).

Proses pengindeksan didahului oleh Perayapan, di mana mesin pencari cenderung memindai web untuk mengidentifikasi konten baru atau yang diperbarui. Konten inilah yang pada gilirannya digunakan dalam pengindeksan.

Pengindeksan akan memungkinkan dalam merender data yang relevan dengan kueri penelusuran jauh lebih cepat karena konten diatur, dibandingkan dengan menelusuri semua konten dengan menjalankan beberapa kueri.

daftar

Daftar terutama melibatkan rendering situs web Anda di Halaman Hasil Mesin Pencari (SERP).

Jika sebuah situs web ditampilkan di Halaman Hasil Mesin Pencari maka itu berarti situs web tersebut diindeks. Di bawah ini adalah contoh tangkapan layar tentang ini:

Namun, pengindeksan pada dasarnya tidak berarti bahwa situs web Anda akan terdaftar di SERP.

Penting juga untuk dicatat bahwa sebuah situs web tidak harus diindeks agar dapat terdaftar. Jika ada tautan yang mengarah ke domain situs atau konten situs web lainnya, maka Google akan memanfaatkannya.

Alasan Mengapa Anda Ingin Memblokir Mesin Pencari Dari Mengindeks Situs Web Anda

1. Saat Membuat situs pengembangan

Sebagai pemilik situs, dalam banyak kasus, Anda ingin membuat situs web Anda terlebih dahulu di lingkungan pengembangan sebelum mendorong situs web final ke produksi.

Namun, Anda tidak ingin konten situs pengembangan Anda diindeks oleh Google, yang pada gilirannya akan menyebabkan persaingan dengan situs produksi Anda. Dalam hal ini, Anda perlu menonaktifkan pengindeksan dalam situs pengembangan Anda untuk menghindari skenario seperti itu.

2. Konten Pribadi

Jika situs web Anda berisi konten pribadi yang tidak ingin diakses oleh mesin telusur, Anda dapat memilih untuk mencegah agar situs tersebut tidak diindeks.

Contoh skenario seperti itu dapat terjadi jika Anda memiliki halaman web yang hanya dapat diakses jika pengguna memiliki langganan atau hanya saat pengguna masuk. Konten tersebut tidak boleh tersedia untuk pengindeksan.

3. Konten yang Diretas / Disusupi

Dalam skenario di mana situs Anda diretas dan dengan demikian disusupi, ini menimbulkan ancaman keamanan bagi pengguna situs Anda dan terutama jika menyangkut situs E-niaga.

Untuk membantu mengurangi risiko seperti itu, akan tepat untuk menghapus indeks situs atau bahkan menghapusnya.

4. Konten Duplikat

Kadang-kadang, Anda mungkin benar-benar memiliki duplikat konten dalam situs web Anda terutama ketika datang ke situs E-niaga di mana halaman produk mungkin tampak serupa. Namun, memiliki duplikat konten dalam situs web Anda sebenarnya dapat menyebabkan hukuman oleh Google.

Oleh karena itu, penting untuk mendeindeks konten duplikat apa pun di dalam situs Anda untuk menghindari hukuman.

5. Konten Kedaluwarsa

Dalam beberapa kasus, Anda mungkin memiliki situs web yang memberikan informasi usang dan dengan demikian hasil pencarian akan berisi informasi ini. Informasi tersebut pada gilirannya dapat menyesatkan pengunjung situs.

Oleh karena itu, akan sangat bagus untuk mencegah mesin pencari mengindeks konten seperti itu dalam situasi seperti itu.

6. Informasi Bocor

Jika konten tersedia sebelum waktunya untuk umum, maka Anda perlu mencegah mesin pencari mengindeks konten tersebut atau membatalkan publikasi situs web. Ini akan membantu membuat konten ini tidak dapat diakses.

7. Konten Berbahaya

Dalam situasi di mana Anda mungkin memiliki konten yang dapat Anda anggap berbahaya bagi situs web Anda, Anda dapat mempertimbangkan untuk menghapus indeks situs web tersebut. Hal ini misalnya dapat terjadi jika situs Anda telah diretas dan informasi berbahaya ditambahkan ke dalamnya.

Cara Memblokir Mesin Pencari Dari Merangkak Dan Mengindeks Situs Web Anda

Ada beberapa cara untuk dipertimbangkan jika Anda ingin mencegah mesin telusur merayapi dan mengindeks situs web Anda. Kami akan melihat beberapa cara ini secara berurutan dan mengeksplorasi bagaimana masing-masing dari mereka membantu dalam mencapai hal ini.

Melalui Kotak Centang Visibilitas Mesin Pencari WordPress default

Metode ini memungkinkan Anda untuk mencegah mesin pencari merayapi situs web Anda langsung dari dasbor WordPress. Untuk menerapkannya, Anda perlu:

i) Masuk ke dasbor WordPress Anda menggunakan akun administrator

ii) Arahkan ke bagian Pengaturan> Membaca di dalam dasbor WordPress Anda

iii) Di dalam bagian “Visibilitas Mesin Pencari”, aktifkan opsi “Hindari mesin pencari untuk mengindeks situs ini”

iv) Simpan perubahan Anda

Setelah hal di atas dilakukan, kode di bawah ini ditambahkan ke header situs Anda:

 <meta name="robots" content="noindex, nofollow">

File robots.txt juga dimodifikasi menjadi:

 User-agent: * Disallow: /

Ini akan membantu mencegah mesin pencari mengindeks situs web Anda. Namun penting untuk dicatat bahwa sementara perubahan ini membantu dalam mengecilkan hati mesin situs dari pengindeksan situs web Anda, terserah mesin pencari individu untuk menghormati permintaan atau tidak.

Memodifikasi file Robots.txt (secara manual)

Mirip dengan metode di atas, ini dianggap sebagai pendekatan manual untuk memodifikasi file robots.txt.

Untuk mencapai ini, Anda perlu:

i) Akses file situs Anda melalui perangkat lunak FTP seperti Filezilla

ii) Di dalam root file Website Anda, periksa file robots.txt. Dalam kebanyakan kasus, ini ada di dalam folder public_html.

Jika Anda tampaknya tidak melacak file tersebut, Anda dapat mempertimbangkan untuk membuatnya.

iii) Tambahkan kode berikut ke file:

 User agent: * Disallow: /

iv) Simpan perubahan Anda

Anda juga dapat melarang pengindeksan pada halaman tertentu dengan menambahkan subdirektori dan slug di dalam bagian Disallow:. Contoh untuk ini adalah:

 User agent: * Disallow /blog/this-is-a-link-to-our-website

Melindungi Situs Web Anda dengan Kata Sandi

Mesin pencari tidak dalam posisi untuk merayapi situs web yang dilindungi kata sandi karena mereka tidak memiliki akses ke sana. Ini menjadikan perlindungan kata sandi situs web Anda sebagai salah satu pendekatan yang paling cocok untuk mencegah pengindeksan situs web Anda.

Perlindungan kata sandi situs Anda dapat dicapai melalui berbagai pendekatan:

i) Perlindungan Kata Sandi melalui panel kontrol hosting Anda

ii) Menggunakan plugin perlindungan kata sandi

Perlindungan Kata Sandi melalui panel kontrol hosting Anda

Berbagai panel kontrol hosting memiliki langkah yang berbeda dalam menerapkan perlindungan kata sandi dalam sebuah situs web. Dalam kasus kami di sini, kami akan menggunakan contoh cPanel.

Untuk melindungi situs web Anda dengan kata sandi melalui cPanel, Anda harus melakukan hal berikut:

i) Masuk ke akun cPanel Anda

ii) Arahkan ke bagian File dan pilih "Privasi Direktori"

iii) Pilih direktori root situs Anda. Dalam kasus kami di sini, ini akan menjadi public_html/buddybuilder

iv) Klik pada tindakan "Edit" di sampingnya

v) Aktifkan opsi "Kata sandi melindungi direktori ini" dan simpan perubahan Anda

vi) Kembali ke langkah sebelumnya dengan mengklik tautan "Kembali" dan di dalam bagian "Buat Pengguna" yang baru, siapkan akun pengguna baru untuk digunakan dalam mengakses situs web.

Setelah ini selesai, mesin pencari tidak akan dapat merayapi situs Anda.

Menggunakan plugin perlindungan kata sandi

Dalam opsi ini, Anda dapat mempertimbangkan untuk menggunakan plugin yang Dilindungi Kata Sandi. Untuk menyiapkan plugin, Anda harus melakukan hal berikut:

i) Arahkan ke Plugins > Add New bagian dalam dashboard WordPress Anda dan cari “Password Protected”

ii) Instal dan aktifkan plugin

iii) Arahkan ke bagian Pengaturan> Dilindungi Kata Sandi di dalam dasbor WordPress Anda

iv) Aktifkan opsi "Status Dilindungi Kata Sandi" dan isi kata sandi Anda

v) Tentukan jumlah hari situs akan tetap terlindungi

vi) Simpan perubahan Anda

Penting untuk dicatat bahwa dalam metode ini, begitu file seperti gambar diakses langsung di browser, proteksi kata sandi tidak diterapkan dan oleh karena itu gambar dapat diakses dengan mudah.

Menghapus Situs Web dari Google Penelusuran

Jika situs Anda sudah diindeks oleh Google dan Anda ingin menghapus situs tersebut dari mesin pencari, Anda dapat melakukannya dengan melakukan hal berikut:

i) Akses Google Search Console: https://search.google.com/search-console/

ii) Masuk menggunakan detail akun Anda. Jika Anda tidak memiliki akun, Anda dapat membuatnya dari tautan yang sama di atas dan menambahkan properti. Berikut adalah panduan tentang cara melakukannya: https://support.google.com/webmasters/answer/34592?hl=id

iii) Di bagian kiri atas, pilih properti dengan URL yang ingin Anda hapus

iv) Klik pada bagian "Penghapusan"

v) Di dalam tab “Penghapusan Sementara”, klik tombol “Permintaan Baru”

vi) Pada tab “Temporary Remove URL” dalam popup yang diberikan, Anda akan memiliki dua opsi “Hapus URL ini saja” dan “Hapus semua URL dengan awalan ini”.

Jika Anda hanya ingin menghapus URL yang ditentukan misalnya posting blog tertentu, Anda harus mengisi URL-nya dan memilih opsi "Hapus URL ini saja".

Di sisi lain, jika Anda ingin menghapus domain root dan URL lain yang terkait dengannya, Anda harus mengisi URL Anda sebagai domain root dan memilih opsi "Hapus semua URL dengan awalan ini".

vii) Klik tombol “Next” untuk mengirimkan permintaan Anda.

Penting untuk dicatat bahwa setelah ini selesai, Google akan menghapus sementara situs Anda dari mesin pencari untuk sementara waktu. Ini biasanya 6 bulan dan setelah itu URL Anda dapat diindeks ulang sekali lagi, itulah mengapa sangat penting untuk “Blokir Mesin Pencari Dari Perayapan Dan Pengindeksan Situs Web Anda“.

Kesimpulan

Ada banyak alasan mengapa seseorang dapat memilih untuk mencegah mesin pencari mengindeks situs web mereka. Dalam artikel ini, kami telah melihat beberapa alasan ini serta beberapa pendekatan yang dapat Anda pertimbangkan untuk dilakukan untuk mencegah mesin pencari mengindeks situs WordPress Anda.

Menggunakan metode kotak visibilitas Mesin telusur WordPress default atau memodifikasi metode file robots.txt mungkin tidak sepenuhnya efektif untuk beberapa mesin telusur karena beberapa mungkin masih merayapi misalnya file atau gambar Anda. Kami sangat menyarankan untuk memasangkan metode ini dengan perlindungan kata sandi. Ini mencegah mesin pencari mengakses konten situs Anda.

Kami berharap artikel ini bermanfaat. Jika Anda memiliki pertanyaan, komentar atau saran, jangan ragu untuk mengirimkannya dari bagian komentar di bawah.