Как запретить поисковым системам индексировать ваш сайт WordPress

Опубликовано: 2022-10-12

Поисковые системы используют сканеры или веб-роботы для сканирования и индексации вашего сайта. Для многих владельцев веб-сайтов индексация контента их веб-сайтов имеет решающее значение для повышения их видимости в Интернете и, таким образом, увеличения трафика на их сайтах. Однако бывают случаи, когда вы не хотите, чтобы ваш сайт индексировался. Эти причины могут на самом деле заставить вас задуматься о том, как отбить у поисковых систем желание индексировать ваш сайт.

Можно предотвратить появление ресурса или страницы вашего сайта в поиске Google. В этой статье мы рассмотрим, как препятствовать и предотвращать индексацию вашего веб-сайта поисковыми системами.

Оглавление

Индексирование против листинга в Google

Причины, по которым вы хотели бы заблокировать поисковые системы от индексации вашего сайта

Как запретить поисковым системам сканировать и индексировать ваш сайт

  • С помощью установленного по умолчанию флажка видимости поисковой системы WordPress.
  • Изменение файла robots.txt
  • Защита вашего сайта паролем

Удаление веб-сайта из поиска Google

Вывод

Индексирование против листинга в Google

Индексация

Индексирование — это процесс сбора и загрузки данных о содержании сайта на сервер поисковой системы с последующим сохранением данных путем добавления их в центральную базу данных (индекс).

Процессу индексации предшествует сканирование, когда поисковые системы обычно сканируют Интернет, чтобы идентифицировать любой новый или обновленный контент. Этот контент, в свою очередь, используется при индексировании.

Индексация позволит гораздо быстрее отображать данные, релевантные поисковым запросам, поскольку контент организован, по сравнению с поиском по всему контенту путем выполнения нескольких запросов.

Листинг

Листинг в основном включает в себя отображение вашего веб-сайта на страницах результатов поисковой системы (SERP).

Если веб-сайт отображается на страницах результатов поисковой системы, это означает, что такой веб-сайт проиндексирован. Ниже приведен пример скриншота по этому поводу:

Однако индексация по существу не означает, что ваш сайт будет указан в поисковой выдаче.

Также важно отметить, что веб-сайт не обязательно должен быть проиндексирован, чтобы он попал в список. Если есть ссылки, указывающие на домен сайта или любой другой контент сайта, Google будет использовать это.

Причины, по которым вы хотели бы заблокировать поисковые системы от индексации вашего сайта

1. При создании сайта разработки

Как владелец сайта, в большинстве случаев вы хотели бы сначала создать свой веб-сайт в среде разработки, прежде чем запускать окончательный веб-сайт в производство.

Однако вы не хотите, чтобы контент вашего сайта разработки индексировался Google, что, в свою очередь, привело бы к конкуренции с вашим рабочим сайтом. В этом случае вам нужно будет отключить индексирование на вашем сайте разработки, чтобы избежать такого сценария.

2. Частный контент

Если ваш веб-сайт содержит частный контент, который вы не хотели бы открывать для поисковых систем, вы можете запретить индексацию такого сайта.

Примером такого сценария может быть, если у вас есть веб-страницы, которые должны быть доступны только в том случае, если у пользователя есть подписка или только когда пользователь вошел в систему. Такой контент не должен быть доступен для индексации.

3. Взломанный/скомпрометированный контент

В сценарии, когда ваш сайт взломан и, таким образом, скомпрометирован, это представляет угрозу безопасности для пользователей вашего сайта, особенно когда речь идет о сайтах электронной коммерции.

Чтобы уменьшить такие риски, было бы целесообразно деиндексировать сайт или даже удалить его.

4. Дублированный контент

Иногда у вас может быть дублированный контент на вашем веб-сайте, особенно когда речь идет о сайтах электронной коммерции, где страницы продуктов могут выглядеть одинаково. Однако наличие дублирующегося контента на вашем веб-сайте может фактически привести к наказанию со стороны Google.

Поэтому важно деиндексировать любой дублированный контент на вашем сайте, чтобы избежать наказания.

5. Устаревший контент

В некоторых случаях у вас может быть веб-сайт, отображающий устаревшую информацию, и поэтому результаты поиска будут содержать эту информацию. Такая информация, в свою очередь, может ввести посетителей сайта в заблуждение.

Следовательно, было бы здорово запретить поисковым системам индексировать такой контент в таких ситуациях.

6. Утечка информации

Если контент преждевременно становится общедоступным, вам необходимо запретить поисковым системам индексировать такой контент или отменить публикацию веб-сайта. Это поможет сделать этот контент недоступным.

7. Вредный контент

В ситуациях, когда у вас может быть контент, который вы считаете опасным для своего веб-сайта, вы можете рассмотреть возможность деиндексации веб-сайта. Это может быть, например, в том случае, если ваш сайт был взломан и на него была добавлена ​​вредоносная информация.

Как запретить поисковым системам сканировать и индексировать ваш сайт

Есть несколько способов запретить поисковым системам сканировать и индексировать ваш сайт. Мы рассмотрим некоторые из этих способов по порядку и исследуем, как каждый из них помогает в достижении этой цели.

С помощью установленного по умолчанию флажка видимости поисковой системы WordPress.

Этот метод позволяет запретить поисковым системам сканировать ваш сайт непосредственно с панели управления WordPress. Для того, чтобы его внедрить, вам необходимо:

i) Войдите в свою панель управления WordPress, используя учетную запись администратора.

ii) Перейдите в раздел «Настройки» > «Чтение» на панели инструментов WordPress.

iii) В разделе «Видимость для поисковых систем» включите параметр «Запретить поисковым системам индексировать этот сайт».

iv) Сохраните изменения

После того, как вышеперечисленное будет выполнено, приведенный ниже код будет добавлен в шапку вашего сайта:

 <meta name="robots" content="noindex, nofollow">

Файл robots.txt также изменен:

 User-agent: * Disallow: /

Это поможет отбить охоту у поисковых систем индексировать ваш сайт. Однако важно отметить, что, хотя эти изменения помогают отбить охоту у поисковых систем индексировать ваш веб-сайт, отдельные поисковые системы должны выполнить запрос или нет.

Изменение файла Robots.txt (вручную)

Подобно описанному выше методу, это считается ручным подходом к изменению файла robots.txt.

Для того, чтобы выполнить это, вам необходимо:

i) Доступ к файлам вашего сайта через программное обеспечение FTP, такое как Filezilla

ii) В корневом каталоге файлов вашего веб-сайта найдите файл robots.txt. В большинстве случаев это находится в папке public_html.

Если вам кажется, что файл не отслеживается, вы можете создать его.

iii) Добавьте в файл следующий код:

 User agent: * Disallow: /

iv) Сохраните изменения

Вы также можете запретить индексирование определенных страниц, добавив подкаталог и ярлык в разделе Disallow:. Примером этого может быть:

 User agent: * Disallow /blog/this-is-a-link-to-our-website

Защита вашего сайта паролем

Поисковые системы не могут сканировать защищенные паролем веб-сайты, поскольку у них нет к ним доступа. Это делает защиту вашего веб-сайта паролем одним из наиболее подходящих подходов, когда речь идет о предотвращении индексации вашего веб-сайта.

Парольная защита вашего сайта может быть достигнута с помощью различных подходов:

i) Защита паролем через панель управления хостингом

ii) Использование плагина защиты паролем

Защита паролем через панель управления хостингом

Различные панели управления хостингом по-разному реализуют защиту паролем на веб-сайте. В нашем случае здесь мы будем использовать пример cPanel.

Чтобы защитить паролем свой сайт через cPanel, вам необходимо выполнить следующее:

i) Войдите в свою учетную запись cPanel

ii) Перейдите в раздел «Файлы» и выберите «Конфиденциальность каталога».

iii) Выберите корневой каталог ваших сайтов. В нашем случае это будет public_html/buddybuilder.

iv) Нажмите на действие «Редактировать» рядом с ним.

v) Включите опцию «Защитить этот каталог паролем» и сохраните изменения.

vi) Вернитесь к предыдущему шагу, нажав ссылку «Вернуться» и в новом разделе «Создать пользователя» настройте новую учетную запись пользователя, которая будет использоваться для доступа к веб-сайту.

Как только это будет сделано, поисковые системы не смогут сканировать ваш сайт.

Использование плагина защиты паролем

В этом варианте вы можете рассмотреть возможность использования плагина Password Protected. Для установки плагина вам необходимо выполнить следующие действия:

i) Перейдите в раздел «Плагины» > «Добавить новый» на панели инструментов WordPress и найдите «Защищено паролем».

ii) Установите и активируйте плагин

iii) Перейдите в раздел «Настройки» > «Защищено паролем» на панели инструментов WordPress.

iv) Включите опцию «Статус защиты паролем» и введите свой пароль

v) Укажите количество дней, в течение которых сайт будет оставаться защищенным

vi) Сохраните изменения

Важно отметить, что в этом методе после прямого доступа к файлам, таким как изображения, в браузере защита паролем не применяется, и, следовательно, к изображению можно легко получить доступ.

Удаление веб-сайта из поиска Google

Если ваш сайт уже проиндексирован Google и вы хотите удалить его из поисковой системы, вы можете сделать это, выполнив следующие действия:

i) Войдите в консоль поиска Google: https://search.google.com/search-console/

ii) Войдите, используя данные своей учетной записи. Если у вас нет учетной записи, вы можете создать ее по той же ссылке выше и добавить свойство. Вот руководство о том, как это сделать: https://support.google.com/webmasters/answer/34592?hl=en.

iii) В левом верхнем углу выберите свойство с URL-адресом, который вы хотите удалить.

iv) Нажмите на раздел «Удаления».

v) На вкладке «Временное удаление» нажмите кнопку «Новый запрос».

vi) На вкладке «Временный URL-адрес удаления» в отображаемом всплывающем окне у вас будет два варианта «Удалить только этот URL-адрес» и «Удалить все URL-адреса с этим префиксом».

Если вы хотите удалить только указанный URL-адрес, например, конкретную запись в блоге, вам нужно будет ввести его URL-адрес и выбрать параметр «Удалить только этот URL-адрес».

С другой стороны, если вы хотите удалить корневой домен и любые другие URL-адреса, связанные с ним, вам нужно будет указать свой URL-адрес в качестве корневого домена и выбрать параметр «Удалить все URL-адреса с этим префиксом».

vii) Нажмите кнопку «Далее», чтобы отправить запрос.

Важно отметить, что как только это будет сделано, Google временно удалит ваш сайт из поисковых систем на временной период. Обычно это 6 месяцев, после чего ваш URL-адрес может быть повторно проиндексирован еще раз, поэтому крайне важно «заблокировать поисковые системы от сканирования и индексирования вашего веб-сайта».

Вывод

Есть много причин, по которым можно запретить поисковым системам индексировать свой сайт. В этой статье мы рассмотрели некоторые из этих причин, а также некоторые подходы, которые вы можете рассмотреть, чтобы воспрепятствовать поисковым системам индексировать ваш сайт WordPress.

Использование метода окна видимости поисковой системы WordPress по умолчанию или изменение методов файла robots.txt может быть не полностью эффективным для некоторых поисковых систем, поскольку некоторые из них могут по-прежнему сканировать, например, ваши файлы или изображения. Мы настоятельно рекомендуем сочетать эти методы с защитой паролем. Это предотвращает доступ поисковых систем к любому содержимому вашего сайта.

Мы надеемся, что эта статья окажется полезной. Если у вас есть какие-либо вопросы, комментарии или предложения, пожалуйста, не стесняйтесь присылать их в разделе комментариев ниже.