Как редактировать robots.txt в WordPress (с плагинами и без них)

Вы ищете наиболее эффективные способы редактирования robots.txt в WordPress ? Они имеют решающее значение, если вы хотите, чтобы сканеры поисковых систем знали страницы и разделы вашего веб-сайта, которые они должны сканировать и индексировать.

Несмотря на то, что WordPress по умолчанию создает файл robots.txt для вашего веб-сайта, вам все равно может потребоваться изменить его, чтобы управлять тем, что могут просматривать поисковые системы. Если вы не знакомы с robots.txt, не волнуйтесь. В этом руководстве мы объясним, что такое robots.txt и почему важно его редактировать, а также различные способы редактирования на вашем веб-сайте WordPress.

Итак, давайте углубимся, чтобы понять, что такое robots.txt.

Что такое Robots.txt?

Robots.txt — это простой текстовый файл в корневом каталоге вашего веб-сайта, который содержит инструкции для веб-роботов или ботов, какие страницы или области вашего сайта они должны сканировать и индексировать . Файл сообщает поисковым системам, следует ли индексировать страницы или разделы в соответствии с конкретными правилами веб-сайта.

Например, поисковые роботы, такие как поисковые роботы Google, регулярно проверяют веб-сайты, чтобы обновить свой индекс страниц. Эти поисковые роботы от Google, также известные как Googlebot, следуют инструкциям, указанным в файле robots.txt, для проверки веб-сайта.

Основная цель файла robots.txt — помочь веб-мастерам контролировать, к какой информации поисковые системы имеют доступ на своих сайтах. Вы можете использовать этот файл, чтобы запретить ботам доступ к определенным сайтам или каталогам. Но имейте в виду, что некоторые боты, кроме Googlebot и других известных поисковых роботов, могут не следовать рекомендациям в файле.

Почему вы должны редактировать файл robots.txt?

Есть несколько преимуществ редактирования файла robots.txt в WordPress. Вот несколько соображений:

• Блокируйте нежелательных ботов: некоторые боты могут быть бесполезны для вашего сайта или потреблять ценные ресурсы на вашем сервере. Это может привести к замедлению загрузки веб-сайта и снижению его производительности. Таким образом, редактирование файла robots.txt может помочь вам заблокировать нежелательных ботов от сканирования вашего сайта и повысить общую скорость вашего сайта.
• Защитите конфиденциальную информацию. Некоторые страницы вашего веб-сайта могут содержать конфиденциальную информацию, которую поисковые системы не должны индексировать. Это может включать личные данные, конфиденциальную деловую информацию, защищенный паролем контент или даже юридический контент или контент, связанный с соблюдением нормативных требований.
  Вы можете запретить сканирование и индексацию этих страниц, отредактировав файл robots.txt. Это даже поможет защитить конфиденциальность и безопасность вашего сайта.
• Направлять ботов на определенные страницы . Вы также можете использовать robots.txt, чтобы направлять ботов на определенные страницы вашего веб-сайта, которые вы хотите, чтобы поисковые системы сканировали и индексировали. Это позволяет вам расставить приоритеты для страниц, которые вы хотите занять более высокое место в результатах поиска.
• Предотвращение индексации дублированного контента. На вашем веб-сайте могут быть страницы с похожим контентом, например страницы категорий или тегов. Если это так, вы можете использовать файл robots.txt, чтобы роботы поисковых систем не индексировали их. Это может помочь избежать проблем с дублированием контента, которые негативно влияют на рейтинг вашего сайта в поисковых системах.

Теперь, когда вы понимаете, что такое файл robots.txt и почему они необходимы, давайте перейдем к следующему разделу, где мы покажем вам, как его настроить.

Как редактировать robots.txt в WordPress

Вы можете редактировать файл robots.txt тремя основными способами в WordPress:

1. Использование FTP-клиента
2. cPanel
3. С плагином

Мы подробно рассмотрим каждый из этих подходов. Но если вы используете FTP-клиент или подход cPanel , вам придется сначала создать файл robots.txt вручную .

WordPress создает виртуальный файл robots.txt по умолчанию, когда вы запускаете свой сайт. Доступ к нему можно получить, добавив путь « /robots.txt » в конце вашего домена.

Например, вы можете получить доступ к файлу robots.txt QuadLayers, используя ссылку: «https://quadlayers.com/robots.txt».

Однако мы не используем файл robots.txt по умолчанию. Он был отредактирован для удовлетворения конкретных потребностей QuadLayers. Но файл robots.txt по умолчанию , созданный WordPress, содержит только следующую информацию:

 Пользовательский агент: *
Запретить: /wp-admin/
Разрешить: /wp-admin/admin-ajax.php

К сожалению, вы не можете редактировать этот файл, так как он виртуальный . Чтобы отредактировать файл robots.txt вашего веб-сайта WordPress, вы должны создать его вручную.

Для этого вы можете использовать любой текстовый редактор, чтобы создать пустой файл и сохранить его как « robots.txt ».

В качестве альтернативы, если вы хотите использовать плагин SEO для редактирования файла, это можно сделать автоматически через плагин. Мы узнаем об этом позже в этом руководстве.

Тем не менее, ваш файл robots.txt должен содержать одну и ту же информацию независимо от того, какой подход вы используете. Итак, давайте посмотрим, что также должно быть включено в файл robots.txt.

Что включить в файл Robots.txt?

Чтобы убедиться, что поисковые системы правильно индексируют ваш веб-сайт, вот несколько кодовых команд или директив, которые вы можете включить в файл robots.txt:

• Пользовательский агент: определяет поисковую систему или бота, к которым применяются инструкции. В файл robots.txt можно включить один или несколько пользовательских агентов в зависимости от ботов, которыми вы хотите управлять. Например, «User-agent: Googlebot» относится к поисковому роботу Google.
• Disallow: эта директива сообщает ботам, какие страницы или каталоги роботы поисковых систем не должны сканировать или индексировать. Вы можете указать отдельные страницы или целые каталоги. Например, «Disallow: /wp-admin/» заблокирует всем ботам сканирование страниц в административном каталоге WordPress.
• Карта сайта: эта директива сообщает ботам, где найти файл карты сайта вашего сайта. В файле карты сайта перечислены все страницы вашего сайта, которые вы хотите индексировать поисковыми системами.

Вы также можете использовать директиву « разрешить » в файле robots.txt. Он сообщает ботам, какие страницы или каталоги они должны сканировать или индексировать. Однако помните, что это необязательно и должно использоваться только при необходимости.

Вот пример базового файла robots.txt:

 Пользовательский агент: *
Запретить: /wp-admin/
Запретить: /wp-includes/
Карта сайта: https://www.example.com/sitemap.xml

В этом примере пользовательский агент имеет значение «*», что означает, что инструкции применимы ко всем ботам. Директива «disallow» запрещает ботам сканировать каталоги администратора WordPress и «wp-include». Точно так же директива карты сайта указывает местоположение файла карты сайта.

Теперь, когда у вас есть общее представление о том, что включать в файл robots.txt, вы можете добавить все веб-страницы, которые не должны сканироваться или индексироваться ботами. Наконец, сохраните файл.

1) Отредактируйте файл robots.txt с помощью FTP-клиента.

Чтобы редактировать robots.txt в WordPress с помощью FTP-клиента, вы должны установить FTP-клиент и подключить свой сайт. Существует множество FTP-клиентов, таких как FileZilla и Cyberduck, которые можно использовать для этого метода. Но мы будем использовать FileZilla для этого урока.

1.1) Подключите ваш сайт WordPress к FTP

После установки FTP-клиента откройте приложение и выберите «Файл» > «Диспетчер сайтов» . Вы также можете открыть менеджер сайтов, нажав Ctrl+S на клавиатуре.

Затем нажмите «Новый сайт» и введите имя своего веб-сайта в разделе «Мои сайты» .

Теперь откройте вкладку «Общие» и введите учетные данные своего сайта. Вы можете получить учетные данные для подключения вашего веб-сайта к FileZilla в службе хостинга.

После того, как вы введете учетные данные, нажмите «Подключиться» .

Вы можете получить доступ к каталогу файлов сайта со своего компьютера после подключения сайта. Итак, давайте продолжим и загрузим файл robots.txt с вашего компьютера на свой веб-сайт.

1.2) Загрузите файл Robots.txt в WordPress

После того, как вы подключите свой сайт к FTP-клиенту, вам нужно перейти в корневой каталог вашего сайта, так как именно здесь должен находиться файл robots.txt.

Корневой файл также называется файлом « public_html ».

Вы можете загрузить недавно созданный файл robots.txt здесь. Если в этом файле уже есть файл robots.txt, замените его.

Вот и все!

Теперь все, что вам нужно сделать, это протестировать файл robots.txt, добавив путь «/robots.txt» в конце домена, как мы показали в предыдущих примерах.

2) Отредактируйте файл robots.txt с помощью cPanel.

Редактирование файла robots.txt с помощью cPanel очень похоже на подход FTP-клиента. Во-первых, вам нужно войти в cPanel вашего сайта. Опять же, все необходимые учетные данные для входа уже должны были быть предоставлены вашим хостингом.

После входа в cPanel прокрутите до раздела «Файлы» и нажмите «Диспетчер файлов» .

Затем перейдите в каталог файлов « public_html » и загрузите сюда недавно созданный файл robots.txt. Еще раз, если файл robots.txt уже существует здесь, вам необходимо заменить его новым отредактированным.

Наконец, проверьте файл robots.txt, добавив путь «/robots.txt» в конце вашего домена.

3) Отредактируйте Robots.txt с помощью плагина

Если вы хотите сэкономить много времени и усилий при редактировании страницы robots.txt, вы также можете использовать плагин. Несколько SEO-плагинов, таких как Yoast SEO, All in One SEO и Rank Math SEO, позволяют создавать и редактировать файл robots.txt.

Вы можете просмотреть наш полный список лучших SEO-плагинов для WordPress, если вам нужна дополнительная информация, которая поможет вам выбрать плагин, который вы хотите использовать.

Но для этой демонстрации мы будем использовать плагин Rank Math SEO . Это один из самых популярных SEO-плагинов с очень простым интерфейсом для редактирования файла robots.txt. Итак, начнем с установки плагина.

3.1) Установите и активируйте плагин

Чтобы установить плагин, вам нужно перейти в «Плагины»> «Добавить новый» на панели управления WordPress и сначала выполнить поиск по ключевым словам плагина. После того, как вы увидите плагин в поисковых системах, нажмите «Установить сейчас» . Установка займет всего несколько минут.

После завершения установки нажмите «Активировать» , чтобы активировать плагин.

Если вы хотите использовать какой-либо из премиальных плагинов, вы должны загрузить его вручную. Вы можете посмотреть наше подробное руководство по установке плагина WordPress вручную, чтобы узнать больше.

Более того, если вы столкнетесь с какой-либо проблемой при настройке Rank Math SEO, у нас даже есть специальное руководство по настройке Rank Math.

3.2) Отредактируйте файл robots.txt

После активации плагина перейдите в Rank Math > General Settings на панели управления WordPress и выберите вкладку Edit robots.txt . Вы можете видеть, что плагин предоставил вам свой текстовый редактор для редактирования файла robots.txt в этом разделе.

Здесь вы должны добавить все коды и команды в зависимости от веб-страниц, которые вы хотите, чтобы боты сканировали и индексировали. Если вам нужна помощь, мы предоставили все необходимые рекомендации в этом руководстве на одном из предыдущих шагов.

Добавив все необходимые команды и директивы в файл robots.txt, нажмите «Сохранить изменения» .

Большой! Теперь, если вы добавите путь «/robots.txt» в конце домена, вы увидите, что файл был соответствующим образом обновлен. Таким образом, боты поисковых систем будут просматривать только те веб-страницы, которые вы разрешили на основе файла robots.txt.

Заключение

Вот как вы можете создавать и редактировать файл robots.txt в WordPress . Это необходимо сделать, если вы не хотите, чтобы боты поисковых систем просматривали конфиденциальный или дублированный контент вашего сайта. Файл robots.txt также можно использовать для указания ботам сканировать и индексировать определенные страницы вашего веб-сайта.

Подводя итог, вы можете редактировать файл robots.txt тремя основными способами:

• Использование FTP-клиента
• cPanel
• С плагином

Использование FTP-клиента и cPanel очень похоже . Все, что вам нужно сделать, это войти в cPanel или подключить свой сайт к FTP-клиенту и загрузить файл robots.txt. Затем вам нужно загрузить файл robots.txt, созданный вами вручную ранее.

С другой стороны, файл robots.txt будет автоматически добавлен на ваш сайт, если вы используете плагин . Плагины даже предоставляют текстовый редактор, который поможет вам редактировать файл robots.txt.

Итак, теперь вы можете отредактировать файл robots.txt для своего веб-сайта? Дайте нам знать в комментариях, пробовали ли вы его когда-нибудь.

Между тем, если вы нашли эту статью полезной, вот еще несколько сообщений, которые вы можете использовать для настройки или улучшения своего веб-сайта WordPress:

• Как улучшить WordPress SEO: 9 способов
• Лучшие плагины SSL для WordPress (бесплатные и платные)
• Как добавить метаописания в WordPress