Как удалить robots.txt из WordPress

Вы хотите удалить robots.txt из WordPress ? Файл robots.txt необходим для блокировки роботов поисковых систем от индексации определенных страниц вашего сайта. Но если он настроен неправильно, это может вызвать проблемы для вашего сайта, поэтому вам может потребоваться его удаление.

Поэтому, прежде чем мы углубимся в процесс его удаления, вам необходимо иметь более четкое представление о файле robots.txt и о том, почему вам может понадобиться его удалить.

Что такое Robots.txt?

robots.txt — это файл вашего веб-сайта WordPress, который содержит рекомендации для роботов поисковых систем, какие области или страницы вашего веб-сайта следует индексировать и сканировать . Он также информирует поисковые системы с помощью определенных правил и инструкций о том, следует ли индексировать страницы и разделы вашего сайта.

Если мы рассмотрим реальный пример, поисковые роботы Google, также известные как Googlebot, регулярно анализируют веб-сайты, чтобы поддерживать индекс своих страниц в актуальном состоянии. Эти поисковые роботы следуют инструкциям, изложенным в файле robots.txt, при сканировании веб-сайта. Затем они индексируют и сканируют страницы и области вашего веб-сайта в соответствии с рекомендациями, указанными в файле robots.txt.

Точно так же боты поисковых систем всех других известных поисковых роботов индексируют и сканируют ваш сайт с помощью файла robots.txt. Файл удобен для ограничения доступа ботов к определенным областям, страницам или каталогам веб-сайта. Но в то же время вы можете извлечь выгоду, удалив или отключив файл robots.txt с вашего сайта WordPress в некоторых случаях.

Почему вы должны удалить Robots.txt из WordPress?

Есть много причин, по которым стоит подумать об удалении или отключении файла robots.txt с вашего сайта WordPress. Вот несколько из них:

• Непреднамеренные ограничения. Иногда файл robots.txt может содержать правила, которые непреднамеренно ограничивают доступ сканеров поисковых систем к важным страницам или разделам вашего веб-сайта. Это может негативно повлиять на видимость вашего сайта в результатах поиска и повлиять на рейтинг вашего сайта.
• Разрабатываемые или промежуточные сайты. Если у вас есть разрабатываемый или промежуточный сайт для целей тестирования, вы можете не захотеть, чтобы поисковые системы индексировали эти сайты. Поэтому, если вы удалите файл robots.txt, вы можете быть уверены, что сканеры поисковых систем не будут индексировать или отображать эти сайты в результатах поиска. Это позволяет вам сосредоточиться на тестировании и доработке вашего сайта на ранней стадии разработки и тестирования без риска того, что он будет виден пользователям.
• Улучшенная индексация: сканеры поисковых систем могут свободно получать доступ и индексировать страницы и контент вашего веб-сайта, когда вы удаляете файл robots.txt. Таким образом, они могут обнаруживать и включать в свой индекс более широкий спектр контента вашего сайта. Это может быть полезно, если вы хотите обеспечить максимальную видимость и возможность обнаружения содержимого вашего веб-сайта.
• Конфликты плагинов. Конфликты между определенными плагинами вашего веб-сайта WordPress и файлом robots.txt иногда могут приводить к неожиданным проблемам или ошибкам. Таким образом, удаление файла robots.txt может помочь разрешить такие конфликты и обеспечить бесперебойную работу вашего сайта WordPress.

Однако важно отметить, что удаление файла robots.txt — это непростое решение, и обычно его не рекомендуется принимать . Подумайте о последствиях и проконсультируйтесь с экспертом, прежде чем продолжить, если вы не уверены в том, как это повлияет на эффективность SEO вашего сайта.

Как удалить robots.txt из WordPress

Вы можете удалить или отключить файл robots.txt из WordPress двумя основными способами :

1. Использование FTP-клиента
2. cPanel

Мы подробно рассмотрим эти методы в пошаговом руководстве по удалению robots.txt из WordPress. Оба способа похожи друг на друга. Но сначала вы должны получить доступ к FTP или cPanel вашего сайта.

Примечание. Перед удалением файла robots.txt со своего веб-сайта убедитесь, что вы сделали его копию. Затем вы можете снова загрузить исходный файл на свой веб-сайт, если во время процедуры вы внесете какие-либо непреднамеренные изменения, которые могут привести к ошибкам или ошибкам.

1. Удалите Robots.txt с помощью FTP-клиента.

Использовать FTP-клиент для удаления robots.txt с вашего сайта WordPress очень просто. Вы можете получить доступ к FTP для WordPress с помощью FTP-клиента, такого как FileZilla или Cyberduck. Затем вы можете начать редактировать файлы своего веб-сайта, используя его.

Для этого урока мы будем использовать FTP-клиент FileZilla , который вы можете загрузить и установить на свой компьютер с их веб-сайта. Но вы можете использовать любой FTP-клиент, который вам нравится. Шаги почти идентичны друг другу.

После установки FTP-клиента вам необходимо подключить свой веб-сайт к FTP-клиенту. Поэтому откройте приложение FileZilla на своем компьютере и выберите «Файл» > «Диспетчер сайтов» в верхнем левом углу строки меню. Вы также можете использовать сочетание клавиш Ctrl+S на клавиатуре для доступа к менеджеру сайта.

Затем нажмите «Новый сайт» и введите имя своего веб-сайта в разделе «Мои сайты» .

Теперь откройте вкладку «Общие» в правой части экрана, где вам нужно будет ввести учетные данные для подключения вашего сайта к FTP-клиенту. Если у вас нет необходимых учетных данных, вы можете запросить их у своего хостинг-провайдера.

После того, как вы введете учетные данные, нажмите «Подключиться» .

Теперь у вас будет доступ к каталогу файлов вашего веб-сайта, откуда вы можете удалить файл robust.txt вашего веб-сайта WordPress. Файл robots.txt находится в корневом каталоге вашего веб-сайта, также называемом папкой « public_html ». Вы можете перейти к нему с помощью Filezilla Explorer.

Найдя файл robots.txt, щелкните его правой кнопкой мыши и выберите «Удалить» .

Вот и все! Вы успешно удалили файл robots.txt со своего сайта WordPress.

2. Удалите Robots.txt из cPanel.

Если вам нужен более прямой подход к ручному удалению файла robots.txt с вашего сайта WordPress, вы можете использовать cPanel. Все, что вам нужно сделать, это войти в свою учетную запись cPanel, используя ссылку, предоставленную вашим хостинг-провайдером. Опять же, вы можете связаться со своим хостинг-провайдером, если у вас нет необходимых учетных данных и данных.

После входа в cPanel прокрутите до раздела «Файлы» и нажмите «Диспетчер файлов» . Теперь вы можете получить доступ ко всем файлам вашего сайта WordPress.

Затем перейдите в корневой каталог или папку « public_html », так как файл robots.txt находится здесь. Теперь выберите файл robots.txt и нажмите «Удалить» в строке меню файлового менеджера.

Большой! Ваш файл robots.txt теперь удален с вашего сайта WordPress.

Как отключить robots.txt в WordPress?

Вышеупомянутые подходы могут помочь вам удалить файл robots.txt с вашего сайта WordPress. Но обычно это не рекомендуется, так как файл очень важен для вашего SEO. Поэтому, если вам нужен более безопасный вариант, вы можете отключить файл robots.txt на своем веб-сайте WordPress.

В результате файл robots.txt будет присутствовать в каталоге файлов вашего веб-сайта, даже если для роботов поисковых систем не будет никаких ограничений на сканирование и индексирование вашего веб-сайта. Есть несколько способов отключить файл robots.txt в WordPress. Вы можете сделать это прямо из панели инструментов WordPress или отредактировать файл вручную с помощью плагина, FTP или cPanel.

1. Отключите Robots.txt из панели управления WordPress.

Отключить файл robots.txt на панели инструментов WordPress очень просто. Все, что вам нужно сделать, это перейти в «Настройки»> «Чтение с панели управления WordPress», снять флажок «Видимость в поисковых системах» и сохранить изменения .

Это удалит все содержимое файла robots.txt на вашем веб-сайте WordPress и изменит его на:

 Пользовательский агент: *
Запретить:

Следовательно, это предотвратит индексацию вашего сайта поисковыми системами. Но решение удовлетворить этот запрос лежит на поисковых системах.

2. Отключить Robots.txt с помощью плагина

Вы также можете отредактировать и отключить файл robots.txt с помощью плагина, если вы уже используете плагин SEO на своем веб-сайте WordPress. Это может сэкономить много времени, если вы не хотите, чтобы роботы поисковых систем индексировали ваш сайт с помощью файла robots.txt.

Несколько SEO-плагинов WordPress позволяют редактировать и отключать файл robots.txt. Но для этой демонстрации мы будем использовать плагин Rank Math SEO .

Он имеет очень простой интерфейс для редактирования файла robots.txt. Это позволит очень легко редактировать и удалять содержимое файла robots.txt вашего веб-сайта WordPress, чтобы деактивировать его.

Если вы хотите использовать любой другой SEO-плагин, вы можете это сделать. Шаги очень похожи для каждого плагина. Таким образом, вы должны установить и активировать плагин, прежде чем начать его использовать.

2.1. Установите и активируйте плагин

Чтобы установить плагин, перейдите в «Плагины» > «Добавить новый» на панели управления WordPress и найдите ключевые слова плагина. Как только он отобразится в результатах поиска, нажмите «Установить сейчас» .

Установка будет завершена всего за несколько секунд. Затем нажмите «Активировать» , чтобы активировать плагин.

Вы также можете вручную загрузить и установить плагин, если хотите использовать какие-либо премиальные SEO-плагины. Пожалуйста, ознакомьтесь с нашим руководством по ручной установке плагина WordPress, если вам нужна помощь.

2.2. Редактировать и отключить файл robots.txt

После активации плагина перейдите в Rank Math > General Settings на панели инструментов WordPress и откройте вкладку Edit robots.txt . Это позволит вам редактировать коды и инструкции, которые вы хотите включить в файл robots.txt. Плагин даже предоставил здесь текстовый редактор для добавления или удаления кодов и инструкций в файле robots.txt.

Если вы редактировали этот файл ранее, вы можете увидеть здесь несколько инструкций в зависимости от страниц, которые вы не хотите, чтобы роботы поисковых систем сканировали и индексировали. С другой стороны, если это файл robots.txt по умолчанию , созданный WordPress, вы увидите следующие сведения:

 Пользовательский агент: *
Запретить: /wp-admin/
Разрешить: /wp-admin/admin-ajax.php

Здесь все, что вам нужно сделать, это удалить все дополнительные коды в файле robots.txt и оставить файл со следующими инструкциями:

 Пользовательский агент: *
Запретить:

После того, как вы добавите приведенную выше инструкцию, нажмите «Сохранить изменения» .

Вот и все! Вы успешно отключили файл robots.txt с помощью плагина.

3. Отключите Robots.txt с помощью FTP-клиента или cPanel.

Файл robots.txt также можно отключить с помощью FTP-клиента или cPanel . При таком подходе вам не нужно удалять содержимое файла robots.txt с вашего сайта WordPress. Однако вам нужно создать новый файл robots.txt с помощью любого текстового редактора и включить только следующие инструкции :

 Пользовательский агент: *
Запретить:

Убедитесь, что вы сохранили файл как « robots.txt ».

Теперь все, что вам нужно сделать, это загрузить и заменить только что созданный файл robots.txt более старым с помощью FTP-клиента или cPanel.

Если вы хотите использовать FTP , вы можете сначала подключить свой веб-сайт к FTP-клиенту, выполнив действия, описанные в этом руководстве. Затем загрузите новый файл robots.txt в корневой каталог или папку « public_html ».

Точно так же, если вы хотите использовать cPanel для отключения файла robots.txt, вы можете сначала войти в свою учетную запись cPanel и открыть каталог файлов . Вы можете выполнить шаги из раздела «Удалить Robots.txt из cPanel» этого руководства. Затем перейдите в папку « public_html » и загрузите сюда только что созданный файл robots.txt.

Если вам нужна помощь в редактировании этого файла, ознакомьтесь с нашим подробным руководством по редактированию robots.txt в WordPress.

Заключение

Это различные методы, с помощью которых вы можете отключить или удалить файл robots.txt с вашего сайта WordPress . Это может быть удобно, если на вашем сайте возникают проблемы из-за файла robots.txt. Его удаление также может принести вам пользу, если ваш веб-сайт находится на стадии разработки или если вы вообще хотите расширенную индексацию.

Но подведем итог: вы можете полностью удалить файл robots.txt со своего сайта WordPress двумя основными способами:

• Использование FTP-клиента
• cPanel

Оба эти подхода очень эффективны для удаления файла robots.txt с вашего сайта. Но поскольку это обычно не рекомендуется, вы также можете отключить его, если хотите оставаться в большей безопасности. Вы можете отключить его с помощью панели управления WordPress или отредактировать с помощью плагина, FTP или cPanel.

Итак, теперь вы можете удалить или отключить файл robots.txt? Дайте нам знать, если вы когда-нибудь пробовали это.

А пока вот еще несколько руководств, которые помогут вам настроить или улучшить ваш веб-сайт WordPress:

• Как настроить Rank Math SEO? Правильный путь!
• Удалить Yoast SEO из базы данных в WordPress
• Как улучшить SEO WordPress