Проблема WordPress SEO Crawl Budget и способы ее решения

Вы пытаетесь решить проблему краулингового бюджета WordPress SEO?

Бюджет SEO-сканирования — это количество раз, которое поисковые системы будут сканировать страницы вашего сайта. Меньший краулинговый бюджет может задержать своевременную индексацию ваших страниц. Это может повредить вашему SEO-рейтингу и снизить общий трафик.

В этой статье мы расскажем о проблеме краулингового бюджета WordPress SEO и о том, как ее быстро решить.

Поскольку это огромная тема, мы разбили ее на простые для понимания разделы. Вот различные элементы, которые мы рассмотрим в этой статье:

Как работает поисковое сканирование?

Поисковые системы, такие как Google, используют сложных ботов (компьютерных программ) для посещения веб-сайтов в Интернете.

Эти боты ищут изменения на сайте и сравнивают их с основным поисковым индексом.

Если они обнаруживают новый контент, то добавляют его в поисковый индекс. Если они находят содержимое, которое уже есть в индексе, но было изменено, они обновляют индекс свежим содержимым.

Они переходят по ссылкам на странице, а затем делают то же самое и для этих страниц.

То, как боты переходят от одной ссылки к другой на странице, похоже на то, как настоящие пауки ползают по своей паутине.

Вот почему термин сканирование используется для описания этой деятельности, и вы можете иногда видеть ботов, называемых поисковыми роботами.

Для лучшего SEO вам нужно убедиться, что поисковые системы могут легко сканировать ваш сайт.

Что такое SEO-сканирующий бюджет?

Бюджет сканирования SEO — это количество раз, которое поисковые системы, такие как Google, будут сканировать страницы на вашем сайте.

Боты Google ежедневно сканируют миллиарды страниц. Они пытаются рассчитать, сколько страниц они будут сканировать на каждом домене веб-сайта, чтобы эффективно использовать ресурсы.

Это число автоматически определяется алгоритмами сканирования на основе множества факторов.

Он колеблется ежедневно, а это означает, что нет фиксированного числа страниц, которые бот Google будет сканировать на вашем веб-сайте WordPress.

Как правило, более крупные веб-сайты с большим количеством контента имеют более высокий краулинговый бюджет, а более мелкие веб-сайты имеют меньший бюджет.

На краулинговый бюджет влияют и другие факторы, такие как популярность URL-адреса, актуальность, частота обновлений и т. д.

Однако по ряду причин вы можете терять краулинговый бюджет на нежелательных страницах.

Например, если ваш веб-сайт не оптимизирован должным образом, поисковые системы будут тратить ваш краулинговый бюджет на менее важные части вашего веб-сайта, чем на важный контент.

Что вызывает проблемы с бюджетом сканирования WordPress SEO

То, как WordPress генерирует URL-адреса и дублирует контент, может вызвать проблемы с краулинговым бюджетом.

Например, WordPress автоматически генерирует RSS-каналы для разных областей вашего сайта.

Существуют RSS-каналы для основного блога, категорий и тегов, комментариев к каждому отдельному сообщению и странице, и даже пользовательские типы сообщений имеют отдельные URL-адреса RSS-канала.

Ссылки на эти RSS-каналы добавляются в исходный HTML-код вашего веб-сайта, что делает их доступными для поисковых систем.

Теперь поисковые системы достаточно умны, чтобы распознавать повторяющийся контент и игнорировать его. Тем не менее, они все равно будут сканировать их и тратить ваш бюджет сканирования SEO.

Кроме того, поисковые системы будут сканировать менее важные элементы намного больше, чем необходимо. Сюда входят ваши архивы, таксономии, авторы, PDF-файлы и многое другое.

Плагины WordPress или другие сторонние инструменты также могут добавлять параметры запроса к вашим URL-адресам WordPress.

Поисковые роботы Google могут считать эти параметры запроса другой страницей и сканировать их.

Например, параметры UTM используются для отслеживания Google Analytics, и страница с этими параметрами запроса или без них будет выглядеть одинаково.

Пример: https://yourdomain.com/landingpage/?utm_source=newsletter .

Это тратит ваш краулинговый бюджет SEO на менее важные элементы и становится проблемой.

Как рассчитать бюджет SEO-сканирования

Бюджет сканирования SEO не является фиксированным количеством страниц.

Он сильно колеблется, и нет надежного способа предсказать, сколько страниц Google будет сканировать на вашем сайте в любой день.

Тем не менее, вы можете получить довольно приличную идею, основываясь на недавней активности сканирования, чтобы увидеть, как Google сканирует ваш сайт.

Если вы этого еще не сделали, вам сначала нужно добавить свой веб-сайт в Google Search Console. Это бесплатный инструмент, предоставляемый Google, чтобы помочь владельцам веб-сайтов узнать, как их веб-сайт работает в поиске Google.

Просто перейдите на панель инструментов Search Console. Перейдите в меню «Настройки» в левом столбце и нажмите «Открыть отчет» рядом с «Статистика сканирования».

Отчет "Статистика сканирования" покажет обзор запросов на сканирование вашего веб-сайта за последние несколько недель.

Вы можете навести указатель мыши на диаграмму, чтобы увидеть, сколько страниц запрашивалось каждый день.

Это дает вам представление о средней скорости сканирования вашего сайта в этот период времени.

Ниже вы можете увидеть разбивку активности сканирования по коду ответа, типам файлов, цели и типу бота Google.

Отсюда вы можете увидеть, сколько краулингового бюджета расходуется на ошибки, распространение (RSS-каналы), JavaScript, CSS, изображения и многое другое.

Это дает вам моментальный снимок элементов, которые вы можете оптимизировать для более эффективного использования краулингового бюджета SEO.

Например, если у вас сканируется много ошибок 404, вы можете использовать плагин перенаправления, чтобы эти сканеры попадали на полезный контент.

(Позже в этой статье мы покажем вам, как шаг за шагом перенаправлять ошибки сканирования.)

Почему вы должны заботиться о бюджете SEO-сканирования

Поисковым системам необходимо эффективно сканировать ваш веб-сайт, чтобы они могли вовремя правильно проиндексировать ваш контент.

Однако, если ваш бюджет сканирования SEO тратится впустую, то ваш важный и новый контент может не сканироваться вовремя.

Поисковым системам могут потребоваться недели, чтобы заметить обновления ваших старых статей или обнаружить ваш новый контент.

Вы упустите трафик из поисковых систем, ваш SEO-рейтинг может не улучшиться, и вы определенно потеряете деньги на продажах или доходах от рекламы.

Как легко оптимизировать бюджет SEO-сканирования в WordPress

Самый простой и безопасный способ оптимизировать краулинговый бюджет SEO в WordPress — это использовать All-in-One SEO для WordPress.

Это лучший SEO-плагин для WordPress, который поставляется со встроенным инструментом SEO-оптимизации.

Во-первых, вам нужно установить и активировать плагин All in One SEO for WordPress. Для получения более подробной информации см. наше пошаговое руководство по установке плагина WordPress.

Примечание. Существует также бесплатная версия All in One SEO, которая также включает функцию очистки сканирования. Мы рекомендуем использовать план PRO платного плагина, потому что он также даст вам доступ к инструменту диспетчера перенаправления для исправления ошибок 404 на вашем веб-сайте.

После активации плагин покажет вам мастер установки. Просто следуйте инструкциям на экране, чтобы настроить плагин.

После этого вы можете перейти на страницу All in One SEO »Search Appearance .

Затем просто перейдите на вкладку «Дополнительно».

Прокрутите вниз до нижней части страницы, и там вы увидите опцию «Очистка сканирования».

Щелкните переключатель, чтобы включить функцию «Очистка сканирования».

Первый вариант, который вы увидите при очистке сканирования, — удалить аргументы запроса.

Ниже вы можете предоставить список аргументов запроса, которые вы хотите разрешить. Опытные пользователи могут использовать здесь регулярные выражения Regex.

Далее вы увидите параметры для RSS-каналов WordPress. All in One SEO покажет вам все различные виды RSS-каналов, созданных WordPress, и вы можете отключить менее важные RSS-каналы.

Например, если у вас есть блог с одним автором, вы можете отключить каналы авторов.

После отключения всех нежелательных RSS-каналов не забудьте нажать кнопку «Сохранить изменения», чтобы сохранить настройки.

Как настроить перенаправления для страниц с ошибками

All in One SEO автоматически настроит перенаправления для каналов, которые вы отключили. Например, RSS-канал тегов теперь будет перенаправлять пользователей на страницу архива тегов.

Затем вам нужно переключиться на панель инструментов Google Search Console и открыть отчет о статистике сканирования.

Отсюда вы можете увидеть страницы, которые привели к ошибкам.

Теперь, в зависимости от кода состояния, вы можете настроить переадресацию для этих страниц.

Например, вы можете перенаправить ошибку 404 на аналогичную страницу. Вы можете проверить другие страницы с ошибками и настроить для них редиректы.

All in One SEO позволяет очень легко настроить переадресацию на вашем сайте WordPress. Просто перейдите на страницу All in One SEO » Redirects и добавьте старый URL-адрес в поле «Исходный URL-адрес» и новый URL-адрес в поле «Целевой URL-адрес».

Нажмите кнопку «Добавить перенаправление», чтобы сохранить настройки. Затем вы можете просто повторить процесс, чтобы настроить дополнительные перенаправления по мере необходимости. Дополнительные сведения и альтернативные методы см. в нашем руководстве по настройке перенаправлений в WordPress.

Мы надеемся, что эта статья помогла вам узнать о проблеме краулингового бюджета WordPress SEO и о том, как ее решить. Вы также можете ознакомиться с советами экспертов по использованию Google Search Console для увеличения трафика или увидеть практические примеры того, как улучшить показатель органической кликабельности в WordPress.

Если вам понравилась эта статья, подпишитесь на наш канал YouTube для видеоуроков по WordPress. Вы также можете найти нас в Twitter и Facebook.