WordPress SEO 抓取预算问题以及如何解决它

您是否正在尝试解决 WordPress SEO 抓取预算问题？

SEO 抓取预算是搜索引擎抓取您网站上的页面的次数。 较低的抓取预算可能会延迟您的页面及时被索引。 这可能会损害您的 SEO 排名并降低您的整体流量。

在本文中，我们将解释 WordPress SEO 抓取预算问题以及如何快速修复它。

因为这是一个很大的话题，所以我们将其分解为易于理解的部分。 以下是我们将在本文中介绍的不同项目：

搜索抓取如何工作？

像谷歌这样的搜索引擎使用复杂的机器人（计算机程序）来访问互联网上的网站。

这些机器人在网站上查找更改并将其与主要搜索索引进行比较。

如果他们发现新内容，则将其添加到搜索索引中。 如果他们发现索引中已经存在但已更改的内容，则他们会使用新内容更新索引。

他们跟随页面上的链接，然后对这些页面也执行相同的操作。

机器人从一个链接移动到页面上的其他链接的方式类似于真正的蜘蛛在其网络上爬行的方式。

这就是为什么使用术语抓取来描述此活动的原因，您有时可能会看到被称为搜索引擎蜘蛛的机器人。

为了获得更好的 SEO，您需要确保搜索引擎可以轻松抓取您的网站。

什么是 SEO 抓取预算？

SEO 抓取预算是 Google 等搜索引擎抓取您网站上的页面的次数。

谷歌机器人每天抓取数十亿个页面。 他们试图计算他们将在每个网站域上抓取多少页面以有效利用资源。

这个数字是由爬行算法基于多种因素自动确定的。

它每天都在波动，这意味着 Google 机器人将在您的 WordPress 网站上抓取多少页没有固定的数字。

一般来说，内容较多的大型网站的抓取预算较高，而较小的网站预算较低。

其他因素也会影响抓取预算，例如 URL 的受欢迎程度、新鲜度、更新频率等。

但是，由于多种原因，您可能会在不需要的页面上失去抓取预算。

例如，如果您的网站没有得到适当的优化，那么搜索引擎会将您的抓取预算花费在网站中不太重要的部分而不是重要内容上。

是什么导致 WordPress SEO 抓取预算问题

WordPress 生成 URL 和重复内容的方式可能会导致抓取预算问题。

例如，WordPress 会自动为您网站的不同区域生成 RSS 提要。

主博客、类别和标签、每个单独的帖子和页面上的评论都有 RSS 提要，甚至自定义帖子类型都有单独的 RSS 提要 URL。

这些 RSS 提要的链接被添加到您网站的 HTML 源代码中，这使得它们可以被搜索引擎发现。

现在，搜索引擎足够聪明，可以识别重复内容并忽略它。 但是，他们仍然会抓取它们并花费您的 SEO 抓取预算。

除此之外，搜索引擎会比需要的更多地抓取不太重要的项目。 这包括您的档案、分类法、作者、PDF 文件等。

WordPress 插件或其他第三方工具也可以将查询参数添加到您的 WordPress URL。

Google 的蜘蛛可能会将这些查询参数视为不同的页面并对其进行抓取。

例如，UTM 参数用于 Google Analytics 跟踪，带有或不带有这些查询参数的页面看起来仍然相同。

示例： https://yourdomain.com/landingpage/?utm_source=newsletter ://yourdomain.com/landingpage/?utm_source=newsletter

这会将您的 SEO 抓取预算浪费在不太重要的项目上，并成为一个问题。

如何计算您的 SEO 抓取预算

SEO 抓取预算不是固定的页数。

它波动很大，并且没有可靠的方法来预测谷歌在任何一天将在您的网站上抓取多少页面。

但是，您可以根据最近的抓取活动获得一个相当不错的想法，以了解 Google 如何抓取您的网站。

如果您还没有这样做，您首先需要将您的网站添加到 Google Search Console。 它是 Google 提供的免费工具，可帮助网站所有者了解其网站在 Google 搜索中的表现。

只需转到您的 Search Console 信息中心。 从左栏中切换到“设置”菜单，然后点击“抓取统计信息”旁边的“打开报告”。

抓取统计报告将显示过去几周内您网站上的抓取请求的概览。

您可以将鼠标悬停在图表上以查看每天请求的页面数。

这可以让您了解在此期间您网站的平均抓取率。

在此之下，您可以看到按响应代码、文件类型、用途和 Google 机器人类型划分的抓取活动细分。

从这里，您可以看到在错误、联合（RSS 提要）、JavaScript、CSS、图像等方面花费了多少抓取预算。

这为您提供了可以优化以更有效地利用 SEO 抓取预算的项目的快照。

例如，如果你有很多 404 错误被爬取，那么你可以使用重定向插件来确保这些爬虫登陆有用的内容。

（在本文后面，我们将逐步向您展示如何重定向抓取错误。）

为什么你应该关心 SEO 抓取预算

搜索引擎需要有效地抓取您的网站，以便他们可以按时正确索引您的内容。

但是，如果您的 SEO 抓取预算被浪费，那么您的重要和较新的内容可能无法按时抓取。

搜索引擎甚至可能需要数周时间才能注意到您旧文章的更新或发现您的新内容。

您将错过从搜索引擎获得流量的机会，您的 SEO 排名可能不会提高，您肯定会在销售或广告收入上蒙受损失。

如何在 WordPress 中轻松优化 SEO 抓取预算

在 WordPress 中优化您的 SEO 抓取预算的最简单和最安全的方法是使用 WordPress 的多合一 SEO。

它是最好的 WordPress SEO 插件，内置 SEO 抓取优化工具。

首先，您需要安装并激活 All in One SEO for WordPress 插件。 有关更多详细信息，请参阅我们关于如何安装 WordPress 插件的分步指南。

注意：还有一个免费版本的 All in One SEO，其中还包括爬网清理功能。 我们建议使用付费插件的 PRO 计划，因为它还可以让您访问重定向管理器工具来修复您网站上的 404 错误。

激活后，插件将向您显示设置向导。 只需按照屏幕上的说明设置插件。

之后，您可以转到All in One SEO » Search Appearance页面。

然后，只需切换到高级选项卡。

向下滚动到页面底部，您将看到“抓取清理”选项。

单击切换开关以启用“抓取清理”功能。

您将在爬网清理中看到的第一个选项是删除查询参数。

在此之下，您可以提供要允许的查询参数列表。 高级用户可以在这里使用 Regex 正则表达式。

接下来，您将看到 WordPress RSS 提要的选项。 All in One SEO 将向您展示 WordPress 生成的所有不同类型的 RSS 提要，您可以禁用不太重要的 RSS 提要。

例如，如果您有一个单作者博客，那么您可以禁用作者提要。

禁用所有不需要的 RSS 提要后，不要忘记单击“保存更改”按钮来存储您的设置。

如何为错误页面设置重定向

多合一 SEO 将自动为您禁用的提要设置重定向。 例如，标签 RSS 提要现在会将用户重定向到标签存档页面。

接下来，您需要切换到 Google Search Console 仪表板并打开抓取统计报告。

从这里，您可以看到导致错误的页面。

现在，根据状态代码，您可以为这些页面设置重定向。

例如，您可以将 404 错误重定向到类似页面。 您可以检查其他有错误的页面并为它们设置重定向。

多合一 SEO 使在您的 WordPress 网站上设置重定向变得非常容易。 只需转到All in One SEO » 重定向页面，然后在“源 URL”下添加旧 URL，在“目标 URL”字段下添加新 URL。

单击“添加重定向”按钮以保存您的设置。 然后，您可以根据需要重复该过程以设置更多重定向。 有关更多详细信息和替代方法，请参阅我们关于如何在 WordPress 中设置重定向的指南。

我们希望这篇文章能帮助您了解 WordPress SEO 抓取预算问题以及如何解决它。 您可能还想查看有关使用 Google Search Console 增加流量的这些专家提示，或查看有关如何提高 WordPress 中的自然点击率的实际示例。

如果您喜欢这篇文章，请订阅我们的 YouTube 频道以获取 WordPress 视频教程。 您也可以在 Twitter 和 Facebook 上找到我们。