如何优化您的 WordPress Robots.txt（高级指南）

你们中的许多人可能听说过 robots.txt 文件，但你知道它在哪里以及它的外观吗？ 最重要的是，您知道如何优化您的 WordPress robots.txt 文件以提升 SEO 吗？

本文将涵盖这些问题，为您提供正确且清晰的 WordPress robots.txt 文件图片。 从那里，您可以使用该文件来增加您在 SERP 上的在线可见性或隐藏您的敏感内容不让公众看到。

我们将从 robots.txt 位置及其示例开始，重点介绍编辑文件的方法，然后以有关 WordPress robots.txt 优化的高级技巧结束这篇文章。

让我们潜入吧！

• WordPress robots.txt 位置在哪里？
• 如何在 WordPress 中编辑 robots.txt？
• 如何为 SEO 优化您的 WordPress Robots.txt 文件

WordPress robots.txt 位置在哪里？

robots.txt 文件位于您网站的根文件夹中。 它的主要职责是指导搜索引擎机器人如何抓取和索引您的网站。 特别是，它拒绝搜索引擎访问某些文件和文件夹。

许多 WordPress 网站所有者使用 robots.txt 文件来阻止搜索索引。 这听起来违反直觉，对吧？ 考虑到 SEO 或在 SERP 上获得第一名的事实是在线业务成功的关键组成部分。

尽管如此，如果您的网站处于开发模式，或者包含一些低质量或个人内容，robot.txt 证明在块抓取和索引这些内容方面很方便。 从这里，您可以优化您的 WordPress robots.txt 文件，以优先考虑您的顶级登录页面，如销售页面、产品页面或赞助帖子。

同样，您还可以优化您的爬网配额。 抓取配额或抓取预算是指 Google 机器人在任何给定时间抓取的 WordPress 网站上的页面数。 允许您的重要页面抓取预算有助于快速将它们编入索引并在搜索结果的第一页上排名。

但是，请注意优化 robots.txt 文件，因为如果做得不好可能会损害您的 SEO。

WordPress Robots.txt 示例

您可以通过在域名末尾添加/robots.txt来查看任何网站的 robots.txt 文件。 所以 robots.txt 文件看起来像这样。

robots.txt 文件中的用户代理是读取 robots.txt 文件的搜索引擎。 如果在用户代理中标有星号，这意味着它为所有搜索引擎开了绿灯。

在 robots.txt 文件中，允许和禁止告诉机器人它们可以和不能抓取哪些页面和内容。 如您所见，我们允许搜索引擎在我们的 WordPress admin-ajax 中抓取和索引文件，并禁止访问插件和管理文件夹。

站点地图是一个 XML 文件，其中包含您网站上所有页面的列表和详细信息。

如何在 WordPress 中编辑 Robots.txt？

在 WordPress 中编辑 robots.txt 的最简单方法是使用插件。 有几个强大的 SEO 插件擅长帮助您编辑 robots.txt 文件，All in one SEO、YoastSEO、RankMath 等，仅举几例。

除此之外，您还可以寻求专门为优化 WordPress robots.txt 文件而开发的插件的帮助，例如 Virtual Robots.txt、WordPress Robots.txt 优化等等。

或者，您可以通过 FTP 客户端手动编辑文件。 首先，您需要使用 FTP 客户端连接您的 WordPress 托管服务提供商。 之后，在您网站的根目录中找到 robots.txt 文件。

如果您在那里没有看到 robots.txt 文件，那么您的网站很可能没有该文件。 不要惊慌，只需创建一个新的。 点击右键并选择“创建新文件”，然后将其下载到您的桌面。 Robots.txt 是一个纯文本文件，这意味着您可以像使用写字板或记事本等文本编辑器一样正常下载和编辑它。

之后，更新您的更改，再次将您编辑的 robots.txt 文件上传到根文件夹，您就完成了。

测试您的 Robots.txt 文件

您需要确保您的 robots.txt 文件在编辑后正常运行。 如果出现任何错误，可能会导致您的网站被排除在搜索结果页面之外。

在众多的 robots.txt 测试工具中，我们建议您使用 Google Search Console，让您免费测试您的 robots.txt 文件。

确保您已将网站 URL 提交到 Google Search Console，以便该工具验证您的身份验证。 如果没有，请查看我们的指南，了解如何将您的网站提交给搜索引擎。

那么您就可以使用 Google Search Console 机器人测试工具了。 在下拉菜单中选择属性后，该工具会立即检查文件，然后在有任何错误和警告时通知您。

不仅如此，该工具还允许您在站点上输入特定页面，然后选择特定的用户代理来检查该页面是否被索引阻止或索引被接受。

您可以直接在工具上编辑文件并重新运行测试。 但是，实际文件仍然保持不变。 您可能需要复制版本并粘贴到实际文件上并将其保存在那里。

如何为 SEO 优化您的 WordPress Robots.txt 文件

强烈建议选择性地禁止某些敏感页面，例如/wp-admin/ 、 /wp-content/plugins/ 、 /trackback/和/readme.html ，而其余的保持“允许”。

此外，您可以通过添加站点地图来优化您的 WordPress robots.txt 文件。 虽然 WordPress 提供了自己的站点地图，但您可以使用 YoastSEO 或 All in One SEO 等 SEO 插件来构建您的自定义站点地图。 它们使您能够为帖子和页面创建单独的站点地图。

届时，将这些站点地图添加到您的 robots.txt 文件将促进机器人更快速、更轻松地抓取。

最重要的是，尽管有优化的想法，但强烈建议不要过度触摸或过度编辑 robots.txt 文件。 这是因为在文件中更改太多可能会损害您的页面结构并错误地通知机器人阻止抓取您的网站。

所以，少即是多。 您只需要专注于您的站点地图并首先发现您的热门页面。

立即提高您的在线知名度！

Robots.txt 是一个重要文件，可让您战略性地优化抓取配额并隐藏搜索索引中的私人内容。

本文向您展示了什么是 robots.txt 文件，在哪里可以找到它，以及如何编辑该文件。 我们还向您介绍了如何针对 SEO 优化您的 WordPress robots.txt 文件。 问题是，robots.txt 中的版本越少越好。 并且不要忘记将自定义站点地图添加到文件中以提高关键页面的可见性。

你在等什么？ 立即使用 robots.txt 文件提高您的在线知名度！