如何在 WordPress 中编辑 robots.txt（使用和不使用插件）

已发表: 2023-05-25

您是否正在寻找在 WordPress 中编辑 robots.txt 的最有效方法？ 如果您想让搜索引擎抓取工具知道他们应该抓取和索引您网站的页面和部分，它们是至关重要的。

即使 WordPress 默认为您的网站生成一个 robots.txt 文件，您可能仍需要更改它以管理搜索引擎可以查看的内容。 如果您不熟悉 robots.txt，请不要担心。 我们将解释什么是 robots.txt 以及为什么必须编辑它，以及使用本教程在您的 WordPress 网站上编辑它的各种方法。

因此，让我们深入了解 robots.txt 是什么。

什么是 Robots.txt？

Robots.txt 是您网站根目录中的一个纯文本文件，其中包含网络机器人或机器人应该在您网站的哪些页面或区域上抓取和索引的说明。 该文件告诉搜索引擎是否应根据网站的具体规定对页面或部分进行索引。

例如，网络爬虫（如 Google 网络爬虫）会定期检查网站以更新其页面索引。 这些来自 Google 的网络爬虫，也称为 Googlebot，按照 robots.txt 文件中的说明检查网站。

robots.txt 文件的主要目的是帮助网站管理员控制搜索引擎可以在其网站上访问的信息。 您可以使用该文件来防止机器人访问特定站点或目录。 但请记住，除了 Googlebot 和其他著名的网络爬虫之外，某些机器人可能不会遵循文件中的指南。

为什么要编辑 Robots.txt 文件？

在 WordPress 中编辑 robots.txt 文件有几个好处。 以下是一些注意事项：

  • 阻止不需要的机器人程序：某些机器人程序可能对您的网站没有好处，或者可能会消耗您服务器上的宝贵资源。 这可能会导致网站加载时间变慢并降低您的网站性能。 因此，编辑您的 robots.txt 文件可以帮助您阻止不需要的机器人抓取您的网站并提高网站的整体速度。
  • 保护敏感信息：您网站上的某些页面可能包含您不希望搜索引擎索引的敏感信息。 这可能包括个人数据、机密商业信息、受密码保护的内容，甚至是与法律或合规相关的内容。
    您可以通过编辑 robots.txt 文件来防止这些页面被抓取和编入索引。 这甚至有助于保护您网站的隐私和安全。
  • 将机器人定向到特定页面：您还可以使用 robots.txt 将机器人定向到您网站上您希望搜索引擎抓取和索引的特定页面。 这使您可以优先考虑要在搜索引擎结果中排名更高的页面。
  • 防止索引重复内容：您的网站上可能有包含相似内容的页面，例如类别或标签页。 如果是这样，您可以使用 robots.txt 文件来防止搜索引擎机器人将它们编入索引。 这有助于避免对您网站的搜索引擎排名产生负面影响的重复内容问题。

现在您已了解什么是 robots.txt 文件以及它们为何必不可少，让我们继续下一节，我们将向您展示如何对其进行自定义。

如何在 WordPress 中编辑 Robots.txt

您可以在 WordPress 中以3 种主要方式编辑 robots.txt 文件：

  1. 使用 FTP 客户端
  2. 面板
  3. 带插件

我们将详细介绍这些方法中的每一种。 但是，如果您使用FTP 客户端或 cPanel 方法，则必须先手动创建一个 robots.txt 文件。

当您启动网站时， WordPress 默认会创建一个虚拟的 robots.txt 文件。 可以通过在域末尾添加路径“ /robots.txt ”来访问它。

例如，您可以使用以下链接访问 QuadLayers 的 robots.txt 文件：“https://quadlayers.com/robots.txt”。

quadlayers 机器人文件在 wordpress 中编辑 robots.txt

但是，我们不使用默认的 robots.txt 文件。 它已被编辑以满足 QuadLayers 的特定需求。 但是 WordPress 创建的默认 robots.txt 文件仅包含以下信息：

 用户代理： *
不允许：/wp-admin/
允许：/wp-admin/admin-ajax.php

不幸的是，您无法编辑此文件，因为它是虚拟的。 要编辑 WordPress 网站的 robots.txt 文件，您必须手动创建一个。

为此，您可以使用任何文本编辑器创建一个空文件并将该文件另存为“ robots.txt ”。

或者，如果您想使用 SEO 插件编辑文件，可以通过插件自动完成。 我们将在本指南的后面部分了解这一点。

尽管如此，无论您使用何种方法，您的 robots.txt 文件都必须包含相同的信息。 因此，让我们看看 robots.txt 文件中必须包含的内容。

Robots.txt 文件中应包含哪些内容？

为确保搜索引擎正确索引您的网站，您可以在 robots.txt 文件中包含以下代码命令或指令：

  • 用户代理：这标识了指令适用的搜索引擎或机器人。 您可以在 robots.txt 文件中包含一个或多个用户代理，具体取决于您要控制的机器人。 例如，“User-agent: Googlebot”指的是谷歌的网络爬虫。
  • Disallow：该指令告诉机器人搜索引擎机器人不应抓取或索引哪些页面或目录。 您可以指定单个页面或整个目录。 例如，“Disallow: /wp-admin/”将阻止所有机器人爬行 WordPress 管理目录中的页面。
  • 站点地图：该指令告诉机器人在哪里可以找到您网站的站点地图文件。 站点地图文件列出了您希望搜索引擎索引的站点上的所有页面。

您还可以在 robots.txt 文件中使用“允许”指令。 它告诉机器人他们应该抓取或索引哪些页面或目录。 但是，请记住它是可选的，只应在必要时使用。

以下是基本 robots.txt 文件的示例：

 用户代理： *
不允许：/wp-admin/
不允许：/wp-includes/
站点地图：https://www.example.com/sitemap.xml

在此示例中，用户代理设置为“*”，这意味着说明适用于所有机器人。 “disallow”指令阻止机器人抓取 WordPress 管理和“wp-include”目录。 同样，站点地图指令指定站点地图文件的位置。

现在您已经基本了解了 robots.txt 文件中包含的内容，您可以添加所有您不希望机器人抓取或索引的网页。 最后，保存文件。

1) 使用 FTP 客户端编辑 Robots.txt

要使用 FTP 客户端在 WordPress 中编辑 robots.txt，您必须安装 FTP 客户端并连接您的网站。 您可以使用许多 FTP 客户端，例如 FileZilla 和 Cyber​​duck。 但我们将在本教程中使用FileZilla 。

1.1) 将您的 WordPress 网站连接到 FTP

安装 FTP 客户端后，打开应用程序并转到文件 > 站点管理器。 您还可以通过按键盘上的Ctrl+S打开站点管理器。

然后，单击“新建站点”并在“我的站点”下输入您的站点名称。

现在，打开“常规”选项卡并输入您的站点凭据。 您可以从托管服务获取将您的网站连接到 FileZilla 的凭据。

输入凭据后，单击“连接” 。

连接站点后，您可以从您的计算机访问该站点的文件目录。 因此，让我们继续将 robots.txt 文件从您的计算机上传到您的网站。

1.2) 将 Robots.txt 文件上传到 WordPress

将站点与 FTP 客户端连接后，您必须导航到站点的根目录，因为这是 robots.txt 文件所在的位置。

根文件也称为“ public_html ”文件。

您可以在此处上传最近创建的 robots.txt 文件。 如果此文件中已存在 robots.txt 文件，请替换它。

ftp filezilla 在 wordpress 中编辑 robots.txt

就是这样！

现在您所要做的就是通过在域末尾添加“/robots.txt”路径来测试 robots.txt 文件，就像我们在前面的示例中向您展示的那样。

2) 使用 cPanel 编辑 Robots.txt

使用 cPanel 编辑 robots.txt 文件与使用 FTP 客户端的方法非常相似。 首先，您必须登录到您网站的控制面板。 同样，您的托管服务应该已经提供了所有必要的登录凭据。

登录到 cPanel 后，滚动到“文件”部分并单击“文件管理器” 。

然后，导航到“ public_html ”文件目录并在此处上传最近创建的 robots.txt 文件。 同样，如果此处已存在 robots.txt 文件，则需要将其替换为新编辑的文件。

上传到 cpanel 在 wordpress 中编辑 robots.txt

最后，通过在您的域末尾添加“/robots.txt”路径来测试您的 robots.txt 文件。

3) 使用插件编辑 Robots.txt

如果您想节省大量时间和麻烦来编辑 robots.txt 页面，您还可以使用插件。 Yoast SEO、All in One SEO 和 Rank Math SEO 等多个 SEO 插件允许您创建和编辑 robots.txt 文件。

如果您需要更多信息来帮助您决定要使用的插件，您可以查看我们最好的 WordPress SEO 插件的完整列表。

但我们将使用Rank Math SEO插件进行此演示。 它是最流行的 SEO 插件之一，具有非常简单的界面来编辑 robots.txt 文件。 因此，让我们从安装插件开始。

在 wordpress 中排名数学编辑 robots.txt

3.1) 安装并激活插件

要安装该插件，您必须先从您的 WordPress 仪表板转到插件> 添加并搜索插件的关键字。 在搜索引擎中看到该插件后，单击立即安装。 安装只需几分钟。

安装完成后，单击“激活”以激活插件。

如果您想使用任何高级插件，则必须手动上传。 您可以查看我们关于手动安装 WordPress 插件的详细指南，了解更多信息。

此外，如果您在设置 Rank Math SEO 时遇到任何问题，我们甚至有关于如何设置 Rank Math 的具体指南。

3.2) 编辑 Robots.txt 文件

激活插件后，从 WordPress 仪表板转到Rank Math > General Settings ，然后选择Edit robots.txt 文件选项卡。 您可以看到该插件提供了文本编辑器，供您编辑本节中的 robots.txt 文件。

在这里，您必须根据您希望机器人抓取和索引的网页添加所有代码和命令。 如果您需要任何帮助，我们在前面的步骤之一中提供了本教程中的所有必要指南。

在 wordpress 中排名数学编辑器编辑 robots.txt

为 robots.txt 文件添加所有必需的命令和指令后，单击Save Changes 。

伟大的！ 现在，如果您在域的末尾添加“/robots.txt”路径，您将看到该文件已相应更新。 因此，搜索引擎机器人将仅浏览您根据 robots.txt 文件允许的网页。

结论

这就是您在 WordPress 中创建和编辑 robots.txt 文件的方法。 如果您不希望搜索引擎机器人浏览您网站的敏感或重复内容，则必须这样做。 robots.txt 文件还可用于指示机器人抓取您网站的特定页面并为其编制索引。

总而言之，您可以使用三种主要方式编辑 robots.txt 文件：

  • 使用 FTP 客户端
  • 面板
  • 带插件

使用FTP 客户端和 cPanel 非常相似。 您所要做的就是登录到 cPanel 或将您的网站与 FTP 客户端连接并上传 robots.txt 文件。 然后，您必须上传您之前手动创建的 robots.txt 文件。

另一方面，如果您使用插件，robots.txt 文件将自动添加到您的网站。 这些插件甚至提供了一个文本编辑器来帮助您编辑 robots.txt 文件。

那么您现在可以为您的网站编辑 robots.txt 文件吗？ 在评论中让我们知道您是否尝试过。

同时，如果您觉得这篇文章有帮助，您可以使用以下更多帖子来自定义或改进您的 WordPress 网站：

  • 如何改进 WordPress SEO：9 种方法
  • 最佳 WordPress SSL 插件（免费和付费）
  • 如何在 WordPress 中添加元描述