如何針對 SEO 優化您的 WordPress Robots.txt

在本博客中，我們將學習一些技巧，說明如何通過優化 robts.txt 文件來改進網站的 SEO。

實際上，Robots.txt 文件在 SEO 方面起著重要作用，因為它告訴搜索引擎如何抓取您的網站。 這就是為什麼 Robot.txt 文件被認為是 SEO 最強大的工具之一的原因。

稍後，您還將了解如何為 SEO 構建和優化 WordPress Robots.txt 。

robots.txt 文件是什麼意思？

網站所有者創建的文本文件告訴搜索引擎機器人他們如何在他們的網站上爬行並可以索引頁面被稱為 Robots.txt

實際上，在根目錄中，存儲了該文件。 此目錄也稱為您網站的主文件夾。 下面提到的是 robots.txt 文件的文件格式

用戶代理：[用戶代理名稱]
Disallow: [不被抓取的 URL 字符串]
用戶代理：[用戶代理名稱]
允許：[要抓取的 URL 字符串]
站點地圖：[您的 XML 站點地圖的 URL]

要允許或禁止特定 URL，您可以使用不同的指令行。 另外，您也可以添加不同的站點地圖。 如果允許 URL，搜索引擎機器人將考慮允許它們抓取頁面。
robots.txt 的示例如下所示

用戶代理： *
允許：/wp-content/uploads/
禁止：/wp-content/plugins/
禁止：/wp-admin/
站點地圖：https://example.com/sitemap_index.xml

在上面給出的示例中，我們允許搜索引擎抓取頁面並獲取 WordPress 上傳文件夾中的索引文件。

在此之後，我們不允許搜索機器人抓取和索引 WordPress 管理文件夾和插件。
最後，我們提到了 XML 站點地圖的 URL。

對於您的 WordPress 網站，您是否需要 Robots.txt 文件？

即使您沒有文本文件（即 Robots.txt），搜索引擎也會開始抓取您的網頁並將其編入索引。 但不幸的是，您無法通知您的搜索引擎它應該抓取哪個特定文件夾或頁面。

如果您剛剛創建了一個內容較少的網站或博客，它將不會獲利或不會留下任何影響。
但是，一旦您設置了包含大量內容的網站並且當它開始增長時，您將需要控制您網站的已抓取和索引頁面。

第一個原因如下

對於每個網站，搜索機器人都有一個抓取配額。

這顯然意味著在抓取會話期間，它將抓取特定數量的頁面。 假設您網站上的抓取仍然不完整，那麼它將再次返回並在另一個會話中恢復抓取。

正因為如此，您網站的網站索引率將是一個攤牌。

您可以通過不允許搜索機器人不抓取此類不必要的頁面來解決此問題。 一些不重要的頁面可能包括插件文件、WordPress 管理頁面和主題文件夾。

可以通過不允許抓取不需要的頁面來節省抓取配額。 這一步會更有幫助，因為搜索引擎現在將抓取網站的頁面，並能夠盡快將它們編入索引。

下面給出了您應該使用和優化 WordPress Robots.txt 文件的另一個原因

每當您需要阻止搜索引擎索引您網站上的頁面或帖子時，您都可以使用此文件。

實際上，這是從公眾那裡覆蓋您的網站內容的最不恰當的方式之一，但它將被證明是保護它們出現在搜索結果中的最佳支持。

Robots.txt 文件如何出現？

大多數流行的博客都使用一個非常簡單的 robots.txt 文件。 與特定網站的要求相比，內容可能有所不同。

 用戶代理： *
不允許：
站點地圖：http://www.example.com/post-sitemap.xml
站點地圖：http://www.example.com/page-sitemap.xml
robots.txt 文件將允許所有機器人索引每個內容並提供指向 XML 站點地圖網站的鏈接。
在 robots.txt 文件中提到了需要遵循的以下規則

用戶代理： *
允許：/wp-content/uploads/
禁止：/wp-content/plugins/
禁止：/wp-admin/
禁止：/readme.html
禁止：/refer/
站點地圖：http://www.example.com/post-sitemap.xml
站點地圖：http://www.example.com/page-sitemap.xml

這將指示機器人索引所有 WordPress 文件和圖像。 這將不允許搜索機器人索引 WordPress 管理區域、WordPress 插件文件、附屬鏈接和 WordPress 自述文件。

在 robots.txt 文件中，您可以添加站點地圖，以幫助 Google 漫遊器識別您網站上的所有頁面。

現在您知道 robots.txt 文件的樣子，現在我們將了解如何在 WordPress 中創建 robots.txt 文件。

在 WordPress 中，如何構建 robots.txt 文件？

要在 WordPress 中創建 robots.txt 文件，有很多方法。 下面列出了一些頂級方法，您可以選擇其中任何一種最適合您。

方法一：使用All in One SEO，修改Robots.txt文件

All in One SEO 是市場上最著名的 WordPress SEO 插件，被超過 100 萬個網站使用。

多合一 SEO 插件非常易於使用，因此它提供了 robotx.txt 文件生成器。 優化 WordPress Robots.txt 也很有幫助

如果您尚未集成此 SEO 插件，請先從 WordPress 儀表板安裝並激活它。 免費版本也可供初學者用戶使用，這樣他們就可以在不投資的情況下使用它的功能。

激活插件後，您可以開始使用它直接從您的 WordPress 管理區域構建或修改 robots.txt 文件。

使用它

• 轉到多合一 SEO
• 現在編輯 robots.txt 文件，點擊工具
• 現在通過單擊“啟用自定義 robots.txt”，您將打開編輯選項
• 在 WordPress 中，您還可以使用此切換構建自定義 robots.txt 文件。
• 現在，您現有的 robots.txt 文件將由“robots.txt 預覽”部分中的“多合一 SEO 插件”顯示。 這可以在您的網頁屏幕底部查看。

通過 WordPress，添加的默認規則將在此版本中顯示
獲得的默認規則似乎向您的搜索引擎建議他們不需要抓取核心 WordPress 文件，提供指向 XML 站點地圖網站的鏈接，並允許機器人索引其所有內容。

為了增強您的 robots.txt 的 SEO，可以添加新的自定義規則。

在“用戶代理”字段中添加用戶代理，以添加規則。 該規則將通過使用 *.
現在選擇您是否希望允許或不允許搜索引擎抓取頁面。

現在在“目錄路徑”字段中添加目錄路徑和文件名。

規則將自動應用到您的 robots.txt。 單擊“添加規則”按鈕以添加新規則。
除非您創建理想的 robotsx.txt 格式，否則我們建議您添加新規則。

您添加的自定義規則將如下所示

要存儲您的更改，請不要錯過點擊“保存更改”

方法二：通過FTP手動修改Robots.txt文件

優化 WordPress Robots.txt 的另一種方法是利用 FTP 客戶端的功能開始修改 robots.txt 文件

您只需要在 FTP 客戶端的幫助下連接您的 WordPress 託管帳戶

登錄後，在網站的根文件夾中，您將能夠查看 robots.txt 文件。

如果您無法找到它，則意味著您沒有 robots.txt 文件

在這種情況下，您需要創建 robots.txt 文件。

如前所述，robots.txt 文件通常是一個簡單的文本文件，可以下載到您的計算機上。 但是，您甚至可以藉助 TextEdit、記事本或寫字板等純文本編輯器對其進行修改。

一旦您執行了所有更改，現在是時候保存它了。 您可以將此文件上傳到您網站的根文件夾。

如何對 Robots.txt 文件進行測試？

您可以在 robots.txt 測試工具的幫助下執行測試。

在網上，你會發現很多 robots.txt 測試工具。 最好的之一是谷歌搜索控制台。
要使用此工具，您首先需要有一個與 Go​​ogle 搜索控制台連接的網站。 在此之後，您可以開始使用它的功能。

從下拉列表中，您只需選擇您的屬性。

但是，它會自動選擇您網站的 robots.txt 文件，並突出顯示所有警告和錯誤。 這是幫助您輕鬆優化 WordPress Robots.txt 文件的最佳工具之一。

結論：
優化此 robots.txt 文件的主要座右銘是保護頁面不被抓取。 例如 WordPress 管理文件夾中的頁面或 wp-plugin 文件夾中的頁面。

最常見的迷思是，你可以通過屏蔽 WordPress 類別、實現頁面和標籤來提高爬取率並使其索引更快並獲得更高的排名。

但這不起作用，因為根據 Google 的網站管理員指南，它會出錯。

我們強烈建議您閱讀並考慮上述所有要點。

我們希望本博客能幫助您使用適合您網站的格式創建 robots.txt 文件。 它將幫助您優化 WordPress Robots.txt。