如何阻止搜索引擎索引您的 WordPress 網站

已發表: 2022-10-12

搜索引擎使用爬蟲或網絡機器人來爬取和索引您的網站。對於許多網站所有者而言，為其網站內容編制索引對於提高其在線知名度並從而增加其網站內的流量非常重要。但是，在某些情況下，您不希望您的網站被編入索引。這些原因實際上可以讓您思考如何阻止搜索引擎索引您的網站。

可以阻止您網站中的資源或頁面出現在 Google 搜索中。在本文中，我們將研究如何阻止和阻止搜索引擎將您的網站編入索引。

索引與在 Google 中列出

您想要阻止搜索引擎索引您的網站的原因

如何阻止搜索引擎抓取和索引您的網站

通過默認的 WordPress 搜索引擎可見性複選框
修改 Robots.txt 文件
密碼保護您的網站

從 Google 搜索中刪除網站

結論

索引與在 Google 中列出

索引

索引是收集網站內容數據並將其下載到搜索引擎服務器，然後通過將數據添加到其中央數據庫（索引）來存儲數據的過程。

索引過程之前是爬行，搜索引擎傾向於掃描網絡以識別任何新的或更新的內容。該內容又用於索引。

與通過執行多個查詢來搜索所有內容相比，索引將能夠更快地呈現與搜索查詢相關的數據，因為內容是有組織的。

清單

列表主要涉及在搜索引擎結果頁面 (SERP) 中呈現您的網站。

如果一個網站顯示在搜索引擎結果頁面中，則意味著該網站已被編入索引。下面是一個示例截圖：

然而，索引實際上並不意味著您的網站將在 SERP 中列出。

同樣重要的是要注意，不必為網站編制索引就可以將其列出。如果有指向站點域或任何其他網站內容的鏈接，那麼 Google 將使用它。

您想要阻止搜索引擎索引您的網站的原因

1.創建開發站點時

作為網站所有者，在大多數情況下，您希望先在開發環境中創建網站，然後再將最終網站投入生產。

但是，您不希望您的開發站點內容被 Google 索引，這反過來會導致與您的生產站點的競爭。在這種情況下，您需要在開發站點中禁用索引以避免這種情況。

2.私人內容

如果您的網站包含您不希望搜索引擎訪問的私人內容，您可以選擇阻止此類網站被索引。

這種情況的一個示例可能是，如果您的網頁只有在用戶訂閱或只有當用戶登錄時才能訪問。此類內容不應該可用於索引。

3.被黑/受損的內容

在您的網站被黑客入侵並因此受到威脅的情況下，這會對您的網站用戶構成安全威脅，尤其是在涉及電子商務網站時。

為了幫助降低此類風險，最好對站點進行索引甚至刪除。

4.重複內容

有時，您的網站中實際上可能有重複的內容，尤其是在涉及產品頁面可能看起來相似的電子商務網站時。但是，在您的網站中包含重複的內容實際上會導致 Google 的處罰。

因此，重要的是要對您網站內的任何重複內容進行索引，以避免受到處罰。

5.過時的內容

在某些情況下，您可能有一個網站呈現過時的信息，因此搜索結果將包含此信息。反過來，此類信息可能會誤導網站訪問者。

因此，最好阻止搜索引擎在這種情況下為此類內容編制索引。

6.洩露信息

如果內容過早地向公眾提供，那麼您需要阻止搜索引擎將此類內容編入索引或取消發布該網站。這將有助於使此內容無法訪問。

7.有害內容

在您可能認為對您的網站有害的內容的情況下，您可以考慮取消對該網站的索引。例如，如果您的網站被黑客入侵並添加了惡意信息，就會出現這種情況。

如何阻止搜索引擎抓取和索引您的網站

如果您想阻止搜索引擎抓取您的網站並將其編入索引，可以考慮多種方法。我們將按順序研究其中一些方法，並探索它們如何幫助實現這一目標。

通過默認的 WordPress 搜索引擎可見性複選框

此方法使您能夠阻止搜索引擎直接從 WordPress 儀表板抓取您的網站。為了實現它，您需要：

i) 使用管理員帳戶登錄到您的 WordPress 儀表板

ii) 導航到 WordPress 儀表板中的設置 > 閱讀部分

iii）在“搜索引擎可見性”部分中，啟用“阻止搜索引擎索引此站點”選項

iv) 保存您的更改

執行上述操作後，以下代碼將添加到您的站點標題中：

 <meta name="robots" content="noindex, nofollow">

robots.txt 文件也修改為：

 User-agent: * Disallow: /

這將有助於阻止搜索引擎索引您的網站。然而，重要的是要注意，雖然這些更改有助於阻止網站引擎對您的網站編制索引，但是否滿足請求取決於各個搜索引擎。

修改 Robots.txt 文件（手動）

與上述方法類似，這被認為是修改 robots.txt 文件的手動方法。

為了實現這一點，您需要：

i) 通過 Filezilla 等 FTP 軟件訪問您的站點文件

ii) 在您網站文件的根目錄中，檢查 robots.txt 文件。在大多數情況下，它位於 public_html 文件夾中。

如果您似乎沒有跟踪該文件，則可以考慮創建一個。

iii) 將以下代碼添加到文件中：

 User agent: * Disallow: /

iv) 保存您的更改

您還可以通過在 Disallow: 部分中添加子目錄和 slug 來禁止對特定頁面進行索引。一個例子是：

 User agent: * Disallow /blog/this-is-a-link-to-our-website

密碼保護您的網站

搜索引擎無法抓取受密碼保護的網站，因為它們無權訪問它們。這使得密碼保護您的網站成為防止對您的網站編制索引的最合適的方法之一。

您的網站的密碼保護可以通過多種方法實現：

i) 通過您的主機控制面板進行密碼保護

ii) 使用密碼保護插件

通過您的主機控制面板進行密碼保護

各種主機控制面板在網站內實施密碼保護方面有不同的步驟。在我們的例子中，我們將使用 cPanel 的示例。

為了通過 cPanel 對您的網站進行密碼保護，您需要執行以下操作：

i) 登錄您的 cPanel 帳戶

ii) 導航到文件部分並選擇“目錄隱私”

iii) 選擇您網站的根目錄。在我們這裡的例子中，這將是public_html / buddybuilder

iv) 單擊旁邊的“編輯”操作

v) 啟用“密碼保護此目錄”選項並保存您的更改

vi) 通過單擊“返回”鏈接返回上一步，並在新的“創建用戶”部分中，設置用於訪問網站的新用戶帳戶。

完成此操作後，搜索引擎將無法抓取您的網站。

使用密碼保護插件

在此選項中，您可以考慮使用受密碼保護的插件。為了設置插件，您需要執行以下操作：

i）導航到WordPress儀表板中的插件>添加新部分並蒐索“密碼保護”

ii) 安裝並激活插件

iii) 導航到 WordPress 儀表板中的設置 > 密碼保護部分

iv) 啟用“密碼保護狀態”選項並填寫您的密碼

v) 指定站點將保持受保護的天數

vi) 保存您的更改

需要注意的是，在這種方法中，一旦在瀏覽器中直接訪問圖像等文件，就不會應用密碼保護，因此可以輕鬆訪問圖像。

從 Google 搜索中刪除網站

如果您的網站已被 Google 編入索引，並且您希望從搜索引擎中刪除該網站，您可以執行以下操作：

i) 訪問 Google Search Console：https://search.google.com/search-console/

ii) 使用您的帳戶詳細信息登錄。如果您沒有帳戶，您可以從上面的同一鏈接創建一個帳戶並添加一個屬性。以下是有關如何執行此操作的指南：https://support.google.com/webmasters/answer/34592?hl=en

iii) 在左上角，選擇帶有您要刪除的 URL 的屬性

iv) 點擊“刪除”部分

v) 在“臨時刪除”選項卡中，單擊“新請求”按鈕

vi) 在呈現的彈出窗口中的“臨時刪除 URL”選項卡上，您將有兩個選項“僅刪除此 URL”和“刪除所有具有此前綴的 URL”。

如果您只想刪除指定的 URL，例如特定的博客文章，則需要填寫其 URL 並選擇“僅刪除此 URL”選項。

另一方面，如果您希望刪除根域和與之關聯的任何其他 URL，則需要填寫您的 URL 作為根域並選擇“刪除具有此前綴的所有 URL”選項。

vii) 單擊“下一步”按鈕提交您的請求。

請務必注意，一旦完成此操作，Google 將暫時從搜索引擎中刪除您的網站。這通常是 6 個月，此後您的 URL 可以再次重新索引，這就是為什麼“阻止搜索引擎抓取和索引您的網站”至關重要的原因。

結論

有很多原因可以選擇阻止搜索引擎將其網站編入索引。在本文中，我們研究了其中一些原因，以及您可以考慮採取的一些方法，以阻止搜索引擎將您的 WordPress 網站編入索引。

使用默認的 WordPress 搜索引擎可見性框方法或修改 robots.txt 文件方法對某些搜索引擎可能並不完全有效，因為有些搜索引擎可能仍會抓取您的文件或圖像。我們強烈建議將這些方法與密碼保護配對。這可以防止搜索引擎訪問您的任何網站內容。

我們確實希望這篇文章對您有所幫助。如果您有任何問題、意見或建議，請隨時從下方的評論部分提交。