如何防止 WordPress 中的網站內容被抓取

已發表: 2023-01-19

您是否擔心有人會在未經您許可的情況下從您的網站獲取內容並使用它?

網站抓取,也稱為內容抓取,是許多網站所有者的常見問題,WordPress 用戶可能比其他人更頻繁地遇到它。

根據一項研究,85% 的在線共享圖片被盜,大約 90% 的網站從其他網站抓取內容。

幸運的是,有一些方法可以防止 WordPress 網站上的內容被抓取。

在本文中,我將介紹一些可行且成功的策略來保護和控制您網站上的內容。

目錄
什麼是內容抓取?
為什麼內容抓取工具會竊取您的網站內容?
如何捕捉內容抓取器?
保護您的 WordPress 網站免受內容抓取工具侵害的 11 種方法
方法 1:在 WordPress 中禁用熱鏈接
方法 2:速率限制和阻塞
方法 3:使用內容複製保護插件並禁用右鍵單擊
方法 4:禁用或限制 RSS 源
方法 5:添加大量內部鏈接
方法 6:防止圖像盜用
方法七:安裝Recaptcha插件
方法 8:安裝安全插件
方法 9:阻止網頁抓取機器人的 IP
方法 10:為圖像添加水印
方法 11:發布後手動要求 Google 索引您的文章
如何利用內容抓取工具
結論

什麼是內容抓取?

內容抓取是在未經網站所有者同意的情況下使用自動化工具從網站中提取內容的行為。

黑客和垃圾郵件發送者經常使用此方法在其他網站上重新發佈內容​​或收集個人數據。

以下是內容抓取的一些示例:

1.文章抓取:從博客或新聞來源竊取文章,並在未經許可的情況下使用自動博客 WordPress 插件在其他網站上重新發布。

2. Price scraping:竊取電子商務網站的價格並以此來壓低原賣家的價格。

3.聯繫人抓取:從網站抓取聯繫信息並用它來發送垃圾郵件或釣魚郵件。 您應該隱藏或編碼電子郵件地址以停止在您的網站上抓取聯繫人。

4.搜索抓取:利用搜索引擎抓取的結果來提升其他網站的排名。

5. Social scraping:從社交媒體平台竊取信息並用它來製作假賬戶或冒充他人。

從事內容抓取的網站所有者可能會失去訪問者和金錢,並損害他們的聲譽。

您可以使用內容保護、驗證碼和 IP 阻止等工具來阻止訪問您網站的流量,這樣您就不會被抓取。

為什麼內容抓取工具會竊取您的網站內容?

內容抓取是網站所有者面臨的常見問題。

但為什麼內容抓取工具會竊取您網站的內容? 這裡有五個原因:

1.利潤:您的內容可以被爬蟲抓取,通過付費廣告或轉售廣告的方式重新發布自己的網站並從中獲利

2.方便:內容抓取器讓您可以快速地用內容填充您的網站,而無需創建您自己的任何內容,因為它們從其他網站複製內容

3.搜索引擎優化:內容抓取工具可能會竊取您網站的內容以提高自己的搜索引擎排名。

4.缺乏原創性:一些內容抓取器由於缺乏原創性或創造力而竊取內容。

5.競爭:一些內容抓取工具竊取內容以與您的網站競爭或破壞您的業務。

除了對您網站的搜索引擎排名產生負面影響外,內容抓取還會導致您的業務損失收入

如何捕捉內容抓取器?

內容抓取對於博主和網站所有者來說可能是一個主要問題。 但是你怎麼能抓住內容抓取者呢?

以下是識別和處理內容抓取的六個技巧:

1.使用內容保護插件您可以阻止人們使用內容保護插件複製您的內容。 如果你不想那樣做,你可以讓他們複製參考鏈接和內容,最後通過這種方式找到你的用戶。

2.使用 Copyscape:此工具可以幫助您找到未經您許可在其他網站上使用您網站內容的實例。

3.監控您網站的流量:密切關注您網站的分析,看看來自某個推薦來源的流量是否突然增加。

4.設置 Google Alerts:當您網站的內容出現在其他網站上時,您可以從該工具收到警報。

5.使用 Wayback Machine:通過允許您查看網站的先前迭代,此工具可以幫助您發現未經您同意將內容添加到網站的實例。

6.使用水印:給圖片和視頻加水印可以阻止內容抓取者,因為這讓他們更難以秘密使用您的內容。

重要的是要注意,很難捕捉到每一個內容抓取實例,而且預防勝於治療。

通過結合使用這些方法,您可以增加捕獲內容抓取器和保護您網站內容的機會。 請繼續關注以了解有關防止內容抓取的更多信息。

保護您的 WordPress 網站免受內容抓取工具侵害的 11 種方法

這是竊取您的內容的新常態,許多人只是在處理它。 幾乎每個人都經歷過內容盜竊。

防止所有內容被抓取幾乎是不可能的,但這並不意味著我們不能讓他們更難過。 此外,這些方法會阻止大多數用戶,包括一些專家。

如果您製作原創且優質的內容,您的內容很有可能會被抓取。 在本文中,我試圖向您展示防止內容抓取的方法。

我還寫了一篇文章,讓您了解防止網站內容被盜的最有效方法; 一定要檢查一下。

方法 1:在 WordPress 中禁用熱鏈接

盜鍊是在他們的網站上使用您的內容的一種常見方式。 通過熱鏈接,他們使用您的帖子、頁面或媒體鏈接直接在他們的網站上顯示。

通過盜鏈,他們不僅在未經您同意的情況下使用您的內容,而且還在使用您的主機帶寬將其展示給他們的觀眾。

我建議使用 WPShield Content Protector 來禁用盜鏈,它提供了一個安全保護器來防止盜鏈。

要禁用 iFrame 熱鏈接,請按照下列步驟操作:

第 1 步:下載 WPShield 內容保護器。

第 2 步:轉到 WordPress 儀表板並從Plugins → Add New安裝插件。

第 3 步:轉到WP Shield → 設置

轉到 WP Shield → 設置並轉到 Content Protector 設置面板

第 4 步:打開iFrame Hotlink Protector並打開iFrame Hotlink Protector

打開 iFrame Hotlink Protector 並打開 iFrame Hotlink Protector

第 5 步:此保護器提供四種具有不同安全級別的協議。

選擇最適合您需要的協議

根據您的需要選擇最佳協議:

  • 在 iFrame 請求中顯示彈出消息:此協議在請求的 iFrame 上顯示彈出消息。 該協議並非 100% 安全,如果您正在尋找更安全的選項,其他協議更合適。
  • 在 iFrame 中阻止並顯示空白頁:此協議會阻止 iFrame 請求並顯示空白頁。 該協議是最安全的選擇。
  • 在 iFrame 請求上顯示水印版權:此協議在請求的頁面頂部顯示水印。 在 iFrame 頁面部分的水印中選擇圖像及其不透明度。 該協議具有最佳的用戶體驗,可確保您的受眾在您的網站上獲得良好的體驗。
  • 將 iFrame 請求重定向到自定義頁面:您可以製作一個自定義頁面來顯示而不是請求的 iFrame。 此頁面可以展示您網站上的內容或有關內容盜竊的免責聲明。 在Redirect To Page中選擇自定義頁面。

竊賊可能會使用您的媒體鏈接在他們的網站上進行盜鏈。 盜鏈媒體經常發生,如果發生很多,可能會降低服務器速度。

重要說明:我建議您閱讀我們關於在 WordPress 中禁用熱鏈接的終極指南,因為我們解釋了所有禁用熱鏈接的方法,包括視頻、音頻和圖像。

方法 2:速率限制和阻塞

速率限制是一種限制用戶或 IP 地址在一定時期內可以向您的網站發出的請求數量的技術。

這可以防止爬蟲通過大量請求使您的服務器不堪重負,這可能會對合法用戶造成損害並降低您的網站速度。

另一方面,阻止是一種根據特定標準(例如 IP 地址或用戶代理)拒絕訪問您的網站的技術。

這可用於阻止發出過多請求的已知抓取程序或 IP 地址,以防止在它們到達您的服務器之前進行抓取嘗試。

當一起使用時,速率限制和阻止可以成為防止內容抓取的有效方法。 它就像門口的保鏢,只允許合法用戶訪問您的網站,同時阻止那些在那裡製造麻煩的人。

添加速率限制的最佳方法是使用安全插件。 您可以查看我們的最佳 WordPress 安全插件列表以獲取更多信息。

方法 3:使用內容複製保護插件並禁用右鍵單擊

右鍵單擊可能是盜賊用來竊取網站內容的第一種方法。 禁用右鍵單擊可以防止普通用戶竊取您的內容。

注意:禁用右鍵單擊會降低用戶體驗並使真正的受眾離開您的網站。

我使用 WPShield Content Protector 禁用本文中的右鍵單擊。

WPShield Content Protector 還可以限制右鍵菜單。 此選項可保護您的內容,同時確保網站的用戶體驗不受影響。 在下文中,我將解釋這兩個選項; 根據您的需要選擇。

要防止右鍵單擊您的網站,請按照下列步驟操作:

第 1 步:轉到WP Shield → 設置

第 2 步:轉到Right Click Protector並啟用Right Click Menu Protector

轉到右鍵單擊保護器並啟用右鍵單擊菜單保護器

第三步:在此保護器中,您可以選擇禁用或限制右鍵菜單

選擇最適合您需要的協議

根據您的需要選擇協議:

  • 完全禁用右鍵單擊上下文菜單:此協議消除了對您網站的右鍵單擊。 這是一種非常安全的方法,但會降低用戶體驗 (UX)。
  • Right Click Menu Limiter:該協議限制右鍵單擊菜單而不是禁用它。 小偷不能濫用右鍵單擊選項來竊取您的內容,但普通用戶可以使用它的功能,例如在新選項卡中打開鏈接。
有限右鍵菜單示例

這就是有限的右鍵單擊菜單的樣子。

重要說明:有關更多信息,您可以查看我們在 WordPress 中禁用右鍵單擊的最終指南,其中我們解釋了更多信息和方法。

方法 4:禁用或限制 RSS 源

自動化插件和機器人使用 RSS 提要鏈接竊取您的內容,因此您需要禁用或限制 RSS 鏈接。

WPShield Content Protector 可以通過限製或禁用 RSS 提要幫助您防止網站抓取。

要禁用或限制 RSS 源,請執行以下步驟:

第 1 步:轉到WP Shield → 設置

第 2 步:轉到Feed Protector並啟用Feed Protector

轉到 Feed Protector 並啟用 Feed Protector。

第 3 步:在此保護器中,您可以禁用或限制 RSS Feed。

選擇最適合您需要的協議

根據您的需要選擇協議:

  • 禁用 Feed URL 並將其重定向到普通頁面:該協議完全禁用 RSS 鏈接並將用戶重定向到標準頁面。
  • 在提要中僅顯示帖子摘錄:此協議僅顯示帖子摘錄並刪除帖子內容。 該協議具有最佳的用戶體驗。
  • 所有 Feed 請求的404 頁面未找到錯誤:此協議顯示所有 Feed 請求的 404 頁面未找到錯誤。 這種方法是高度安全的。

另一種有效的方法是在 RSS Feed 內容中添加版權聲明。 您可以將鏈接添加到您的網站並獲得反向鏈接或獲得信用。

要在 RSS 提要內容中添加版權聲明,請執行以下操作:

第 1 步:轉到WP Shield → 設置

第 2 步:轉到Feed Protector啟用 Feed Protector

第 3 步:在 Feed 中發佈內容之前添加版權聲明或在 Feed 中發佈內容之後添加版權聲明。

在 Feed 中發佈內容之前寫版權聲明或在 Feed 中發佈內容之後寫版權聲明。

方法 5:添加大量內部鏈接

讓爬蟲難以一次訪問您的所有內容是網站所有者停止內容爬蟲的最佳方式之一。

以下是將內部鏈接添加到您的 WordPress 網站的一些提示:

1.鏈接到舊內容:當您發布新內容時,鏈接到與當前主題相關的舊內容。 您可以使用 WordPress 內部鏈接構建插件(如 LinkWhisper)來自動執行此操作。 這將使用戶在您的網站上停留的時間更長,並使爬蟲更難一次訪問您的所有內容。

2.使用錨文本:錨文本是顯示為鏈接的文本。 在錨文本中使用描述性詞語或短語,讓用戶了解鏈接頁面。

3.使用類別和標籤: WordPress 具有內置的類別和標籤,您可以使用它們來組織您的內容。 使用這些將相關內容鏈接在一起,使爬蟲更難以一次訪問您的所有內容。

4.使用相關帖子插件:無需手動添加內部鏈接的一種好方法是使用 WordPress 的眾多相關帖子插件之一,它可以自動鏈接到您網站上的相關內容。

重要的是要注意,單獨添加內部鏈接可能不是防止內容抓取的萬無一失的解決方案。 擁有多層保護總是好的。

您可以通過結合各種技術(如速率限制、阻止和添加內部鏈接)來提高網站的安全性並保護您的用戶。

方法 6:防止圖像盜用

如果您是網站上有原始照片的攝影師,您總是擔心您的照片被盜,是的,您應該擔心!

據 CopyTrack 統計,每天約有 25 億張圖片被盜,佔所有共享圖片的 85%,令人震驚!

您可以使用 WPShield Content Protector 來防止您網站上的圖像被盜。 此插件提供不同的選項以確保您的照片安全。

為防止圖像被盜,請按照以下步驟操作:

第 1 步:轉到WP Shield → 設置

第 2 步:轉到Image Protector並啟用Image Theft Protector。

轉到 Image Protector 並啟用 Image Theft Protector。

第 3 步: Image Protector 提供不同的選項來保護您的圖像。

打開適合您需要的選項:

  • 禁用右鍵單擊圖像:您可以禁用右鍵單擊圖像,這樣就沒有人可以下載它。 此選項會降低網站的用戶體驗。 我建議您限制右鍵單擊菜單而不是禁用它以增強網站的用戶體驗。
  • 禁用圖像拖放:竊賊可能會拖放圖像以將其下載或上傳到其他來源。 該協議確保在圖片上禁用拖放。
  • 刪除圖像周圍的錨鏈接:此協議刪除指向圖像的完整版本或燈箱的任何鏈接。
  • 圖像的熱鏈接保護:一些小偷可能會使用您的圖像鏈接在他們的網站上顯示它。 該協議阻止來自外部資源的任何要求加載圖像的請求。

Hotlink Protection for Images 不會阻止 google 等搜索引擎,只會阻止常規網站的請求。

重要說明:如果您想了解更多關於防止網站上的圖像被盜的信息,我在 WordPress 網站上寫了一個關於如何保護圖像的完整教程。

方法七:安裝Recaptcha插件

要抓取內容,機器人需要訪問您的網站。 通過從您的網站阻止機器人程序,您可以確保它們中的大多數無法訪問您網站的內容。

您可以使用 ReCaptcha WordPress 插件來防止內容抓取。

ReCAPTCHA 是一種高級形式的驗證碼,可以區分機器人和人類用戶。

通過測試需要用戶選擇一個複選框以表明他們不是機器人。 他們將立即通過或呈現多張圖像以進行匹配。

方法 8:安裝安全插件

您可以通過安裝 WordPress 安全插件(例如 Sucuri)來保護您的網站免受內容抓取工具的侵害。 如果您想要抓取您的內容,內容抓取工具必須訪問您的網站。

WordFence 和 Sucuri 是兩個頂級的 WordPress 安全插件。

與人類訪問者相比,爬蟲訪問頁面更快並發送更多 HTTP 請求是很常見的。 但是,他們的頁面查看會話通常較短。

安全插件旨在檢測此類可疑行為。

安裝後,它將在監視您網站上的流量的同時尋找機器人活動的跡象。 如果安全插件認為訪問者是機器人,它將阻止來自該 IP 地址的所有流量。

方法 9:阻止網頁抓取機器人的 IP

您必須先安裝 Wordfence Premium。

我們將要求 Wordfence 記錄訪問您網站的 IP 主機和訪客代理,然後過濾掉網絡抓取機器人。

第 1 步:安裝實時交通模式。 您轉到Wordfence → 工具,然後安裝它。

第 2 步:過濾掉抓取機器人以阻止它們。 單擊顯示高級過濾器選擇網址包含 feed查看哪些網絡抓取機器人訪問了您的 RSS Feed URL

網頁抓取機器人具有以下特點:

  • 用戶代理名稱通常表示有點。 然而,有時他們有人類的名字,這使得他們更難找到。
  • 他們以重複和固定的時間訪問您的網站,例如每 5 或 10 分鐘一次。
  • 主機名和用戶代理都不包含提要、內容或報紙等詞。

如何避免阻止友好的機器人:

  • Google bot 的主機名是 crawl-X.googlebot.com,X 是 bot 的 IP。 任何帶有“google”但不是 googlebot.com 的主機名都可能是假的。
  • Bot 在您創建書籤或反向鏈接的頁面中,bot 名稱通常會包含網站名稱或域名。 您在哪個頁面上創建了書籤或反向鏈接,您記得比較一下。

第 3 步:轉到Wordfence → 阻塞→ 自定義模式以添加命令。

方法 10:為圖像添加水印

防止圖像被盜的一種方法是在圖像中添加水印。 您可以使用 WordPress 水印插件。

有關於如何在 WordPress 中自動為圖像添加水印的詳細文章,為您提供分步說明

給圖像加水印有三種收入:

  • 他們不會使用您的圖像,它會受到保護
  • 他們嘗試使用降低圖像質量的 photoshop 應用程序
  • 他們使用帶水印的照片,這會給您的作品帶來榮譽,觀眾會認識創作者。

方法 11:發布後手動要求 Google 索引您的文章

防止內容抓取的一種方法是確保搜索引擎(如 Google)在您的文章發布後立即為其編制索引。

以下是手動要求 Google 為您的文章編制索引的步驟:

第 1 步:轉到Google Search Console

第 2 步:將新文章網址粘貼搜索框中並查看網址。

第 3 步:點擊請求索引

需要注意的是,這種方法並不能保證 Google 會立即將您的文章編入索引,但可以加快這一過程。

此外,最好使用 Instant Indexing For Google 插件,它會在您發布帖子後對其進行索引。

另一個提示是,您還可以使用 Search Console 中的“站點地圖”功能將您的站點地圖提交給 Google。

這將有助於 Google 查找您網站上的所有頁面並為其建立索引,包括您新發表的文章。

如何利用內容抓取工具

雖然內容抓取是一個非常有用的工具,但它還有其他用途。

以下是這樣做的五個技巧:

1.使用複制的內容來提高您的搜索引擎排名:

重複內容可能是由於抓取您網站的內容而導致的,這增加了搜索引擎將其編入索引並因此降低您網站排名的可能性。

但是您可以讓搜索引擎知道內容的哪個版本是原始的,並且應該通過使用規範標籤給予優先權。

2.使用抓取的內容作為免費廣告的一種形式:

如果您的內容被抓取,則意味著更多的觀眾正在看到它。 您可以通過在抓取的內容中包含返回您網站的鏈接來利用這一優勢。

3.使用抓取的內容作為生成反向鏈接的方式:

如果您的內容被抓取,它可能包含返回您網站的鏈接,因為反向鏈接是搜索引擎優化的重要組成部分。

這有助於提高網站的知名度和搜索引擎排名。

4.使用抓取的內容作為產生潛在客戶的方式:

如果您的內容被抓取,它很可能會包含一個返回您網站的鏈接。 您可以藉此機會通過在抓取的內容中包含號召性用語來產生潛在客戶。

5.使用抓取的內容來確立自己在行業中的權威地位:

如果您的內容被抓取,很可能會有大量觀眾看到它,您可以通過在抓取的內容中包含您的聯繫信息來利用這一點,將自己定位為您所在領域的權威。

結論

在本文中,我談到了內容抓取、為什麼需要呈現內容抓取、如何禁止內容竊取以及保護內容的替代方法。

使用 WPShield Content Protector,它可以確保您的內容安全,並可以通過其獨特的功能防止內容被抓取。

感謝您閱讀本文直到最後。 如果您知道任何防止內容抓取的替代方法,以及您是否有任何內容被盜的經驗,請告訴我。

請在 Facebook 和 Twitter 上關注 BetterStudio,以便第一時間了解我的新文章。