如何阻止内容抓取工具窃取您的帖子

作为网站所有者或营销团队，当内容抓取工具窃取您投入时间和金钱的工作并用作他们自己的工作时，这令人愤怒。 通常，他们就是这样做的——他们在未经您许可的情况下获取您的内容，然后将其用作自己的内容，从中赚钱。

如果您正面临另一个被不法竞争对手刮掉的博客，那么了解正在发生的事情以及如何防止它是至关重要的。

什么是内容抓取工具？

内容抓取是从各种来源和网站获取内容（例如博客文章）然后在另一个网站上重新发布的过程。 通常，这可以通过使用您博客的 RSS 提要的自动抓取工具轻松完成。

事实上，内容抓取很容易做到。 窃贼需要做的就是建立自己的 WordPress 网站并将内容加载到其中。 有些插件会为他们抓取内容，因此他们甚至不必复制和粘贴您的工作。 如果您已经与内容作家进行了几轮编辑，努力开发正确的反向链接，并且为完成的作品感到自豪，那将是非常令人沮丧的。

为什么内容抓取工具会窃取我的内容？

他们为什么首先想要您的内容？ 不幸的是，人们窃取此类内容的原因有很多，这就是它经常发生的原因。 大多数情况下，您的内容被抓取的最大原因是它的质量很好。 它正在按照它希望其内容执行的方式执行，而不是做艰苦的工作，它只是使用内容抓取机器人来为它完成工作。

发生这种内容抓取的常见原因有几个。

1. 做会员佣金

联属网络营销——通过指定链接购买产品的任何人都被支付费用——是内容抓取发生的最常见原因之一。 联盟营销人员将使用您的内容，更改其中的链接以包含他们的链接，然后等待人们访问该网站以通过它赚钱。 内容通过搜索引擎优化 (SEO) 让人们访问他们的网站。

大多数时候，这些类型的内容都是针对正在销售产品的利基市场，或者是对产品的补充。 如果您使用您的内容来销售这样的产品，那么您的博客很有可能成为那些不太理想的内容抓取工具的目标。

2. 拿走你的广告收入

一些网站内容抓取工具正在使用您网站上的内容来帮助增加他们从自己的网站获得的广告收入。 他们没有要销售的特定产品，但他们正在使用您的内容来产生广告收入。

了解这是否是他们的目标的最佳方法是查看该网站。 它充满了广告吗？ 甚至试图设法查看可能会让人不知所措——因为它是专门为广告收入而构建的。

3. 他们想要潜在客户

您为什么要为您的网站创建内容？ 这通常是为了产生潜在客户。 如果它对你有用，或者内容抓取工具认为它对你有用，那么他们很可能会对你的内容做同样的事情。 信不信由你，这对于专业人士来说是很常见的事情，例如镇上的房地产经纪人，不幸的是，我们甚至看到律师也这样做。

大多数时候，这些使用其他网站内容的人这样做是因为他们没有时间、金钱或专业知识来创建自己的内容，但他们想要拥有一个强大的网站所带来的所有好处，尤其是他们看起来像一个行业领导者。

现在要全面披露，这并不总是背后的律师或其他专业人士。 有时，会涉及第三方对内容的实际抓取，然后将其打包出售给这些专业人士，以便在他们的网站上使用。 他们可能会为这项服务支付高额费用，费用可能远低于您为自己编写和开发该内容所支付的费用。

其他类型的常见转义内容

每个博客文章和内容都可以被抓取。 但是，大多数情况下，内容抓取工具会针对可以为他们做某事的内容，例如：

• 思想领袖作品
• 关于产品或服务的博客
• 产品评论（特别是如果它们是具有高质量分析的深入评论。
• 技术研究文章和出版物
• 专栏文章
• 新闻文章
• 产品说明
• 金融研究内容

最常见的是，内容抓取是因为您的材料质量很好。 您的 SEO 内容营销正在为您创建它的目的而工作。 而且，到目前为止，这比尝试编写自己的内容更容易。 如果您必须花钱开发有助于排名的优质 SEO 内容，那么该内容对这些第三方用户来说很有价值。

如何捕捉内容抓取工具

也许您偶然发现了这篇文章，但您不太确定内容抓取是否正在发生。 你怎么知道的？ 追踪起来并不容易，而且可能需要一些时间，但如果您真的想找出谁在使用您的内容，您可以采取一些措施来获取该信息。

从谷歌开始

大多数情况下，如果时间足够长，谷歌会像抓取所有内容一样抓取他们的网站。 如果您有创意、独一无二的内容，尤其是您的内容上的新标题，那么 Google 很可能是您获取有关内容抓取工具信息的最佳方式。 只需将您的内容标题粘贴到 Google 中，然后查看显示的内容。

如果您的主题很常见，或者您的标题已被许多其他博主使用，那么这种方法并没有太大帮助。 您不太可能从该来源获得太多信息。

阿雷夫斯

如果作为 SEO 营销的一部分，您正在使用反向链接和 Ahrefs 等工具，您可以使用它来帮助您找出链接的位置。 找出内容正在发生的事情有点落后。 但是，它也是监控正在发生的事情的一种超级简单的方法。

如果您使用数字营销公司或网站设计师来处理您的内容，请询问他们是否使用 Ahrefs 或类似工具。 他们可能会为您提取此信息。

引用

查找内容抓取工具的第三种选择是使用引用。 您在博客文章中使用链接吗？ 大多数情况下，您是因为它非常适合在线营销。 如果您注意到引用，则意味着其他人从您的网站上抓取了内容。

要查找此信息，请访问 Akismet。 这是一个非常常见的工具。 但是，您需要查看您的垃圾邮件文件夹，看看您是否收到任何此类引用。

总体而言，在其他人的网站上查找内容具有挑战性。 对于那些真正对此感兴趣的人，您必须仔细查看您的每篇博客文章和您的网站内容，才能找到它。 这很耗时，而且通常只会增加你的挫败感。

如何处理内容抓取工具

怎么办？ 当您得知其他人在他们的网站上使用您的内容时，您应该怎么做？ 你什么也做不了。 这是一个常见且简单的选择，因为做一些关于内容抓取的事情需要大量的时间和最经常的工作。

如果您的网站具有权限，并且 Google 认为它是这样的，那么从网站上抓取的内容不会对您造成伤害。 谷歌相信你的洞察力，你的内容将比那些抓取你内容的低权限网站排名更高。 问题是您的网站可能还没有达到那种尊重水平，如果 Google 认为不道德网站上的内容是原创的，它可能会惩罚您的网站。

把它拿下来

您可以将数字千年版权法案 (DMCA) 发送给网站的主机。 这是一种告诉网站删除您的内容的文档。 如果网站上有联系地址，请执行此操作。 那些专业的律师和房地产经纪人是一个很好的起点。 如果对方足够关心采取行动，这样的 DMCA 投诉可能会很有效。 您可以将其提升到一个新的水平，这是合法的途径，但这也很昂贵。

如何利用内容抓取工具

对于内容抓取工具，您拥有的一种选择是实际利用他们对您所做的事情。

当您的链接在爬虫的网站上时，这会创建一个指向您网站的反向链接，这对您的 SEO 有好处，只要他们的网站不被 Google 视为垃圾邮件。 当然，您需要创建对放置在理想​​关键字上有意义的链接。 放置后，这些链接会将人们带回您的网站。

您还可以创建一个 RSS 页脚，这可以通过您的 WordPress 插件完成，例如 All in One SEO。 添加任何你想要的东西，比如用横幅宣传你的产品。 当内容抓取器抓取您的内容时，它会随之而来，将您的广告放置在互联网的其他页面上。

如何减少和防止 WordPress 内容抓取

让我们回到开头。 与其努力解决问题，不如首先考虑如何降低风险。

RSS 提要摘要

采取的一个步骤是不要将您的完整文章包含在您的 RSS 提要中。 相反，只使用摘要。 这可以防止使用您的 RSS 提要的内容抓取工具获取您的内容。

禁用引用

更改您发布的所有新帖子以不允许引用。 当您拥有它们时，这会鼓励爬虫窃取您的内容，因为这意味着它们会在您的网站上获得链接（请记住此类反向链接的价值）。 如果您禁用引用和 ping（您可以在 WordPress 平台上的所有帖子上执行此操作），它将减轻部分风险。

速率限制

这种方法也有助于防止内容抓取。 事实是，爬虫可以一次提取数百个页面，但是当您设置此限制时，您可以发现这些试图窃取您的内容的机器人。 寻找像 Cloudflare 这样可以帮助您将这种风险降到最低的防火墙。

了解并应用这些步骤来对抗内容抓取工具非常重要。 同时，不要太担心它。 由于谷歌的最新更新（谷歌的有用内容更新），搜索引擎将降级抓取内容的网站。 谷歌和其他搜索引擎一直在寻求提高搜索者的满意度，它对提升有用内容的新关注在这个过程中发挥了重要作用。

包起来

毫无疑问，有一种方法可以最大限度地减少内容抓取似乎是当务之急。 我们建议专注于几件事。 首先，继续制作精彩的内容，以便 Google 对您的网站进行排名。 其次，在可能的情况下采取一些步骤来帮助消除内容抓取。 您可以在这里进行预防，这是值得的。 始终在您的内容中包含链接，因为如果您的内容被抓取，它将帮助您进行排名。

最重要的是，确保您的网站旨在继续满足读者的期望。 谷歌不太关心这种类型的抓取，而不是你的读者获得的内容的质量。 确保您的网站以最佳状态运行。

下载 Kadence 主题和 Kadence 块以构建有效的网站

如果您喜欢用精美的设计创建引人入胜的内容，Kadence Blocks 提供了在原生 WordPress 编辑器中发挥创意的工具。 此外，享受大量可轻松包含在您的网站中的预构建内容，包括一个块的线框库，以帮助您开始您的下一个网页设计。 非常适合灵感和快速发展！

现在下载

iThemes 编辑团队

每周，iThemes 团队都会发布新的 WordPress 教程和资源，包括每周 WordPress 漏洞报告。 自 2008 年以来，iThemes 一直致力于帮助您为自己或客户构建、维护和保护 WordPress 网站。 我们的任务？ 让人们的生活变得美好。