网页抓取机器人与各种内容保护策略之间的定价优势

　　网页抓取机器人与各种内容保护策略之间的定价优势

　　什么是数据获取？

　　数据刮取，以其最一般的形式，是指一种技术，其中计算机程序从另一个程序生成的输出中提取数据。数据抓取通常体现在Web抓取中，这是使用应用程序从网站中提取有价值的信息的过程。

　　为什么要获取网站数据？

　　通常，公司不希望将其独特的内容下载并重新用于未经授权的目的。因此，他们不会通过开放的API或其他易于访问的资源公开所有数据。另一方面，无论网站如何限制访问权限，爬网机器人都会尝试对网站的数据进行爬网。这样，网络抓取机器人与各种内容保护策略之间便有了猫捉老鼠的游戏。

　　尽管执行起来可能很复杂，但是Web爬网的过程非常简单。 Web爬网分为3个步骤：

　　首先，用于提取信息的代码段（我们称其为爬虫机器人）将HTTP GET请求发送到特定的网站。

　　网站响应时，采集器将解析HTML文档以获得特定的数据模式。

　　提取数据后，将其转换为抓取机器人设计者设计的特定格式。

　　抓取机器人可以设计用于多种用途，例如：

　　可以从网站爬取内容，以便复制依赖于内容的独特产品或服务优势。例如，Yelp之类的产品都依赖评论。竞争对手可以从Yelp中获取所有评论内容并将其复制到他们的网站中，从而使他们的网站内容非常原创公开。

　　价格搜寻-通过搜寻价格数据，竞争对手可以汇总有关其竞争产品的信息。这样可以为他们提供独特的定价优势。

　　联系信息抓取-许多网站纯文本收录电子邮件地址和电话号码。通过爬行诸如在线员工目录之类的位置，爬行机器人可以聚合联系人信息，以尝试进行*敏*感*词*电子邮件，自动呼叫或恶意的社会工程攻击。这是垃圾邮件发送者和诈骗者发现新目标的主要方法之一。

　　如何保护网络爬网？

　　通常，网站访问者可以看到的所有内容都必须转移到访问者的计算机上，并且访问者可以访问的任何信息都可以由机器人抓取。

　　有一些方法可以限制可能发生的爬网次数。以下是三种限制数据爬网的方法：

　　速率限制请求–对于访问网站并单击网站上的一系列网页的真实用户，通常可以预测他们与网站交互的速度；例如，人类用户不可能每秒浏览100页。另一方面，计算机可以以比人类快多个数量级的速度发出请求，而主要数据捕获程序可能会使用不受限制的捕获技术来尝试快速捕获整个网站数据。通过限制给定时间段内特定IP地址发出的最大请求数，网站可以保护自己免受攻击性请求的影响，并限制在特定时间范围内可能发生的数据爬网量。

　　定期修改HTML标记-数据抓取机器人依靠连续格式来有效地遍历网站的内容以及解析和保存有用的数据。防止此工作流程的一种方法是定期更改HTML标记的元素，从而使一致的爬网过程更加复杂。嵌套HTML元素或更改标记的其他方面可能会阻止或阻止简单的数据抓取活动。每当出现网页时，某些网站会随机修改某些形式的内容保护。其他网站偶尔会修改自己的标记代码，以防止长期的数据抓取活动。

　　将用于大量数据的请求者–除了使用速率限制解决方案之外，减慢内容爬网的另一个有用步骤是要求网站位访问者完成计算机难以解决的挑战。尽管人类可以合理地应对这一挑战，但是执行数据抓取的无脑浏览器*很有可能无法克服挑战，更不用说继续应对多项挑战了。但是，连续测试可能会对真实用户的体验产生负面影响。

　　另一种不太常见的保护方法要求将内容嵌入媒体对象（例如图像）中。由于字符串中不存在内容，因此复制内容要复杂得多，并且需要光学字符识别（OCR）从图像文件中提取数据。但这也会给需要从网站复制内容的真实用户带来麻烦。他们必须记住或重新输入地址或电话号码等信息，而不是直接复制它们。

　　*无头浏览器是一种Web浏览器，类似于或，但是默认情况下它没有视觉用户界面，因此其移动速度比普通Web浏览器快得多。本质上，它运行在命令行界面上，无头浏览器可以避免呈现整个Web应用程序。数据抓取工具将使机器人能够使用无头浏览器更快地请求数据，因为没有人会看到要抓取的每个页面。

　　如何防止完全爬行？

　　完全阻止Web爬网的唯一方法是避免将内容完全放在网站上。但是，使用高级机器人管理解决方案可以帮助网站几乎完全消除抓斗机器人的访问权限。

　　数据爬网和数据爬网有什么区别？

　　抓取是指像这样的大型搜索引擎将其抓取工具（例如）发送到网络以索引内容的过程。另一方面，它通常是专门为从特定的网站中提取数据而构建的。

　　以下是抓取机器人和网络抓取机器人的三种不同行为：

　　该爬虫程序机器人会假装为网络浏览器，并且该爬虫程序机器人会指明其目的，而不是试图欺骗网站。

　　有时候，爬行机器人会采取高级措施，例如填写表格或执行其他操作以输入网站的特定部分。爬虫不会。

　　爬网机器人通常会忽略.txt文件，该文件是一个文本文件，专门用于告诉爬网程序可以解析哪些数据以及无法访问的区域。由于采集器旨在提取特定内容，因此可以将其设计为专门搜寻被禁止搜寻的内容。

　　机器人管理使用机器学习和行为分析来识别恶意机器人（例如抓取器），保护网站唯一内容并防止机器人滥用Web属性。