抓取网页数据违法吗(爬虫为什么要学习爬虫的相关笔记，爬虫的分类 )

　　抓取网页数据违法吗(爬虫为什么要学习爬虫的相关笔记，爬虫的分类

)

　　本系列是关于自己学习爬虫相关的笔记。如果有任何错误，请纠正我

　　什么是爬虫 为什么要学爬虫

　　在数据量爆炸式增长的互联网时代，网站与用户的交流本质上是数据的交换。分析数据可以帮助企业做出更好的决策，这涉及到大数据分析，而爬虫是数据分析的第一步。

　　爬行动物的价值

　　在网上抓取数据是给我用的。有很多数据，就像拥有一个数据库一样。下一步是如何将爬取的数据产品化和商业化。

　　爬行动物是合法的还是非法的？

　　爬虫用于批量获取网页的公共信息，即前端展示的数据信息。因此，既然是公共信息本身，它实际上就像一个浏览器。浏览器解析并显示页面内容，爬虫也是如此，但是爬虫会批量下载，所以是合法的。违法情况是配合爬虫，利用黑客技术攻击网站后台，盗取后台数据（如用户数据等）

　　爬虫带来的风险主要体现在以下两个方面： 那么，作为爬虫开发者，如何进行爬虫呢？爬虫的分类python爬虫（1）获取网页的过程；

　　获取网页是向返回整个网页数据的 URL 发送请求。类似于在浏览器中输入 URL 并回车，您可以看到 网站 的整个页面。

　　获取网页的基本技术：requests、urllib 和 selenium

　　获取网页的先进技术：多进程多线程爬取、登录爬取、突破IP封禁、使用服务器爬取。

　　(2）解析网页（提取数据）；

　　解析网页就是从整个网页的数据中提取出想要的数据。与您希望如何在页面中查找产品价格类似，价格是您要提取的数据。

　　解析网页的基本技术：re正则表达式、BeautifulSoup和lxml。

　　网页解析高级技术：解决中文乱码。

　　(3）存储数据。

　　存储数据也很容易理解，就是存储数据。我们可以存储在 csv 或数据库中。

　　存储数据的基本技术：保存为txt文件和保存为csv文件

　　存储数据的先进技术：存储在 MySQL 数据库和 MongoDB 数据库中

　　爬行动物的矛和盾

　　有一种说法，互联网上50%的流量是由爬虫创造的。这种说法虽然有些夸张，但也体现了爬行动物的普遍性。爬虫之所以无处不在，是因为爬虫可以给互联网企业带来收益。

　　对于相关的电商网站，很多电商网站愿意通过比价网站或者其他购物信息网站来爬取，因为可以给他们带来产品更多的流量。但他们不愿意从其他电商网站获取价格信息和产品描述，因为他们担心其他电商网站恶意比价或抄袭。同时，他们经常爬取其他电商网站的数据，希望能看到其他人的价格。

　　反爬机制

　　门户网站通过制定相应的策略和技术手段，防止爬虫程序爬取网站数据。

　　反反爬策略

　　爬虫利用相应的策略和技术手段破解门户网站的反爬虫手段，从而爬取对应的数据。

　　机器人协议

　　几乎在爬虫技术诞生的同时，反爬虫技术也诞生了。1990年代，当搜索引擎网站使用爬虫技术对网站进行爬取时，一些搜索引擎从业者和网站站长通过邮件讨论了一个“君子协议”——robots.txt。即网站有权指定网站中哪些内容可以被爬虫爬取，哪些内容不能被爬虫爬取。这不仅可以保护隐私和敏感信息，还可以被搜索引擎收录使用，增加流量。

　　历史上第一起关于爬虫的诉讼诞生于 2000 年。eBay 将汇总价格信息的价格比较网站BE 告上法庭。eBay 声称它已经将哪些信息无法捕获到机器人协议中。但BE违反了该协议。但BE认为，eBay上的内容是用户的集体贡献，不归用户所有，爬虫协议不能作为法律依据。最终，经过行业内的反复讨论和法庭上的几轮较量，eBay最终胜诉，也开创了以爬虫机器人协议为主要参考的先河。

　　最后，网站的协议详情可以通过网站域名+/robots.txt的形式访问，例如：

　　User-agent: Baiduspider

Disallow: /

User-agent: baiduspider

Disallow: /