c爬虫抓取网页数据(爬虫爬虫抓取系统的重要组成部分工具爬虫的用法 )

　　c爬虫抓取网页数据(爬虫爬虫抓取系统的重要组成部分工具爬虫的用法

)

　　爬虫

　　简单的说，爬虫就是编写程序模拟浏览器上网，然后让它去网上抓取数据的过程。浏览器可以简单理解为一个原创的自然爬虫工具

　　爬行动物的作用

　　可以获得有价值的信息。比如在渗透测试中，我们可以通过编写python脚本或者爬取网站有价值的数据来批量验证漏洞

　　爬虫的合法性

　　爬虫技术本身是合法的，但是利用它非法获取数据是违法的。喜欢

　　恶意爬虫

　　履带分类

　　1. 通用爬虫

　　各大搜索引擎爬虫系统的重要组成部分，爬取整页数据。喜欢

　　2. 关注爬虫

　　它建立在通用爬虫的基础上，抓取页面上特定的部分内容

　　3. 增量爬虫

　　监控网站中数据更新的状态，只抓取网站中最新更新的数据

　　防爬机构

　　门户网站制定相应策略或技术手段防止爬虫爬取网站数据

　　防反爬策略

　　爬虫程序可以通过制定相关策略或技术手段破解门户网站中的反爬虫机制，从而获取门户网站的数据

　　robots.txt 协议（君子协议）

　　机器人协议，又称爬虫协议、机器人协议等，其全称是“机器人排除协议（Robots Exclusion Protocol）”。网站 通过Robots协议告诉搜索引擎哪些页面可以爬取，哪些页面不能爬取。Robots还有两种用途，一种是告诉搜索引擎你不能爬取哪些页面（其他的默认可以爬取）；另一种是告诉搜索引擎你只能爬取哪些页面（其他的默认不能爬取）。

　　搜索机器人（蜘蛛）访问站点时，首先会检查网站的根目录下是否存在robots.txt。如果存在，则根据文件内容确定访问范围。如果不存在，它会跟随链接进行爬取。

　　但是，机器人协议对个人不是强制性的，可能不会被遵守。