国外网页视频抓取工具(Python基础内容的内容应用一下吧~~初识爬虫20天学会)

　　国外网页视频抓取工具(Python基础内容的内容应用一下吧~~初识爬虫20天学会)

　　学完Python的基本内容，相信很多小伙伴都觉得自己有能力，但是没用，哈哈哈。. . ，别急，如你所愿，在爬虫阶段，大胆套用基础部分的内容~~~

　　20天第一次了解爬虫

　　一、爬虫介绍

　　模拟浏览器，发送请求，获取响应

　　网络爬虫，英文名Spider，又称网络蜘蛛、网络机器人，在数据分析应用中，更多的爬虫称为数据采集程序，是一种按照一定规则自动爬取网络信息的程序或脚本.

　　原则上只要客户端（浏览器）能做爬虫能做的

　　爬虫只能获取客户端（浏览器）显示的数据

　　网络中的数据可以通过Web服务器【Nginx/Apache】、数据库服务【MySQL/Redis/MongoDB】、索引库、大数据、视频/图片库、云存储【阿里巴巴云OSS】等提供。重要的是源是Web服务器

　　不过大家一定要注意，可以爬取的数据必须是公开的，非盈利的，比如：如果你入侵别人的非公网，他们会通过ip定位你，这是违法的。或者，一些财务管理网站，如果爬取数据，肯定是不允许的。如果你的朋友不听话硬要爬，那没人能保护你，狗头救你一命~~~

　　爬虫类著名案例：“乔达科技”被一锅抓，“马车来了”涉嫌盗窃数据被*敏*感*词*立案等。

　　二、爬虫分类

　　万能爬虫：

　　一般的网络爬虫从互联网上采集网页，采集信息，这些网页信息决定了整个引擎系统的内容是否丰富，信息是否及时，所以它的性能直接影响搜索的效果引擎

　　每个人都应该注意。一般的爬虫虽然简单方便，但缺点也很明显。小助手为大家罗列了几点，大家可以理解：

　　一般搜索引擎返回的结果都是网页，大多数情况下，网页中90%的内容对用户来说是无用的。

　　来自不同领域和背景的用户往往有不同的检索目的和需求，搜索引擎无法为特定用户提供搜索结果。

　　随着万维网上数据形式的丰富和网络技术的不断发展，出现了大量的图片、数据库、音频、视频和多媒体等不同的数据，一般的搜索引擎对这些文件是无能为力的，而它们不能很好地被发现和获得。

　　大部分通用搜索引擎都提供基于关键词的检索，难以支持基于语义信息的查询，无法准确理解用户的具体需求。

　　专注于爬虫：

　　聚焦爬虫是一种“面向特定主题需求”的网络爬虫程序。它与一般搜索引擎爬虫的不同之处在于：专注爬虫在实现网页爬取时会对内容进行处理和过滤，并尽量保证只爬取与需求相关的内容。网页信息，如12306抢票，或抢某（某类）网站data

　　根据目的是否为获取数据，可分为：

　　功能爬虫，投票点赞你喜欢的明星

　　数据增量爬虫，例如职位发布

　　2. 根据url地址和对应的页面内容是否发生变化，增量数据爬虫可以分为：

　　基于url地址变化和内容变化的增量数据爬虫

　　url地址不变，内容变化的数据增量爬虫

　　看到这里，有没有发现通用爬虫简单，但不实用，专注爬虫应用广泛，实用，但实现起来比较困难，不过没关系，借助小助手，我们都可以学习吧，哦福利！！！

　　三、爬虫的作用

　　爬虫在互联网世界有很*敏*感*词*，比如：

　　1. 数据采集，例如：