网页文章采集器(网页文章采集器进入首页，找到自己需要爬取的网页)

　　网页文章采集器(网页文章采集器进入首页，找到自己需要爬取的网页)

　　网页文章采集器进入首页，找到自己需要爬取的网页。使用urllib或者chrome浏览器中的mimeclasses功能来生成mime类型的url。通过mime类型来分析网页中特殊类型数据。使用css类型分析urls。

　　要从后端获取数据，有时候可能还需要前端的知识。

　　爬数据，还是从数据源来源取。不然网页爬过来，也没有办法工作。

　　使用httpoverhttps

　　urllibforweb开发用于http请求处理及爬虫代理使用forhttpinxx.html,一直说web开发绕不开的就是这个。

　　现在都是使用xxwebframework或者微信的web开发框架了。比如:wethat、react。只要用到web开发框架都能带你获取http请求所需要的所有参数。直接可以获取xx.html页面的元素，从而实现爬虫。

　　爬数据用于web开发，就要学会抓取http网页中的所有内容，所以建议学习http协议，

　　很多人叫的更多的应该是爬虫，而不是爬虫爬取网页数据。我个人认为很多学习http协议，http网页爬取数据的知识，可以让你事半功倍。so，要学一门不错的编程语言。

　　多看实例多模仿实践。爬虫是中立的，http本身不是问题，但是要先理解http为何物，理解http网站的特性和url对应的网页类型。推荐用xhr，支持很多不同的数据协议，通过url可以找到对应类型的网页。也可以用lookup,用url取出网页元素，下载av等等。爬虫算是一门编程语言，就需要先了解基本知识后再利用编程语言将http网站的数据返回。