网页抓取数据(网页抓取数据的主要有两种途径，你知道吗？)

　　网页抓取数据(网页抓取数据的主要有两种途径，你知道吗？)

　　网页抓取数据，主要有两种途径，一是爬虫程序对网页进行抓取，另一种是直接爬虫程序抓取。如果是爬虫程序，如果没有处理格式化的任务，将爬取到的网页格式化后，直接存储到自己的服务器上。另外就是有需要的时候，直接把网页传给程序。两种途径对业务对代码的要求也不一样。爬虫程序对于某些爬虫框架要求不高，直接用他的api就可以了，但对于某些比较复杂或处理格式化要求高的网页还是需要自己写解析api。

　　给你个传送门：利用python进行网页抓取

　　根据我个人对这个问题的经验来看，你需要准备几个软件（第一是python；第二是懂scrapy，logging，settings.py等工具；第三是你要学习一点html5和markdown的知识）如下：网站抓取、爬虫框架如pyspider、scrapy、euclid、symbolicbrowser等；页面解析后，存储在本地，或者直接使用mongodb服务；数据库你可以根据实际需要选用mysql、postgresql、mongodb等。

　　如果你需要做好用户分析和流量统计的话，就要买些数据抓取工具了，要那种什么“微多访问统计工具”或者“访问页面统计工具”。

　　有selenium不用学习编程。

　　初学，建议自己学习下python基础语法，

　　看你的做什么。如果是企业级网站，推荐scrapy框架；如果是个人站，用html2css吧。python比较适合做高性能的网站，非常适合有一定网站架构经验的人，所以如果不熟悉还是要熟悉scrapy框架。如果刚入门学python，只是想做一些测试网站，可以学下python的web开发库python3。