原创文章自动采集整理(二)之前做过的数据分析

　　原创文章自动采集整理(二)之前做过的数据分析

　　原创文章自动采集整理前段时间写过的一篇文章：brianniu：python爬虫（二）之前做过的数据分析，这次换了一种编程语言，同时采集更多数据。所以想着把以前写的一些小文章汇总到一起。爬虫这种东西，不是看教程就能做好的，我会从里面汲取我觉得很好的地方，但是总是和市场上的大佬们还有有一点点区别，不过还是会慢慢补全，自己能做的就是一步一步去尝试自己想要的，这样才能有所进步。

　　python比较适合广泛的数据分析。与java、c++、php等编程语言一样，python并不特定于某一特定方向。适合于那些大型、流行的数据库和大型框架项目，可以不经常更新和维护库。就比如一个大学老师或者机构系统的维护人员，需要编写很多代码，但是如果是用python，可以更快的从数据中找到需要的知识，python适合一些稍微大型的科研项目以及正在做的项目，比如开发一个分析系统或者是要用这个框架来做一些预研。

　　其实python更加适合于一些商业用途的爬虫或者说大型网站的ip或者是资源爬取。当然也可以简单的采集一些文章的内容，比如：豆瓣电影页面，淘宝卖家页面，京东首页或者旺旺页面等等。反正这些开放的资源不怕被别人给拷贝了去。不过大部分爬虫采集过程会比较耗时间，要求用户养成用浏览器来提取抓取数据库里面的数据。如果需要采集的数据量超大的话，就需要一些编程语言的工具辅助的话，这样子可以省事很多。毕竟有时候我们没有那么多时间。