解决方案:文章采集系统存在的技术问题该如何解决？(图)

　　解决方案:文章采集系统存在的技术问题该如何解决？(图)

　　文章采集系统是做一个自动化全自动打印内容表，存入电脑的数据库，全站有且只有这个系统。传统的代码采集方式现在都已经比较成熟了，用数据库连接，常用sqlalchemy。海量数据传输只需要写一个ipython。python全自动注册成功之后，为你提供实时查询，新加入用户，注册验证之类的功能。参见：传统的自动化采集方式存在的技术问题该如何解决？。

　　找安装包就可以了，传统的做法可以在虚拟机或者一个小的服务器上安装python3.5操作系统，然后接收抓取请求，将数据写入数据库中，然后一个新的浏览器或pc就可以来抓取数据，不需要ui界面。

　　如果使用爬虫，最简单的手段就是在网页上直接采样。或者直接将数据存在网页上。当然也可以考虑代码，代码或者脚本采集。其实也可以不依赖爬虫之类。如果采用算法去抓取，可以考虑去抓取ifnot***之类的判断，

　　已经有很多文章说过了。如果非常规的采集的话，建议考虑用bloomfilter算法，可以做很多类似动态数据采集的工作。

　　所以用个iazor爬虫采集脚本吧！用开源的。win下scrapyspider+windows下lxml+pandas在64位电脑基本可以满足绝大部分采集工作了，采样如果用pythonscrapy也完全可以用bloomfilter做简单判断。