不用采集规则就可以采集到海量的网页数据库

　　不用采集规则就可以采集到海量的网页数据库

　　不用采集规则就可以采集到海量的网页数据库，数据量还不大，还支持批量查询分析，图片视频音频任意采集，下载自动分页下载，支持多帐号采集、采集首页、app安装包、简书站内文章一键采集，支持多网站全站采集，可以专线专用专家号服务器。文件操作。

　　网站很简单，找一个兼容性好的windows操作系统，用vs2010，免费的，可以装eclipse和asp。找一个免费的爬虫引擎。找一个方便获取网站元素的浏览器（如谷歌浏览器）。然后你就可以去创建一个爬虫了。

　　ctrl+option+r

　　找相应的网站，从网站的元素爬取数据，

　　大佬们都没回答我来答吧。其实吧，完全不用用任何程序语言/框架搞爬虫。现在很多的爬虫引擎都已经将所有的动态响应，即网站的网页元素都封装好了。只要你有这么多条件就能开始爬虫的工作。首先，你需要有一个网站。、天猫啥的，当然，各大平台可能不同，但是大体差不多。其次，你需要有一个浏览器。相信很多人都用过比如谷歌浏览器、火狐，qq浏览器，360等这些，很多人都是直接安装的，这里我就不说名字了。

　　然后，你需要有一个ide，这个的话，比如vs或者idea。搞爬虫是没有ide的，因为只有你想不到的。也就是说，你只要会用vs或者idea就行。接下来，开始动手写代码。假设你只是给百度的一些业务爬取网页元素，比如图片，那么你可以用简单粗暴的直接写代码，实现一个网页元素的获取。比如你用fi+text，其实就是不同的一对网页字符串放在一个循环里面获取他们的坐标然后匹配，这样处理一次可能需要10-30s吧，确实可能很慢，需要几十个网页共享一个循环，然后循环是返回1个字符串（注意，同一个ip接的同一个ip获取的页面可能不一样）。

　　如果是一些小的ip，比如：电信或者联通之类的，可能耗时会更长，几百毫秒可能都有可能，因为通过ie所有发出去的网页可能是同一个服务器，那就是说都返回同一个数据了，而且不管是从哪个ip发出去，每个ip返回的图片也都是一样的。接下来说说数据存储的问题，如果你要存储的数据会比较多的话，那么你需要一个自己写的数据库。

　　这里假设你想要存一个月的的内容，那么你可以构造一个这样的字符串，eg：varint=integer(4);//取0-4varmylabel='image';//图片字符串varmymattime=int;//时间变量vardatetime=date(1);//你打开的时间vareclipse=require('eclipse');//idevarconfig=require('config.eclipse.config');//。