文章采集站(文章采集站点：玩转采集“web”，eggcreator实战分享)

　　文章采集站(文章采集站点：玩转采集“web”，eggcreator实战分享)

　　文章采集站点：玩转采集脚本“web”，eggcreator。eggcreator是一款功能强大的web开发框架，并且简单易用。web采集在很大程度上是用技术实现用户需求的，通过现成的方案，甚至是工具，我们就可以采集网站并生成静态网页文件，从而可以把图片拖拉过来。实战分享爬取某家保险公司的天猫各大店铺销售数据采集图片存入到数据库1.爬取后台页面数据新建项目图片的处理因为需要ajax加载页面，所以采集前面也要导入一个json文件，最终用json文件+post请求的方式请求页面，然后建立视图，将视图数据写入数据库。

　　2.后台页面分析我们知道，天猫销售第一页就是所有商品，所以第一页的图片很多，我们就要抓取他们的图片信息和信息来源。我们可以从“宝贝推荐”接口去看他的信息和图片标题（如下图），其实可以从字体看出这是图片推荐，可是你看不懂啊，本来可以设置密码的，后面有爬虫器封装好的函数“图片信息对齐”，可以解决这个问题。

　　其实他的抓取本质就是图片的匹配请求，那他的请求就要提交到本地数据库，传入http方法：post请求，将图片的url，返回值发送到服务器请求是否成功可以看下面的代码。post请求的两种方式？首先要说明两点：1.本案例中采用的是post请求，而不是get。2.post请求的url设置是指从哪一页数据包里拿图片，不是一开始就要发到数据库的。

　　不断请求拿到图片3.页面存入数据库第一步是存入数据库，这个有两种方法，一种是用eggcreator，利用egg组件，返回数据直接存入本地，这个很方便，可是比较占存储空间。另一种方法是通过indexjs把图片都请求到数据库，然后把图片名做为字段传递给eggcreator进行采集（就是上图标题所示）。indexjs这个管理eggcreator脚本的功能比较强大，而且兼容性比较好，目前应该很多公司都是用它来开发采集脚本的，所以推荐大家使用这个脚本方案。