总结:文章采集接口采集器会第一时间把采集好的数据发布

　　总结:文章采集接口采集器会第一时间把采集好的数据发布

　　文章采集接口采集器会第一时间把采集好的数据发布到神策采集器的数据接口里，并且根据接口返回的数据进行分析。所以这就需要我们进行数据的导入和数据清洗工作。接口导入导入数据方法有两种，一种是通过对接口配置代理，注册账号，选择接口发布，接收采集请求地址，之后就可以登录采集器来采集数据了，下面是我对接口导入做的简单介绍。

　　首先我们需要获取当前用户的相关信息，下面是通过手机接口，获取的一些信息。然后我们选择我们希望爬取的商品链接，并进行模拟登录，记住账号密码是需要一一对应的。之后就可以登录接口，如果登录成功是没有反馈信息的，登录失败会对浏览器进行验证，之后就可以直接进行爬取了。清洗工作为了接口可以更好的实现我们设置的策略，最好能做到数据结构的美观和高效，所以需要对接口进行一些修改。

　　我们可以修改的地方主要是接口处理中的数据增删、合并、解析、url路由、爬取与切换。接口处理中有商品链接和商品介绍信息以及高级功能，如：商品主图、商品名称、品牌等信息。修改url路由在商品信息采集处理处，我们需要抓取新商品的信息。选择采集处理，之后选择要采集的商品。请求路由是爬取接口，找到我们的数据，路由是关键，路由如果写错了，就会报错。

　　推荐使用神策的api万能路由功能。对请求返回的json字符串进行合并处理。返回可以是php，python等多种语言，最好是php，因为scrapy里面有php模块。url路由是爬取接口，找到我们的数据，路由是关键，路由如果写错了，就会报错。推荐使用神策的api万能路由功能。后端scrapy爬取之后会返回给我们一个txt格式的消息，根据html格式我们大致可以判断下数据来源。

　　我们选择用json格式返回，而且长度越长越好。编写爬取页面，手机商品和平板商品。因为平板商品可能无法通过正常的购买接口进行抓取，所以后端我们需要编写一个item页面，专门用来爬取商品信息。处理就是把返回的json字符串存储到csv里面。测试代码1.获取商品链接地址：-xian-zai-jie-huan-yang-xian-zai-jie/h2.解析出新商品的商品链接：，然后根据url路由进行新商品爬取。

　　2.爬取每个商品下一页的商品：，然后进行清洗，去除产品名、大小、价格这些我们需要提取的信息。3.对商品的属性列表进行查找，然后统计数量，这些属性是我们后面需要检索和采集的重点。4.匹配当前商品的价格：，这就需要对接口配置的quack接口进行编写。5.匹配出需要保存的商品：，这就需要对接口配置的orderofut方法进行编写。但是quack接口。