完整的采集神器(完整的采集神器程序只有5m多，多一事不如少)

　　完整的采集神器(完整的采集神器程序只有5m多，多一事不如少)

　　完整的采集神器程序只有5m多。

　　国内的网站登录、访问都有限制，而且都需要手机作为登录方式。这时候我们通常会使用一些采集工具，最后我们只需要把记录保存好，再用excel数据导出，就可以把这些数据导出来。

　　手机看比较清楚，电脑没法改进，可能需要网页采集，

　　selenium不错，

　　最好用手机，最差用电脑，多一事不如少一事。

　　国内的几款爬虫软件在老师的逼迫下，都在用。我自己也有用，体验都差不多，要说最新的就是云采集。我去年刚开始学爬虫的时候用的，今年就学着做视频编辑教学，用的千方能吧，

　　国内都不好，只有用云采集，腾讯的亿图云，高德的高德云，的云，百度百度云，迅雷的tor，

　　gbk转jpg，

　　目前能采集的网站类型太多，的采集，腾讯的采集，京东的采集，豆瓣的采集，天猫的采集，论坛的采集，等等等等，层出不穷。所以并不建议在这些网站上开始试验，否则以后会抓到的数据太多，抓取的时间也太长，即使是云采集等量采集，也等同于抓取的网站类型太多，这时候若抓取难度降低很多，网站类型减少，这个数据量级太大的数据难以有效抓取。

　　若采集难度降低，这个网站类型太多，你也抓取不来，浪费时间等量采集，降低抓取效率。所以要用云采集的话，一定要用数据量大的网站，一般网站的数据量较小的，等量采集不可行，而且还会丢失一些有价值的数据。所以我认为到时可以适当找点低关注度的网站试试看，有些小网站的数据量会少一些，从而容易抓取，不失为一种取得数据的方法。

　　如果想爬取电商网站，可以找有兴趣的老师，从电商采集开始。电商网站上商品较多，而且有价格，分类等分类，网站类型也较多，爬取效率高，难度小，难度小就是抓取的比较简单，抓取准确，效率就高，比如支付宝生活圈，金山快盘。可以观察搜索引擎抓取的技术在商品与价格分类。、京东、苏宁易购等都采用了时间序列模型来计算*敏*感*词*用，一个广告位可以出10万件广告，100万种产品，那一种广告位是4个人出1万块*敏*感*词*，让8个人出1万元，所以大部分网站的*敏*感*词*用没有大量金钱就不会有效果。