技巧:关键词文章采集神器--需要爬虫软件或者采集工具

　　技巧:关键词文章采集神器--需要爬虫软件或者采集工具

　　关键词文章采集神器文章采集神器--需要爬虫软件或者采集工具源代码，客户端用python不安全。你想获取微信公众号推送过的文章，微信公众号推送过的文章都是采集过的，安全性极高。这款采集工具，1w篇公众号推送过的文章文章，还有图片：20g无损压缩附带安卓api+python，支持多格式（epub，mobi，mp4，jpg等格式），支持获取正则表达式匹配等等。

　　今天刚好碰到了这个，试了一下速度还行。学习下爬虫这块，

　　商品listiye都基本可以爬

　　不解释了，拿我的包-基础包的图片来讲讲：1.收藏功能，商品详情页，收藏了商品主图和图片说明，需要我们手动补全并上传，然后能自动识别2.商品详情页的图片，抓取图片水印会自动过滤掉，需要去图片水印才能下载，图片链接总是在href这里，查不到数据。3.商品详情页的图片，不动都有水印，得老老实实抠出来，自动过滤。

　　4.商品详情页的标题，比较长，收藏了标题还是会自动过滤掉，textfield自动过滤。5.商品详情页的描述，爬取起来稍微简单点，靠工具点击才过滤。6.全部商品的推荐标题和商品相关的情况，需要我们手动补全，无法抓取。7.全部商品的推荐标题，不动也有，都是http请求的网页会自动过滤，标题都在ad这里，永远达不到数据使用要求。

　　8.全部商品的推荐页，不动也会有专门的过滤页，不动也会有http请求的网页会自动过滤。9.客服问答页，问答页面内容过多，需要全部抓取。10.爬取优惠券代金券，收藏优惠券代金券，爬取优惠券的折扣和过期时间等信息。也就是抓取每个商品全部的信息。11.全部商品的评论，抓取评论，就是两千条评论。12.商品评论链接过滤，商品评论链接（需要抓取评论1万条以上网页才行）比较长，需要收藏和抓取，否则报错。

　　13.全部商品的图片水印处理，抓取图片水印，需要爬取每个商品全部图片的尺寸大小。14.全部商品的销量，爬取销量页面，所有商品的销量信息。需要爬取商品的主图，这也很难。15.商品评论页长的评论点击，能获取评论的回复，抓取回复信息，抓取回复信息。16.商品评论的累计评论数和总评论数（累计销量）17.商品好评率和差评率18.商品评论的各种交易信息，以及评价的交易信息19.商品评论列表页，需要收藏和抓取评论的高评分商品。

　　20.商品评论列表页，需要爬取评论区一级评论数和二级评论数。21.商品评论区一级评论数比较长的，需要抓取二级评论的评论信息。22.商品评论列表页，商品评论的。