ecshop自动采集文章网址功能支持bt、磁力、百度云等文件

　　ecshop自动采集文章网址功能支持bt、磁力、百度云等文件

　　ecshop自动采集文章网址功能支持bt、磁力、百度云等文件，

　　自动化采集功能，看下这款吧，seleniumwebdriver智能自动化采集神器，支持文章页面点击，批量导入excel、pdf文件，高速搜索实时预览分词，建议采用beautifulsoup4bs4+googletags+word2vec+lsa，

　　原来用过微擎，它里面的分词功能还可以，但是页面采集的话有点卡顿。也尝试过三种：百度云爬虫；seleniumwebdriver自动化采集；pythonwebdriver爬虫。python爬虫是自己在做项目过程中，发现python抓取的页面优化不够，所以自己写了一个抓取类，基于tio2模块封装了优化python抓取的方法。

　　在这个整个过程中对自己算是一个不错的学习，也发现了一些框架可以实现不同功能的爬虫，分别是py2exe爬虫，csv.txt格式记录爬虫，pil进行图片的xml处理，这次写项目遇到网络问题，本地c++环境安装以及ide部署不完美，文件抓取功能框架功能没有体验好，于是决定入坑python爬虫。其中我的定位是实现文章分词抓取。

　　最终定了python爬虫核心代码自己撸一遍，利用pip安装项目所需要的包进行抓取。感觉自己写的还可以，最终体验如下：文章分词，库：docspy从头打的代码，没有做任何版本的修改，也没有做任何其他的改变。在这里以网址分词为例，创建测试集，实际使用都需要根据实际情况修改测试集。多人分词，方法：newsoriginaldata_comments=docspy.corpusrecords.textchan(url:apiget"/"newsoriginaldata_comments)爬虫（自动化工具）可以根据自己的需求去定制，框架基本写好，就是重复实验总结多人分词，定义分词规则：newsoriginaldata_comments.add("要分词的网址",{'text':"怎么"})注意分词是按照分词时候的生词列表去抓取网页，可能出现循环，重复抓取的情况newsoriginaldata_comments.add("对他人作用网址的作用",{'text':"这个是'site.'"})代码清晰，可以看到循环采样，可能出现循环需要做单步调试多个文件自动采集，采集时间可能需要做单步调试,可能出现循环采样问题，可能多次循环采样，这些后面会重点讲，可以先点击本地测试，然后在对比结果。