关键句采集原创文章，内容从原始url爬取到页面中

　　关键句采集原创文章，内容从原始url爬取到页面中

　　关键句采集原创文章，内容从原始url爬取到页面中，辅助自动化生成原始报告。

　　1、总览用百度云爬取老刀主页的文章-quan，然后修改，同步到其他页面作为爬虫的优化。

　　2、批量生成链接批量生成商品购买链接，搜索商品购买链接、拼多多购买链接、内容页购买链接。

　　3、分词统计关键词对词进行精准分词统计，并统计ask/intitle/method/article/post/republica/comment/topic/tag/intitle/post.py和topic/post/intitle/tag/post.py的平均词频。统计词频是一个常用的自动化工具。只要能通过代码实现，再来做检测发现错误难度是比较小的。

　　4、渠道分析基于豆瓣爬虫，直接在豆瓣页面统计httpstatus(请求)、cookie(session)，status(状态码)、meta(信息)等信息。对词聚类和关键词分布，词汇量的统计做汇总处理。

　　整个爬虫代码分为9部分：

　　1、爬虫http访问脚本

　　2、爬虫urlsearch部分

　　3、爬虫url关键词统计处理部分

　　4、爬虫url内容中内容统计部分

　　5、爬虫url统计部分

　　6、爬虫post发送部分

　　7、爬虫repost收件人部分

　　8、爬虫回复部分

　　9、通过爬虫url转换成其他url1

　　0、python爬虫之简单获取pdf和docx