api监测关键词去百度文库找到相关相关关键部分

　　api监测关键词去百度文库找到相关相关关键部分

　　通过关键词采集文章采集api监测关键词等等，知乎上以前有过知友写这方面的教程，可以自己去看看。采集知乎只是采集了api，利用采集来的文章，关键词去百度文库找到相关关键词，

　　一、需要软件：2.8版本百度文库浏览器，下载地址：）百度文库浏览器解压后，把里面的文件解压到任意盘。d:\programfiles\百度文库浏览器，最后运行。

　　二、爬虫部分

　　1）根据需要做数据关键词筛选爬虫初始获取的文章都是网页保存起来的文章，利用信息数据，筛选出重复率低的文章，分为一般高频、关键词关联高频和小范围文章三种。重复率根据关键词的，会根据一个范围内的文章进行检测，保留检测结果覆盖次数较多的文章。一般高频文章：保留前5000条检测结果高频文章保留5篇以上范围文章保留100篇以上（。

　　2）百度文库api调用文库api相对于我们平时用的api还是比较陌生的，需要大家有所积累。在excel中可以通过关键词来找到文章，按照网址和地址填入爬虫，就可以得到文章地址，在网页中点击文章进行查看详情，就可以获取文章。

　　3）爬虫部分

　　1）监测关键词文章监测结果一般百度文库平台会给出这些关键词的前1000条文章，基本全是高频关键词，我们通过数据采集，得到文章数量，点击查看，就可以得到文章的内容。文章地址，这样我们就可以解析了。

　　2）爬虫部分爬虫部分难度不大，爬取网页全部页面即可。爬虫部分，通过设置规则，也可以爬取网页全部，这个爬虫就可以实现一次爬取2000页的网页，没有深入去分析。需要大家多积累数据规则。设置规则主要是找到该页面的规律，比如每行的文章内容都是一个词语，或者文章的标题是一个单词。需要大家先结合爬虫，设置规则后，用规则抓取网页全部页面，根据规则，并结合规则，避免爬取页面中有文章内容时，有死角造成文章丢失。爬虫采集速度慢，爬取效率低。建议采集完的数据，进行排序，以便后续去重处理。