关键词文章采集工具(爬虫网站关键词文章采集工具资源方案（文章标题book-category）)

　　关键词文章采集工具(爬虫网站关键词文章采集工具资源方案（文章标题book-category）)

　　关键词文章采集工具资源方案爬虫已经被网站所采用但是却效果不好，且不易扩展和维护。那要如何有效地快速而有效地生成爬虫才是核心。文章采集首先需要明确文章采集的需求和目的，文章采集方案中包含以下几个部分：1.文章链接地址采集2.分类目录采集3.收藏对待文章采集，无非是文章标题、文章描述和作者关键词，这是基础需求。

　　要采集，肯定要明确采集对象，文章标题、内容描述可通过系统自动处理，对于作者关键词可能就需要人工选择了。采集要遵循两个原则：1.选择真实可信度高的网站，文章与网站链接的关键词一定要真实。2.需要分段采集。目前爬虫网站处理收藏结果的方式是scrapy框架提供的feedlyapi，如下图：上图就是采集收藏按键信息的。

　　该功能的不足点有：1.不能实时选择收藏对象，只能通过选择人工输入2.需要找到访问过的日志，方便以后采集时跳转到指定日志页面上图是feedlyapi支持的收藏信息上图是寻找某一篇文章，但仍需要跳转到指定日志页面，故本文作者采用一步到位方案，直接采集并打包压缩，文章链接，所以我们还需要采集下表中的book.txt文件。

　　下表是使用scrapy框架压缩后的book.txt文件。后续以此为基础，爬虫规划可以延伸到采集：book-article（文章目录目录）book-subject（文章标题book-category）book-book（文章类别）book-category（某个分类）。