通过关键词采集文章采集api(面向豆瓣网站的信息采集与可视化分析系统(组图))

　　通过关键词采集文章采集api(面向豆瓣网站的信息采集与可视化分析系统(组图))

　　豆瓣信息采集和可视化网站

　　摘要：豆瓣网站是中国最受欢迎的社交网站之一。本文为豆瓣网站设计了一个信息采集和可视化分析系统，基于Python语言实现了信息采集、信息分析和可视化三个功能模块，实现了如下功能：可根据用户指定的关键词实现自动采集和豆瓣网站信息的可视化展示。

　　关键词：信息采集；可视化；豆瓣网站

　　CLC 编号：TP311 *敏*感*词*识别码：A 文章 编号：1009-3044 (2018）13-0003-02

　　1 背景

　　目前，随着Web2.0和移动互联网的快速发展，网民数量屡创新高，社交互联网平台应运而生。但是，布查达的言论很容易成为社会不稳定因素，所以要及时了解和掌握社交网站网友发布的信息，对网站的信息有一个全面的了解。 ，避免*敏*感*词*的网络舆论攻击、网络谣言等恶性事件。

　　豆瓣网站作为社交网站的典型代表，积累了大量的人气，是国内最具影响力的社交网站。大量网友可以在豆瓣上发帖网站各种信息，其中收录丰富的个人情感，尤其是一些观点所表达的观点具有很强的主观性和武断性[1]。为此，本文开发了豆瓣网站的信息采集及分析系统，可以全面掌握豆瓣网站的社交网络信息，并可对爬取的豆瓣网站@进行分析。 >数据直观直观展示，有助于及时全面了解豆瓣网友的思想表达、热点话题等。

　　2 系统架构设计

　　该系统使用基于Python的Scrapy开源爬虫框架开发。Scrapy 框架为网络爬虫相关功能提供了丰富的 API 接口[2]。在此基础上，本文实现了面向豆瓣网站的信息抓取、数据处理和可视化，系统功能如图1所示。

　　豆瓣网站的信息采集和可视化系统架构主要分为三个关键功能模块：

　　1）采集模块主要根据用户指定的关键词或URL爬取豆瓣网站的相关信息；

　　2）处理模块的主要任务是对采集模块爬取的海量数据进行处理和分析，并将其格式化并存储起来，以供后续可视化展示；

　　3）可视化模块，该部分是系统分析功能的主要实现部分，实现处理后信息的可视化展示。

　　3 豆瓣信息采集网站及可视化系统主要功能的实现

　　3.1 信息采集模块

　　信息采集模块的主要作用是根据系统用户指定的关键词通过网络采集豆瓣网站启动爬虫程序，并发送采集 to 信息被持久化到本地数据库。此外，系统还部署了去重去噪的信息爬取策略，保证采集信息的准确性。最后对采集的信息进行格式化转换，并保存格式化后的数据。

　　为了保证豆瓣网站采集上信息的全面性，系统采用广度优先的爬取搜索策略[3-4]。主要过程是选择起始URL作为*敏*感*词*URL放入等待队列，爬虫根据URL队列选择要爬取解析的URL，将爬取的URL放入爬取集合中，选择解析后的URL和将它们放入待爬取的URL队列中，直到待爬取的URL队列为空，如图2所示。

　　鉴于豆瓣网站的主动反爬策略[5]，系统使用cookies模拟浏览器访问。当豆瓣网站返回bin cookie时，后续的爬取过程会携带cookie进行访问。，为了防止频繁定向触发反爬虫机制，在系统中设置了一定的时间阈值，即1分钟，进行间隔爬取。

　　3.2 信息分析模块

　　系统分析