利用新浪、网易、腾讯、搜狐微博开放平台API,切换任务调度

　　利用新浪、网易、腾讯、搜狐微博开放平台API,切换任务调度

　　多微博平台用户数据采集 .doc多微博平台用户数据采集摘要：本文介绍了使用新浪，网易，腾讯，搜狐微博开放平台API来获取关键人物和关键主题的方法。针对不同的微博平台返回结果的差异，提出了一种情境数据的分发方法，提出了一种数据融合的方法，并提出了接口封装，访问令牌交换，任务调度等技术，以提高效率。微博API调用，以减少系统消耗的目的。 关键词：微博API数据采集令牌交换任务调度中文图书馆分类号：TP39 3. 08文档标识码：A 文章编号：1007-9416（201 3) 11-0141-011概述微博是一个基于用户关系的共享，传播和获取信息的平台，它具有软通信，实时，参与性和交互性[1]，网民使用微博传递实时信息，表达个人感受，甚至参与讨论。目前，中国的微博用户超过5亿[2]，但是微博正在蓬勃发展，同时也带来了虚假信息的增加，以及辨别真假的困难。 “煽动”行为，破坏社会稳定，仅依靠在线舆论，尽早监测和发现恶意事件迹象，微博信息量巨大，难以满足数据需求采集 要是 使用人工手段。本文的核心内容是使用微博开放平台API来高效获取关键信息和关键信息。主题信息和主题传播趋势等数据。 2使用微博API获取数据2. 1微博API调用过程微博运营商已开放微博API，以吸引第三方应用程序并增加用户体验。

　　微博API实际上是部署在微博开放平台服务器上的一组动态页面。这些页面可以接受来自第三方应用程序的GET或POST请求，然后返回相应的结果。使用微博API主要包括以下步骤：（1)申请应用程序。微博开放平台为开发人员分配了唯一标识应用程序的“ A*敏*感*词*ey”和“ AppSecret”。（2)获得授权。通过OAuth协议令牌[3]。（3)访问API页面。根据所需功能选择要使用的API，并根据RFC3986建议对所需参数进行编码，然后访问该页面。（4)分析结果。从服务器返回的XML或JSON文件中提取数据。JSON格式文件具有较快的解析速度[4]，更适合于具有大量数据的情况2. 2多个数据融合处理微博平台应在不同的微博平台上处理。要获得相同类型的数据，一种是选择相应的界面，另一种是统一处理返回的结果。（1)关键人物数据。主要包括“意见领袖”并且经常有意发布或转发虚假信息和不良信息，以试图在微博平台上煽风点火的人们，他们发表的意见可以迅速传播并产生巨大影响。 采集的内容包括用户的个人信息，微博使用信息和已发布的微博。 （2)关键主题数据。指的是包括与国家和地区安全，社会稳定等有关的词。这种类型的微博出版商的思想倾向具有很大的价值。（3)我想知道如何广泛传播微博传播，有必要分析一下微博的传播趋势，以新浪微博为例：调用，可以获得该微博的ID进行转发，然后递归调用此API以获取转发的微博的ID，最后通过数据可视化技术构建传播情况图。

　　这是一个类似于“遍历遍历”的过程。当确定“遍历的层数”时，可以确定地完成数据采集的工作。 （4)结果分析。API调用结果包括三个部分：微博文本，多媒体信息和用户数据。由于每个微博平台定义的返回格式不同，因此必须有相应的处理方法。可以提取JSON属性字段2. 3API三层封装直接调用该API程序代码是：复杂，参数难以理解，程序代码冗余第一层封装是指基本过程的子集，如连接建立和参数编码，除搜狐微博外，其他微博平台提供的SDK都有已经完成了这一步骤；第二层封装接受了更易理解的参数，并将“获取全部”和“有多少个项目”转换为SDK所需的nto属性参数和翻页参数；第三层封装集成了在调用API之前和之后访问数据库的操作，并统一了函数名。 2. 4令牌交换技术有关API调用次数的信息记录在通过OAuth身份验证获得的访问令牌中。单个访问令牌收录的调用太少，并且必须通过多令牌交换来增加API调用的数量。 （1) 403异常硬开关，适用于新浪微博。继续使用访问令牌，直到服务器返回403异常。捕获到异常之后，切换到下一个访问令牌，然后重新启动采集任务。（2)预切换，适用于网易微博。

　　提取HTTP头中收录的令牌信息，并决定是否进行切换。 （3)随机切换。每次调用API之前，都会随机选择一个令牌。此方法通用并且具有少量代码，但是可能会发生错误。（4)贪婪的切换，每次调用API之前，始终选择剩余时间最多的令牌。这种方法是通用的，但它需要记录每个令牌的使用情况3当数据量少且令牌丰富时，系统设计和实现就很简单。 API，实际上，当要采集的数据量非常大，令牌和系统资源的数量有限时，我们必须考虑避免盲目性采集，减少突发数据和任务调度3. 1 采集重复数据删除这是一个增量采集问题，我们只想获取“新”数据，而不是“旧”数据。因此