通过关键词采集文章采集api(公众号需要注意以下几点的以下几点管理模块(6))

　　通过关键词采集文章采集api(公众号需要注意以下几点的以下几点管理模块(6))

　　为了处理账号被封的问题，我们在处理公众号时需要注意以下几点：

　　①每个公众号都必须在数据库和微信帐号中进行管理，

　　②手机必须按照一定的规则编号

　　③数据中必须关联手机和微信ID。

　　(5) 模板管理

　　我们现在已经逐渐放弃了配置模板，倾向于通过训练自动处理。

　　（6)微博博主管理

　　由于微博搜索列表中并未显示所有与搜索词相关的信息，因此需要同时监控一些博主，两者相辅相成。

　　2. 资源管理模块

　　（1) 服务器管理：

　　做舆论或数据服务的公司至少有几十台服务器涉及数据采集。为了便于了解这些服务器何时到期、更新和服务器配置，我们倾向于将服务器管理与任务调度一起设计，而不是使用云平台提供的控制终端。

　　当然，网管也可以使用云平台控制终端查询和监控服务器的各项指标。

　　（2) 项目管理：

　　搜索采集时，一般按照项目或产品的数据范围来组织搜索词。所以在添加元搜索关键词的时候，一般都是绑定到项目上的。因此，项目需要统一管理。

　　（3) 索引管理：

　　由于采集的数据量很大，采集每天接收的数据量至少有100万。因此，我们不可能将采集的所有数据长时间放在一个ES索引库中。

　　在实际使用中，我们首先对信息进行分类。如：新闻、论坛、博客、微博、客户端、微信、纸媒等。如果采集有国外网站，可以添加国外媒体类型。

　　虽然数据是按类型分类的，但不能总是将每种类型的数据都存储在一个索引中。因此，索引需要按照一定的规则生成。比如按时间、每周或每月生成某种类型的索引。

　　为了提高ES集群的工作效率，我们可以根据实际业务需要关闭比当前时间长的冷索引，比如关闭半年前生成的ES索引。这样可以减少服务器内存和硬盘的浪费，也可以提高热点索引的查询速度，提升产品的用户体验。

　　同时，为了掌握ES集群中各个索引的情况，我们需要记录索引的创建时间、上次保存数据的时间、索引名称、索引类型、索引数量数据、数据类型以及收录哪些字段。

　　记录索引信息，一是方便了解当前各类数据的索引数据库；二是方便各种统计报表所需数据的导出。

　　3. 监控模块

　　

　　网站、栏目、搜索引擎、服务器、采集器等监控没穷尽。在之前的《数据采集，如何建立有效的监控系统？文章中有详细的介绍，大家可以看看。

　　4. 调度模块

　　

　　调度模块是运维管理中最重要的部分。

　　在分布式海量数据采集中，涉及采集的网站、列或通道的数量级至少是10,000、100,000，甚至数百万。

　　所涉及的服务器范围从三到五台，到三到五十台，或三到五百台。每台服务器上部署多个采集器等，

　　如此量级采集器的运维，如果没有专门的系统来处理，是不可想象的。

　　调度模块主要负责采集器的增减、部署/上传、启动、关闭等，实现一键部署，解放人力。

　　第二：数据采集

　　采集器在处理采集任务时，最重要的三个部分是：网页下载、翻页和数据分析。各部分加工中的注意事项如下：

　　1. 翻页

　　在海量数据采集中，不建议设置翻页。主要是翻页信息的维护比较麻烦。为了避免数据丢失，可以适当增加采集的频率，以补偿未翻页的影响。

　　2. 标题

　　当URL地址为采集时，标题一般使用A标签的值。然后在文本解析期间执行第二次检查以纠正标题中可能存在的错误。

　　3. 发布时间处理

　　发布时间分析难免会出现问题，但不能大于当前时间。

　　一般在清除HTML源代码中的css样式、JS、评论、meta等信息后，删除HTML标签，以内容中的第一时间作为发布时间。

　　一般可以统计一些发布时间标志，例如：“发布时间：”、“发布日期”等。然后通过正则表达式得到该标识符前后100个字符串中的时间作为释放时间。

　　第三：数据质量

　　1. 标题处理；

　　标题一般容易出现以下三个问题：

　　①以“_XXX网站或传送门”结尾；

　　②以“...”结尾；

　　③长度小于等于两个字符；

　　针对上面的问题，我们可以通过list的title和body中的title进行二次校验来纠正。

　　2. 文本处理；

　　文本一般是根据数据类型来分的，可以注意以下几个问题：

　　①新闻、博客、纸媒、客户端、微信正文10字以上；

　　②论坛、微博内容大于0；

　　③注意内容中是否存在解析异常导致的css样式数据；

　　④ 格式化数据。删除多余的“\n”、“\t”、空行等。

　　3. 统一数据传输接口：

　　对于企业来说，有常规的采集，也有基于项目和产品的定制采集。并且有些项目或产品有很多自定义脚本。如果数据存储方式（或数据推送方式）不统一，一旦出现问题，排查起来难度极大。它还浪费时间并增加人工成本。

　　统一的数据传输接口具有以下优点：

　　①异常前端，降低异常数据流入系统的概率，提供用户体验；

　　②采集任务的数据质量监控与优化；

　　③多源情况下数据加权，减轻数据分析压力；

　　④减少数据持久化问题，提高工作效率；

　　四：统一开发模式

　　舆论或数据服务公司，数据采集人数较多，技术水平参差不齐。为了减少各级人员开发过程中的BUG数量，可以在采集的各个部分细化低耦合模块的自定义开发，然后制作成第三方插件，在每个开发人员的环境中分发和安装它们。这样可以大大降低开发中出现BUG的概率，有效提高工作效率。

　　那么，哪些模块可以独立？

　　①采集任务获取模块；

　　②网页下载模块；

　　③发布时间、文本等分析模块；

　　④采集结果推送模块；

　　⑤采集监控模块；

　　将以上五部分代码统一起来，至少可以节省40%的人力。

　　第五：采集的痛点：

　　1. 网站 修订版

　　网站修改后，信息规律、翻页规律、采集模板等失效，导致网站采集异常。不仅浪费资源，还影响采集的效率。

　　尤其是最近一两年，政府网站在全国范围内进行了大修，很多历史配置网站都没有了采集。

　　2. 缺失数据

　　缺失数据是以下情况之一：

　　①采集的频率不对，导致信息到第二页等，不能采集（因为采集翻页）

　　②由于网站的修改，信息正则表达式或模板配置异常；

　　③信息位置网站没有配置栏，添加到采集的任务队列中；

　　④ 数据传输异常，导致数据丢失；如kafka异常，导致内存中所有数据丢失；

　　⑤网络抖动，导致文本采集异常；

　　上述数据缺失的原因可以通过监控系统快速找到并定位。由于监控体系的建立，可以参考之前发布的《数据采集，如何建立有效的监控体系？》“一篇文章。

　　第六：第三方数据平台

　　如果你是个人，只是用一些数据写一篇论文，或者测试一些东西，那么这篇文章文章看到这里就可以结束了；

　　如果你是做舆论或数据分析的公司，第三方平台是很好的补充数据来源。一方面可以补充我们漏掉的数据，提升用户体验。另一方面，我们也可以从他们的数据网站中分析信息的来源，以补充我们自己的源数据库。

　　主要的第三方平台或数据服务商如下：

　　1. 元哈SaaS平台

　　元哈舆论其实就是新浪舆论。因此，元哈的微博数据应该是市场上最全面、最及时的。网站，client，纸媒等类型的数据其实都差不多，看你投入多少。一般来说

　　2. 铱星SAAS平台

　　3. 智慧星光SaaS平台

　　铱星和智星的数据差不多，智星稍微好一点。

　　4. 河口微信资料

　　特点：微信公众号文章上的数据还可以。每天的数量在80万到150万之间。他们的收费应该在市场上更合适。如果您的公司有此需求，您可以与他们联系。微博等数据暂未对接，质量未知。

　　这就是今天的全部内容。文笔不好，理解一下思路就好了。哈哈......