关键词采集文章(公众号需要注意以下几点的以下几点管理模块(6))

　　关键词采集文章(公众号需要注意以下几点的以下几点管理模块(6))

　　为了处理账号被封的问题，我们在处理公众号时需要注意以下几点：

　　①每个公众号都必须在数据库和微信账号中进行管理，

　　②手机必须按照一定的规则编号

　　③数据中必须关联手机号和微信号。

　　(5) 模板管理

　　我们逐渐放弃了配置模板，倾向于通过训练自动处理。

　　（6)微博博主管理

　　由于微博搜索列表中并未显示所有与搜索词相关的信息，因此需要同时监控一些博主，两者相辅相成。

　　2. 资源管理模块（1) 服务器管理：

　　做舆论或数据服务的公司至少有几十台服务器参与数据采集

。为了便于了解这些服务器何时到期、更新和服务器配置，我们倾向于将服务器管理与任务调度一起设计，而不是使用云平台提供的控制终端。

　　当然，网管也可以使用云平台控制终端查询和监控服务器的各项指标。

　　（2) 项目管理：

　　在进行搜索采集时，搜索词一般是按照项目或产品的数据范围进行排序的。所以在添加元搜索关键词的时候，一般都是绑定到项目上的。因此，项目需要统一管理。

　　（3) 索引管理：

　　由于海量数据采集，每天采集的数据量至少有100万。因此，我们不可能将长时间采集

的所有数据都存储在一个 ES 索引库中。

　　在实际使用中，我们首先对信息进行分类。如：新闻、论坛、博客、微博、客户端、微信、纸媒等。如果有国外网站采集，可以添加国外媒体类型。

　　尽管数据是按类型分类的，但不能总是将每种类型的数据都存储在一个索引中。因此，也需要按照一定的规则来生成索引。比如按时间、每周或每月生成某种类型的索引。

　　为了提高ES集群的工作效率，我们可以根据实际业务需要关闭比当前时间长的冷索引，比如关闭半年前生成的ES索引。这样可以减少服务器内存和硬盘的浪费，提高热点索引的查询速度，提升产品的用户体验。

　　同时，为了掌握ES集群中各个索引的情况，我们需要记录索引的创建时间、上次保存数据的时间、索引名称、索引类型、数据量、数据类型以及收录

哪些字段。

　　记录索引信息，一是方便了解当前各类数据的索引数据库；二是方便各种统计报表所需数据的导出。

　　3. 监控模块

　　

　　对网站、栏目、搜索引擎、服务器、采集器等的监控不再赘述。上一篇《如何在数据采集中建立有效的监控体系？》文章中有详细介绍，大家可以看看。

　　4. 调度模块

　　

　　调度模块是运维管理中最重要的部分。

　　在分布式海量数据采集中，涉及采集的网站、栏目或渠道的数量级至少有10000、100,000，甚至数百万。

　　涉及的服务器从三到五台，到三到五十台，或三到五百台。每台服务器上部署多个采集

器，

　　这样一个数量级的采集器，没有专门的系统来处理，是难以想象的。

　　调度模块主要负责采集器的增减、部署/上传、启动、关闭，实现一键部署，解放人力。

　　二：数据采集

　　采集器在处理采集任务时最重要的三个部分是：网页下载、翻页和数据分析。各部分加工中的注意事项如下：

　　1. 翻页

　　在海量数据采集中，不建议设置翻页。主要是翻页信息的维护比较麻烦。为了不错过数据采集，可以适当提高采集频率，以补偿未翻页的影响。

　　2. 标题

　　标题一般在采集

URL地址时使用A标签的值。然后在文本解析期间执行第二次检查以更正标题中可能存在的错误。

　　3. 发布时间处理

　　发布时间分析难免会出现问题，但不能大于当前时间。

　　一般在清除HTML源代码中的css样式、JS、评论、meta等信息后，删除HTML标签，将内容中的第一时间作为发布时间。

　　一般可以统计一些发布时间标志，例如：“发布时间：”、“发布日期”等。然后通过正则表达式得到该标识符前后100个字符串中的时间作为释放时间。

　　第三：数据质量

　　1. 标题处理；

　　标题一般容易出现以下三个问题：

　　①以“_XXX网站或门户”结尾；

　　②以“...”结尾；

　　③长度小于等于两个字符；

　　针对上面的问题，我们可以通过list的title和body中的title进行二次校验来纠正。

　　2. 文本处理；

　　文本一般是根据数据类型来分的，可以注意以下几个问题：

　　①新闻、博客、纸媒、客户端、微信正文10字以上；

　　②论坛和微博内容要大于0；

　　③注意内容中是否存在解析异常导致的css样式数据；

　　④ 格式化数据。删除多余的“\n”、“\t”、空行等。

　　3. 统一数据传输接口：

　　对于企业来说，有定期采集

，也有根据项目和产品定制的采集

。并且有些项目或产品有很多自定义脚本。如果数据存储方式（或数据推送方式）不统一，一旦出现问题，排查起来难度极大。它还浪费时间并增加人工成本。

　　统一的数据传输接口具有以下优点：

　　①异常前端，降低异常数据流入系统的概率，提供用户体验；

　　②采集任务的数据质量监控和优化；

　　③多源情况下数据加权，减轻数据分析压力；

　　④减少数据持久化问题，提高工作效率；

　　四：统一开发模式

　　舆情或数据服务公司数据采集人员较多，技术水平参差不齐。为了减少各级人员在开发过程中的BUG数量，可以对各个部分进行细化采集

，定制开发低耦合的模块，然后制作成第三方插件，分发和分发。将它们安装在每个开发人员的环境中。这样可以大大降低开发中出现BUG的概率，有效提高工作效率。

　　那么，哪些模块可以独立？

　　① 采集任务采集模块；

　　②网页下载模块；

　　③发布时间、文本等分析模块；

　　④ 采集结果推送模块；

　　⑤ 采集监控模块；

　　将以上五部分代码统一起来后，至少可以节省40%的人力。

　　第五：采集痛点：1.网站改版

　　网站改版后，信息规律、翻页规律、采集

模板等失效，导致网站采集

异常。不仅浪费资源，而且影响采集

效率。

　　尤其是政府网站近一两年在全国范围内进行了改版，很多历史配置的网站无法采集数据。

　　2. 缺失数据

　　缺失数据的情况是以下情况之一：

　　①采集频率错误，导致信息跳转到第二页等，无法采集（因为采集页面翻了）

　　②因网站改版，信息正则表达式或模板配置异常；

　　③信息所在网站未配置栏目，将其加入采集任务队列；

　　④ 数据传输异常，导致数据丢失；如kafka异常，导致内存中所有数据丢失；

　　⑤网络抖动，导致文本采集异常；

　　以上数据缺失的原因，都可以通过监控系统快速找到定位。由于监测体系的建立，可以参考之前发表的《如何在数据采集中建立有效的监测体系？》“一篇文章。

　　第六：第三方数据平台

　　如果你是个人，单纯采集

一些数据来写论文，或者这个测试什么的，那么看到这里这篇文章就可以结束了；

　　如果你是做舆论或数据分析的公司，第三方平台是很好的补充数据来源。一方面可以补充我们漏掉的数据，提升用户体验。另一方面，我们也可以从他们的数据中分析信息的来源网站，以补充我们自己的来源数据库。

　　主要的第三方平台或数据服务商如下：

　　1. 元哈SaaS平台

　　元哈舆论其实就是新浪舆论。因此，元哈的微博数据应该是市场上最全面、最及时的。网站、客户端、纸质媒体等数据类型其实都差不多，看投资的多少。一般来说

　　2.铱星SAAS平台3.智慧星光SaaS平台

　　铱星和智慧星的数据差不多，智慧星稍微好一点。

　　4. 河口微信资料

　　特点：微信公众号文章数据还可以，每天80万到150万之间，收费在市场上应该比较合适。如果您的公司有此需求，您可以与他们联系。微博等数据暂未对接，质量未知。

　　这就是今天的全部内容。文笔不好，理解一下思路就好了。哈哈......

　　如果你还有其他采集

相关的问题想知道，可以在评论区留言，一起讨论！

　　​