高并发数据采集的架构应用（Redis的应用）吐槽

　　高并发数据采集的架构应用（Redis的应用）吐槽

　　类似文章：高并发数据采集体系结构应用程序（Redis应用程序）

　　Tucaoxia：我的主要程序是PHP，并且团队中没有精通.net的人才。为了解决此平台解决方案，需要付出一些努力。

　　新年快到了，我希望有一个新的开始。技术+团队管理方面有新突破。在新的一年里好好对待自己，就无法继续建立基础。

　　问题的起点：

　　随着软件的功能越来越强大，用户的使用需求也越来越多，用户也希望可以集成大量数据以实现资源的合理使用。

　　“某些数据资源需要抓取网页的形式才能采集获取数据。

　　´采集应用程序不统一，没有良好的管理程序，而且很混乱。

　　´采集应用程序经常不响应，并且没有相应的中断程序，这在很大程度上代表了应用程序的不稳定。

　　解决方案：

　　为解决上述问题，主要采用服务平台的概念，提出了以下解决方案。

　　Data 采集服务：使用C＃创建Windows服务。 （到目前为止，Aauto尚未找到创建Windows服务的相应实例）

　　功能包括：

　　1.定期请求待处理的采集个项目，并将其放入待处理的采集队列中

　　2.多线程定期通过API上传资源数据和其他状态信息。

　　3.定时平台监视，采集如果应用程序时间过长，则会发出中断通知，并且如果没有响应，则将强制关闭应用程序并重新启动。

　　4.上传心跳信息以确保数据采集服务的正常运行。

　　采集应用程序：使用AAuto创建应用程序。实际上，您也可以使用.net创建采集应用程序。主要考虑因素是aauto语言团队相对成熟，并且已经有现成的应用程序。稍作修改，就可以连接到服务平台。

　　功能包括：1. 采集数据资源放置在本地数据库中，例如sqlite。

　　2.保存耗时的信息。通过耗时的平均计算服务平台，您可以决定发出中断通知的频率，并预测完成工作所需的时间。

　　状态应用程序：主要是辅助应用程序。

　　功能包括：

　　1）可以检*敏*感*词*理进度

　　2）您可以查看数据上传进度

　　3）可以查看待处理的进度

　　4）可以查看应用程序耗时的信息

　　从以上解决方案来看：服务平台作为协调者，负责与PHP API进行交互。相对而言，它相对独立于采集应用程序，因此具有良好的去耦性，同时又保证了稳定性。

　　采集该应用程序不再负责与PHP API交互，而主要负责与本地资源的交互。相对而言，减少了代码的工作量，并且可以相应地提高采集的速度。

　　特定代码的实现：您可以在稍后阶段关注文章，我还将大量编写代码。如果您认为效果不错，新年又焕然一新，请竖起大拇指。