近期发布:基于Spring Cloud的全自动化微信公众号消息采集系统

　　近期发布:基于Spring Cloud的全自动化微信公众号消息采集系统

　　前言

　　因公司业务需要，需要获取客户提供的微信公众号历史文章，并每天更新。很明显，每天人工检查300多个公众号是不行的，把问题提交给IT团队。对于那些喜欢爬虫的人，我一定会尝试他。之前做过搜狗的微信爬虫，后来一直在做java web。这个项目重新点燃了我对爬虫的热爱。第一次使用spring cloud架构做爬虫。20多天后，终于搞定了。接下来我将通过一系列文章分享这个项目的经验，并提供源码供大家指正！

　　一、系统介绍

　　本系统是基于Java开发的。只需简单配置公众号或微信公众号的名称，即可定时或即时抓取微信公众号的文章（包括阅读次数、点赞次数、观看次数）。

　　二、系统架构技术架构

　　Spring Cloud、Spring Boot、Mybatis-Plus、Nacos、RocketMq、nginx

　　贮存

　　Mysql、MongoDB、Redis、Solr

　　缓存

　　雷迪斯

　　演戏

　　提琴手

　　三、系统优缺点系统优势

　　1、公众号配置后，可以通过Fiddler的JS注入功能和Websocket实现全自动爬取；2、系统为分布式架构，可用性高；3、RocketMq消息队列解耦，可以解决网络抖动问题如果采集失败，如果3次消费不成功，日志会记录到mysql，保证文章的完整性; 4、可以添加任意数量的微信号，提高采集的效率，抵抗反爬限制；5、Redis缓存24小时内每条微信号的采集记录，防止账号被封；6、Nacos作为配置中心，可以通过热配置实时调整采集的频率；7.把采集 > 将接收到的数据存储在Solr集群中，提高检索速度；8. 将抓包返回的记录保存到MongoDB存档，方便查看错误日志。

　　系统缺点：

　　1.通过真机真实账号采集消息，如果需要采集大量公众号，需要有多个微信账号作为支持（如果当天账号达到上限，可以通过爬取微信公众平台界面获取新闻）；2.不是公众号一发就可以抢到。采集时间是系统设置的，消息有一定的滞后性（如果公众号不多，微信号数量充足，可以通过增加采集的数量来增加> 频率优化）。

　　四、模块介绍

　　由于后面会添加管理系统和API调用功能，所以提前封装了一些功能。

　　common-ws-starter

　　公共模块：存储工具类、实体类等公共消息。

　　redis-ws-starter

　　Redis 模块：是的

　　spring-boot-starter-data-redis的二次封装暴露了封装后的Redis工具类和Redisson工具类。

　　火箭MQ-WS-启动器

　　RocketMq 模块：是

　　RocketMQ-spring-boot-starter的二次包，提供消费重试和失败日志记录功能。

　　db-ws-starter

　　mysql数据源模块：封装mysql数据源，支持多数据源，通过自定义注解实现数据源的动态切换。

　　sql-wx-蜘蛛

　　mysql数据库模块：提供mysql数据库操作的所有功能。

　　pc-wx-蜘蛛

　　PC端采集模块：收录PC端采集公众号历史消息相关功能。

　　java-wx-蜘蛛

　　Java抽取模块：收录java程序抽取文章内容相关的功能。

　　移动 wx 蜘蛛

　　模拟器采集模块：收录通过模拟器或移动端采集消息交互量相关的功能。

　　五、总流程图

　　6.在PC和手机上运行截图

　　安慰

　　运行结束

　　总结

　　项目的亲测可用性现已上线，在项目开发中解决了微信搜狗临时链接到永久链接的问题，希望能帮助被类似业务困扰的老铁们。如今，做java就像逆水行舟。不进则退。我不知道你什么时候会参与进来。我希望每个人都有自己的向日葵采集。你不给这个采集吗？

　　原文链接：

　　如果你觉得这篇文章对你有帮助，可以转发、关注、支持

　　正式发布:关于在全市范围内统一使用“三河医健通核酸采集系统”的通告​

　　业务合作电话：

　　居民朋友：

　　为提高我市核酸检测效率，进一步方便群众，对“三禾医疗保健核酸采集系统”进行升级改造，将在全市统一使用。现将有关事项公告如下：

　　1. 完整的个人信息。三河市所有人员需重新申请核酸采样码（申请流程附后），并根据操作流程自主完善个人信息，特别是“现居住地”和“居住地址”具体到村街道（社区）门牌号，请务必如实填写信息，确保核酸结果及时反馈。

　　2、核酸检测及时。全体员工核酸检测期间，如果您错过检测或连续超过24小时不参加检测，系统将无法确认您的健康状况。会受到影响；出现弹窗时，请立即联系所在社区或单位，配合核酸检测解除弹窗，正常出行；不及时报告，弹窗无法解除。相关法律责任。

　　3、代码采集长期有效。建议将个人采集代码截图保存在手机上。没有手机的，家属可以将个人信息采集代码截图打印出来，长期保存，在对所有员工进行核酸检测时使用，随身携带抽样时主动出示个人信息二维码采集。

　　附：个人核酸采集代码申请流程

　　三河市应对新型冠状病毒肺炎疫情领导小组办公室

　　2022 年 3 月 30 日

　　(1) 系统登录：

　　居民朋友在微信上扫描下方二维码，打开“三禾医疗健康链接”小程序；

　　（二）信息登记：

　　注册信息请选择“我是普通用户”。信息提交成功后，可以截图保存二维码截图以供长期使用。

　　3. 特别提醒：

　　现居住在三河市的外籍人员也必须按规定输入采集信息，并按规定进行核酸检测。来源：智慧三河