网站内容更新方案( 一种网站数据更新方法和系统的发明内容和分类处理)

　　网站内容更新方案(

一种网站数据更新方法和系统的发明内容和分类处理)

　　网站数据更新方法及系统*敏*感*词*法

　　【技术领域】

　　[0001] 本发明涉及互联网技术领域，尤其涉及一种网站数据更新方法及系统。

　　【背景技术】

　　[0002] 随着互联网技术的发展，很多行业越来越依赖相关网站的数据。传统的网站数据更新一般使用离线数据，即第N天使用和分析的网站数据实际使用的是第N-1天及之前的数据。这种网站数据更新方式无法反映实际数据对网站当天所开展业务的影响。一般只适用于不太依赖实时数据的行业，以及一些依赖实时数据的行业。对于高度网站，比如垂直电商，他们对实时数据的敏感度远高于历史数据。这些网站急需实时数据参与网站数据更新，所以现有的网站

　　[发明概要]

　　[0003] 基于此，现有的网站数据更新方式必然无法满足垂直电子商务网站等数据更新速度快的要求，甚至可能针对网站数据分析不及时，影响业务开发流程和效率的技术问题，提供网站数据更新方法及系统。

　　[0004] 一种网站数据更新方法，包括以下步骤：

　　[0005] 获取网站对应的web服务器的网站日志和网站的实时业务数据；其中，实时业务数据包括该网站不时更新的网站日志访问数据；

　　[0006] 基于分布式系统架构，将网站日志和实时业务数据上传至数据库；

　　[0007] 对网站日志和实时业务数据在数据库中进行过滤分类；

　　[0008] 将网站日志和实时业务数据上传到分布式消息队列；

　　[0009] 将网站日志和实时业务数据过滤分类到分布式消息队列中；

　　[0010] 分别从数据库和分布式消息队列中导出过滤分类的网站日志和实时业务数据，合并网站日志和实时业务数据两部分；

　　[0011] 使用合并后的网站日志和实时业务数据更新网站数据。

　　[0012]一个网站数据更新系统，包括：

　　[0013] 获取模块用于获取网站对应的web服务器的网站日志和网站的实时业务数据；其中，实时业务数据包括网站该网站从上次日志更新到当前时间的访问数据；

　　[0014] 第一上传模块用于将网站日志和实时业务数据上传到基于分布式系统基础架构的数据库中；

　　[0015] 第一处理模块用于对数据库中的网站日志和实时业务数据进行过滤分类；

　　[0016] 第二上传模块用于将网站日志和实时业务数据上传到分布式消息队列；

　　[0017] 第二处理模块用于对分布式消息队列中的网站日志和实时业务数据进行过滤分类；

　　[0018] 合并模块用于分别从数据库和分布式消息队列中导出过滤分类的网站日志和实时业务数据，将网站日志和实时业务数据两部分结合起来业务数据合并

　　[0019] 更新模块用于将网站日志和实时业务数据合并后更新网站数据。

　　[0020] 上述网站数据更新方法及系统，通过上传网站对应的web服务器的网站日志和网站@的实时业务数据> 分别基于分布式系统基础设施的数据库和分布式消息队列分别在它们所在的数据库和分布式消息队列中过滤分类，以及网站日志和数据库中过滤分类后的日志对分布式消息队列进行过滤和分类。实时业务数据合并，网站数据更新为合并后的网站日志和实时业务数据。在本发明中，能够反映网站中收录的网站和网站历史数据的实时业务数据 @网站日志用于更新网站数据，使更新后的网站数据能够准确反映对应客户端获取的实时业务数据，保证了速度和质量网站 的更新数据。根据网站的更新数据进行后续分析并采取相关对策，可以进一步提高网站处理相应业务的效率。

　　【图纸说明】

　　[0021] 图 附图说明图1是实施例的网站数据更新方法的流程图；

　　[0022] 图 图2是根据一个实施例的分布式消息队列数据上传方法的流程图；

　　[0023] 图 图3是根据实施例的过滤分类处理方法的流程图；

　　[0024] 图 图4是根据一个实施例的过滤分类处理方法的流程图；

　　[0025] 图 图5是实施例的网站数据更新系统结构*敏*感*词*；

　　[0026] 图 图6为本发明实施例提供的第二上传模块的结构*敏*感*词*；

　　[0027] 图 图7是实施例的第一处理模块的结构*敏*感*词*；

　　[0028] 图 图8为本发明实施例提供的第二处理模块的结构*敏*感*词*。

　　【详细方式】

　　[0029] 下面结合附图对本发明的网站数据更新方法和系统进行详细说明。

　　[0030] 参考图。1，图。图1示出了实施例的网站数据更新方法的流程图，包括以下步骤：

　　[0031] S10. 获取网站对应的web服务器的网站日志和网站的实时业务数据；其中，实时业务数据包括更新自网站日志网站上一时刻到当前时刻的访问数据；

　　[0032] 上述步骤S10中，网站日志一般是指记录网站所在的服务器接收到的网站的相关业务请求，以预设为单位时间段及运行中出现的异常情况网站日志可以包括网站的会员登录次数、非会员登录次数、登录会员等级、停留时间网站中的每种类型的客户等等等等。上述预设时间段可以是一天，即网站日志每天更新一次，当天网站客户端获取的业务数据为网站; 也可以是相应的网站其他时间段的业务数据的合适阶段汇总。

　　[0033] S20、将网站日志和实时业务数据上传到基于分布式系统基础架构的数据库中；

　　[0034] 上述步骤S20中，将网站日志和实时业务数据上传到基于分布式系统基础设施的数据库中，基于分布式系统基础设施的数据库可以基于Hadoop(a由 Apache *敏*感*词*开发的分布式系统基础设施），具有高容错性，能够以可靠、高效、可扩展的方式处理数据。这样，相关用户可以在不了解分布式底层细节的情况下开发分布式程序，在后续处理中，可以对网站日志和实时业务数据进行高速计算和存储，提高数据处理效率。

　　[0035] S30、对数据库中的网站日志和实时业务数据进行过滤分类；

　　[0036] 上述步骤S30中，对网站日志和实时业务数据进行过滤分类，可以将网站日志和实时业务数据收录在数据库中的信息基于网站日志中收录的信息和实时业务数据。> 定时业务需求筛选出有用的信息，对以上有用的信息进行分类，使获取的信息能够更准确、清晰地反映网站的业务状态。

　　[0037] S40，将网站日志和实时业务数据上传到分布式消息队列；

　　[0038] 上述步骤S40中，将网站日志和实时业务数据上传到分布式消息队列，可以使得消息特定的传输延迟更低，进一步加快相关数据的处理速度；并且上述网站日志和实时业务数据分两条路径处理，可以提高最终得到的网站业务数据的准确性。

　　[0039] S50、对分布式消息队列中的网站日志和实时业务数据进行过滤分类；

　　[0040] 上述步骤S50中，对网站日志和实时业务数据进行过滤分类到分布式消息队列中，将上述网站日志和实时业务数据中收录的信息数据可以根据网站的定时业务需求筛选出有用的信息，并对有用的信息进行分类，使获取的信息能够更准确、清晰地反映网站的业务状况。<