解决方案:基于hadoop的网站用户行为分析系统设计与实现

　　解决方案:基于hadoop的网站用户行为分析系统设计与实现

　　【摘要】 在大型企业和互联网公司中，每天都会产生大量的日志文件。数据量级已经突破了TB（Terabyte）的范畴。如何解决日志数据分散的问题，如何快速高效地处理如何将这些日志中的数据与业务数据库结合起来，分析用户的访问行为和动作偏好，已经是每一个开始涉足的公司都在思考的问题接触大数据需要考虑。解决这些问题，可以让企业在发展的道路上更清楚地认识自己，让积累的数据为企业带来更大的商业价值。本文从数据分析师的角度，研究企业常用的数据分析技术和解决方案，并同时参考大数据环境下出现的各种新兴技术和工具，分析各种技术的特点，提出使用建议。为了优化用户行为数据分析的解决方案，最终设计了一套涵盖数据采集、数据处理、数据计算和数据可视化的用户行为分析系统。本文所做的主要研究和工作包括： (1) 分析了系统所需的相关技术工具，包括数据采集部分的Flume和Kafka，构建数据仓库的MySQ LInfobrigh和Hive，数据计算部分的Pig，Impa , Spark, Kibana 用于生成可视化图表和Elasticsearch 用于其源数据存储分析和管理等，通过梳理它们的特点，决定了整个系统中技术工具的最终选择。(2) 构建数据仓库，对不同种类、类型的日志文件进行格式梳理和清洗，生成标准格式的清洗数据文件，配合从业务数据库导入的数据，构建各个产品的数据集形成一个数据仓库，作为整个用户行为分析系统的核心数据。(3) 设计开发自动化数据可视化工具，将我们在数据仓库中产生的数据自动映射到Elasticsearch文件系统，同时在Kibana系统中生成默认图表，解决常规数据可视化方案操作繁琐问题。根据本文设计方案构建的用户行为分析系统已在国内某社区互联网公司部署使用。经过几个月的运行，情况稳定，效果良好，大大提高了数据分析师的工作效率，让分析用户行为变化变得更简单，分析师更专注于分析的逻辑。

　　解决方案:抖音快手商家电话批量自动采集

　　抖音商务电话批量采集软件是一款全自动采集为企业领导和专家开发的软件，可以帮助大家快速与商户建立联系，大大提高工作产出。

　　那么这些电话都是在网页上公布的，不过是采集软件下载的，不会涉及信息安全问题。

　　抖音商务电话批量采集软件功能介绍：

　　1.发送所有类别采集

　　2.支持图片和文字自定义发送

　　3.采集商户手机号和微信号（公开数据）

　　4、全自动挂机投递，降低人工成本。

　　5.支持导出excel

　　经测试，几个小时内，商家主动加好友的数量高达80-100。要知道这是到私域的业务流量，基本相当于过去2-3个工作日的效果。手动可能无法实现此效果。

　　有需要的朋友请加私信我。