解决方案:短视频内容分析采集管理软件 最新版1.0

　　解决方案:短视频内容分析采集管理软件 最新版1.0

　　短视频内容分析采集管理软件是一款非常不错的视频内容分析软件。它可以帮助用户分析和比较视频内容，帮助用户管理短视频，并跟踪每个主播。新发布的视频，快来下载试试吧！

　　短视频内容分析采集管理软件软件介绍

　　短视频内容分析采集管理软件是一款视频内容分析软件，可以采集视频并对采集的视频数据信息进行数字化管理，视频内容分析和内容管理。

　　短视频内容分析采集管理软件特色

　　1.所有视频数据信息的数据库化管理，方便查找和对比分析

　　2.支持获取主机下的所有视频，通过单个视频地址获取视频数据

　　3.最大亮点：可以随时关注各主播发布的最新视频，发现主播最新动态

　　4.记录每个视频的“上传时间”

　　5.视频内容支持翻页，除了记录视频时长、点赞、评论、分享等。

　　6、企业用户可以在多台计算机之间共享数据，实现团队数据协作。

　　指示

　　1.软件设置

　　1.1。首次使用软件时，必须点击“设置”图标设置视频下载和保存的目录路径

　　

　　1.2. 可以设置下载目录，也可以设置视频封面的缩略图大小；

　　1.3. 如果使用的是企业版，需要设置数据库访问地址、账号和密码，*敏*感*词*不需要设置；

　　2. 主播管理

　　2.1。设置类别，为每个主播定义类别

　　2.2. 添加主机

　　一个。添加抖音主机信息，点击app右上角“...”，然后点击“分享”，最后点击“复制链接”即可获取主机首页地址的URL

　　湾。选择添加，填写主持人主页的URL，点击“确认”

　　如果没有显示主机的用户名、用户ID等数据，请检查添加中的链接前是否有多余的空格，将其删除，然后单击确定。

　　2.3. 批量导入，可根据批量导入模板格式要求批量导入主机网址

　　2.4. 添加完成后，软件会自动获取主机UID。如果 UID 为空，则表示可能存在连接错误。这时候需要删除主机账号重新添加。

　　

　　3. 内容分析

　　3.1。分析主机：选择你想要的主机，点击“分析”

　　3.2. 分析视频的单个URL，可批量添加：点击“分析视频URL”，添加待分析视频的URL地址

　　3.3. 分析完成后，所有数据都会保存在数据库中，但是视频还没有下载到本地；

　　3.4. 勾选要下载的视频，点击“下载勾选”或“全部下载”，软件会下载视频并保存到本地下载目录，同时数据也会更新到“视频内容”管理”

　　PS：没有分析过主机（新增主机）的，建议一次检查1~3个，分批分析。否则，如果一次分析的内容过多，很容易导致IP被封禁。

　　4. 视频内容管理

　　4.1。视频内容管理管理视频已下载的数据。如果我们需要使用这个视频，我们可以选择视频，点击“导出”，将视频需要的视频导出到任意文件夹。

　　4.2. 每个视频的导出状态分为未导出和已导出，以减少同一视频被重复使用的可能性

　　短视频内容分析采集管理软件更新日志

　　1.修复已知bug

　　2.优化操作体验

　　整套解决方案:大数据项目之电商数仓、业务数据通道、Maxwell简介、Maxwell原理、My

　　文章目录

　　7. 业务数据 采集 模块 7.1 采集 通道 7.1.1 业务数据通道

　　7.2 采集工具 7.2.1 Maxwell 简介 7.2.1.1 Maxwell 概述

　　Maxwell 是美国 Zendesk 开源的，用 Java 编写的 MySQL 变更数据捕获软件。实时监控Mysql数据库的数据变更操作（包括插入、更新、删除），并将变更后的数据以JSON格式发送至Kafka、Kinesi等流数据处理平台。官网地址：

　　7.2.1.2 Maxwell 输出数据格式

　　注：Maxwell 输出的 json 字段说明：

　　字段说明

　　数据库

　　更改数据所属的数据库

　　桌子

　　表更新数据所属的表

　　类型

　　数据变更类型

　　ts

　　发生数据更改时

　　xid

　　交易编号

　　*敏*感*词*

　　事务提交标志，可用于重组事务

　　数据

　　对于插入类型，表示插入的数据；对于更新类型，表示修改后的数据；删除类型，表示删除的数据

　　老的

　　对于更新类型，是指修改前的数据，只包括修改后的字段

　　7.2.2 麦克斯韦原理

　　Maxwell的工作原理是实时读取MySQL数据库的二进制日志（Binlog），从中获取变更数据，然后将变更数据以JSON格式发送到Kafka等流处理平台。

　　7.2.2.1 MySQL二进制日志

　　二进制日志（Binlog）是MySQL服务器非常重要的日志，保存了MySQL数据库的所有数据变更记录。Binlog的主要功能包括主从复制和数据恢复。Maxwell的工作原理与主从复制密切相关。

　　7.2.2.2 MySQL主从复制

　　MySQL的主从复制用于建立与主数据库完全相同的数据库环境。该数据库称为从数据库。

　　7.2.2.2.1 主从复制的应用场景如下

　　(1)数据库热备份：主数据库服务器出现故障后，可以切换到备用数据库继续工作。

　　（2）读写分离：主库只负责业务数据的写操作，多个从库只负责业务数据的查询。在多读少写的场景下，可以提高数据库的效率。

　　7.2.2.2.2 主从复制工作原理如下

　　（1）master主库记录数据变化并写入二进制日志

　　（2）Slave将库中的dump协议发送给mysql master，并将master主库的二进制日志事件复制到其relay log（relay log）中

　　(3) Slave从库中读取并回放relay log中的事件，并将改变的数据同步到自己的数据库中。

　　7.2.2.3 麦克斯韦原理

　　把自己伪装成slave，按照MySQL主从复制协议从master同步数据是很简单的。重放的数据是JSON格式的，数据不会写入表中，而是传递给kafka。

　　7.2.3 Maxwell 部署 7.2.3.1 安装 Maxwell 7.2.3.1.1 下载安装包

　　(1) 地址：

　　注意：Maxwell-1.30.0 及以上不再支持JDK1.8。

　　(2)将安装包上传到hadoop102节点的/opt/software目录下

　　注：这里使用的是上硅教学版的安装包。教学版在原版基础上进行了修改，增加了自定义Maxwell输出数据中ts时间戳的参数。生产环境请使用原版。

　　7.2.3.1.2 将安装包解压到/opt/module

　　[summer@hadoop102 software]$ tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module/

<p>

</p>

　　7.2.3.2 配置 MySQL 7.2.3.2.1 启用 MySQL Binlog

　　MySQL服务器的Binlog默认是不开启的。要同步，您需要先启用它。

　　7.2.3.2.1.1 修改MySQL配置文件/etc/f

　　[summer@hadoop102 module]$ sudo vim /etc/my.cnf

　　7.2.3.2.1.2 添加如下配置

　　[mysqld]

#数据库id

server-id = 1

#启动binlog，该参数的值会作为binlog的文件名

log-bin=mysql-bin

#binlog类型，maxwell要求为row类型

binlog_format=row

#启用binlog的数据库，需根据实际情况作出修改

binlog-do-db=gmall

　　如果有两个数据库需要监控，可以这样写配置

　　binlog-do-db=gmall

　　binlog-do-db=gmall1

　　如果有100个数据库，99个需要监控，那么我们可以忽略不需要监控的数据库

　　binlog-ignore-db=gmall

　　7.2.3.2.1.3 MySQL Binlog 模式

　　基于语句：

　　Binlog根据语句记录所有写操作的SQL语句，包括插入、更新、删除等。

　　优点：节省空间

　　缺点：可能会导致数据不一致，例如insert语句中收录now()函数。

　　基于行：

　　Binlog根据行记录每次写操作后被操作行记录的变化。

　　优点：保持数据的绝对一致性。

　　缺点：占用大量空间。

　　混合：

　　混合模式，默认是Statement-based，如果SQL语句可能导致数据不一致，会自动切换到Row-based。

　　Maxwell 要求 Binlog 采用基于 Row 的模型。

　　7.2.3.2.1.4 重启MySQL服务

　　[summer@hadoop102 module]$ sudo systemctl restart mysqld

　　7.2.3.2.2 创建Maxwell所需的数据库和用户

　　Maxwell 需要在 MySQL 中存储其运行过程中需要的一些数据，包括 binlog 同步的断点位置（Maxwell 支持断点恢复）等，因此需要在 MySQL 中为 Maxwell 创建数据库和用户。

　　7.2.3.2.2.1 创建数据库

　　msyql> CREATE DATABASE maxwell;

　　7.2.3.2.2.2 调整MySQL数据库密码等级

　　mysql> set global validate_password_policy=0;

mysql> set global validate_password_length=4;

<p>

</p>

　　7.2.3.2.2.3 创建 Maxwell 用户并赋予其必要的权限

　　mysql> CREATE USER &#39;`maxwell`&#39;@&#39;%&#39; IDENTIFIED BY &#39;`maxwell`&#39;;

mysql> GRANT ALL ON maxwell.* TO &#39;maxwell&#39;@&#39;%&#39;;

mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO &#39;maxwell&#39;@&#39;%&#39;;

　　麦克斯韦应该用`包裹。

　　命令：

　　CREATE USER 'username'@'host' IDENTIFIED BY 'password';

　　阐明：

　　用户名：您将创建的用户名

　　host：指定用户可以登录的主机，如果是本地用户，可以使用localhost。如果您希望用户从任何远程主机登录，您可以使用通配符 %

　　password：用户的登录密码，密码可以为空，如果为空，用户登录服务器不需要密码

　　GRANT ALL PRIVILEGES ON *.* TO &#39;maxwell&#39;@&#39;%&#39; IDENTIFIED BY &#39;000000&#39; WITH GRANT OPTION;

　　GRANT：赋权命令

ALL PRIVILEGES：当前用户的所有权限

ON：介词

*.*：当前用户对所有数据库和表的相应操作权限

TO：介词

‘maxwell’@’%’：权限赋给maxwell用户，所有ip都能连接

IDENTIFIED BY ‘000000’：连接时输入密码，密码为000000

WITH GRANT OPTION：允许级联赋权

　　7.2.3.3 配置 Maxwell 7.2.3.3.1 修改 Maxwell 配置文件名

　　[summer@hadoop102 module]$ cd /opt/module/maxwell-1.29.2/

[summer@hadoop102 maxwell-1.29.2]$ cp config.properties.example config.properties

　　7.2.3.3.2 修改Maxwell配置文件

　　[summer@hadoop102 maxwell-1.29.2]$ vim config.properties

　　#Maxwell数据发送目的地，可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis

producer=kafka

#目标Kafka集群地址

kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092

#目标Kafka topic，可静态配置，例如:maxwell，也可动态配置，例如：%{database}_%{table}

kafka_topic=maxwell

#MySQL相关配置

host=hadoop102

user=maxwell

password=maxwell

jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai