实时文章采集(
【干货】业务数据采集工具选型实时数仓相关工具的选型)
　　Flink 实时数仓项目-业务数据采集
　　前言
　　前面完成日志数据的采集，下面进行业务数据的采集。
　　一、采集工具选择
　　实时数仓相关工具的选择采集在这个文章中提到：Flink实时数仓中各种CDC的比较
　　二、Flink-CDC 学习
　　业务数据采集选择了Flink-CDC，Flink-CDC的学习与使用在此：Flink-CDC 2.0 学习与使用
　　三、MySQL 数据准备
　　前提条件：业务数据存储在MySQL中。首先在MySQL中创建一个名为gmall2022的数据库，然后执行相关的sql文件导入建表语句。
　　1.binlog 配置
　　修改/etc/f文件如下：
　　server-id = 1
log-bin=mysql-bin
binlog_format=row
binlog-do-db=gmall2022
　　这里打开gmall2022数据库的binlog，格式为row。
　　配置完成后重启MySQL使配置生效：sudo systemctl restart mysqld
　　可以查看/var/lib/mysql目录下的binlog文件：
　　
　　2.模拟生成数据
　　业务数据是用户真实的订单数据等，所以不可用，所以也使用脚本模拟来生成真实数据。
　　1）将生成的数据对应的脚本上传到/opt/module/gmall-flink/rt_db目录
　　2）修改application.properties中的数据库连接信息如下：
　　logging.level.root=info
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://hadoop102:3306/gmall-flink-2022?characterEncoding=utf-8& useSSL=false&serverTimezone=GMT%2B8
spring.datasource.username=root spring.datasource.password=000000
logging.pattern.console=%m%n
mybatis-plus.global-config.db-config.field-strategy=not_null #业务日期
mock.date=2021-03-06
#是否重置
mock.clear=1
#是否重置用户
mock.clear.user=0
… …
　　3）运行jar包：java -jar gmall2020-mock-db-2020-11-27.jar
　　
　　再次进入/var/lib/mysql目录，可以看到索引文件发生了变化。
　　四、业务数据采集模块
　　在 IDEA 中新建一个模块 gmall2021-realtime，并创建如下包结构：
　　
　　目录角色
　　应用程序
　　在每一层处理数据的 Flink 程序
　　豆子
　　数据对象
　　常见的
　　公共常数
　　实用程序
　　工具
　　1.配置文件
　　在 pom.xml 中导入以下依赖项：
　　
1.8
${java.version}
${java.version}
1.13.0
2.12
3.1.3



org.springframework.boot
spring-boot-starter-web


org.projectlombok
lombok
true


org.springframework.boot
spring-boot-starter-test
test


org.apache.flink
flink-java
${flink.version}


org.apache.flink
flink-streaming-java_${scala.version}
${flink.version}


org.apache.flink
flink-connector-kafka_${scala.version}
${flink.version}


org.apache.flink
flink-clients_${scala.version}
${flink.version}


org.apache.flink
flink-cep_${scala.version}
${flink.version}


org.apache.flink
flink-json
${flink.version}


com.alibaba
fastjson
1.2.75



org.apache.hadoop
hadoop-client
${hadoop.version}


mysql
mysql-connector-java
5.1.49


com.ververica
flink-connector-mysql-cdc
2.0.0


org.apache.flink
flink-table-planner-blink_2.12
${flink.version}


org.projectlombok
lombok
1.18.20



org.slf4j
slf4j-api
1.7.25


org.slf4j
slf4j-log4j12
1.7.25


org.apache.logging.log4j
log4j-to-slf4j
2.14.0


　　在资源目录下创建 log4j.properties 配置文件：
　　log4j.rootLogger=error,stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
　　2.代码实现
　　实现目标：使用 Flink-CDC 实时监控 MySQL 中的数据，然后封装变化的数据发送给 Kafka。
　　主程序代码如下：
　　public class Flink_CDCWithCustomerSchema {
public static void main(String[] args) throws Exception {
//1、创建流式执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
//设置检查点和状态后端
env.setStateBackend(new HashMapStateBackend());
env.getCheckpointConfig().setCheckpointStorage(new FileSystemCheckpointStorage("hdfs://hadoop102:8020/gmall-flink-20220410/ck"));
env.enableCheckpointing(5000L);
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
env.getCheckpointConfig().setCheckpointTimeout(10000L);
env.getCheckpointConfig().setMaxConcurrentCheckpoints(2);
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(3000L);
//2、创建Flink-CDC的Source
DebeziumSourceFunction mysqlSource = MySqlSource.builder()
.hostname("hadoop102")
.port(3306)
.username("root")
.password("000000")
.databaseList("gmall-flink-2022")
.startupOptions(StartupOptions.latest())
.deserializer(new MyDeserializationSchema())
.build();
//3、使用CDC Source从MySQL中读取数据
DataStreamSource mysqlDataStream = env.addSource(mysqlSource);
//4、将从MySQL中读取到并序列化后的数据发送到Kafka中
mysqlDataStream.addSink(MyKafkaUtil.getKafkaSink("ods_base_db"));
//5、执行任务
env.execute();
}
}
　　自定义序列化器如下：
　　public class MyDeserializationSchema implements DebeziumDeserializationSchema {
/*
数据包装格式：
{
"database":"",
"tableName":"",
"operation":"",
"before":{"id":"","tm_name":""...},
"after":{"id":"","tm_name":""...},
*/
@Override
public void deserialize(SourceRecord sourceRecord, Collector collector) throws Exception {
//创建JSON对象，用于封装最终的返回值数据信息
JSONObject result = new JSONObject();
//获取数据库名和表名
//topic中包含了数据库名和表名，格式为: mysql_binlog_source.gmall-flink.z_user_info
String[] fields = sourceRecord.topic().split("\\.");
String database=fields[1];
String tableName = fields[2];
result.put("database",database);
result.put("tableName",tableName);
//获取操作类型
Envelope.Operation operation = Envelope.operationFor(sourceRecord);
//把create类型的操作转化为insert类型,方便使用
String s = operation.toString().toLowerCase();
if("create".equals(s)){
s="insert";
}
result.put("operation",s);
//拿到before和after的数据
Struct value = (Struct) sourceRecord.value();
//获取操作前数据
result.put("before",getValue(value.getStruct("before")));
//获取操作后数据
result.put("after",getValue(value.getStruct("after")));
//输出到下游
collector.collect(result.toString());
}
//提取出来了一个方法
//将before和after的数据封装到JSON对象里
public JSONObject getValue(Struct struct){
JSONObject valueJSON = new JSONObject();
//如果里面有数据，就获取对应的元数据信息，即列名，然后依次将数据放入到JSON对象里
if(struct!=null){
Schema schema = struct.schema();
for (Field field : schema.fields()) {
valueJSON.put(field.name(),struct.get(field));
}
}
return valueJSON;
}
@Override
public TypeInformation getProducedType() {
return BasicTypeInfo.STRING_TYPE_INFO;
}
}
　　公开课如下：
　　public class MyKafkaUtil {
//Kafka链接地址
private static String KAFKA_SERVE="hadoop102:9092,hadoop103:9092,hadoop104:9092";
//Kafka相关配置信息
private static Properties properties=new Properties();
static{
properties.setProperty("bootstrap.servers",KAFKA_SERVE);
}
public static FlinkKafkaProducer getKafkaSink(String topic){
return new FlinkKafkaProducer(topic,new SimpleStringSchema(),properties);
}
}
　　至此，MySQL中业务数据的采集就完成了。 查看全部

　　实时文章采集(
实时数仓：日志数据采集1.的使用流程和使用方法)
　　Flink 实时数仓项目——日志数据采集
　　前言
　　实时数仓项目的数据源有两种，一种是用户行为日志数据，一种是业务数据库中的业务数据。我们需要对这两部分数据执行采集，首先执行用户行为日志数据采集。
　　一、日志数据采集 1.模拟日志生成器的使用
　　由于日志数据是用户通过点击等操作生成的，因此无法获取真实数据。这里，通过模拟生成日志数据的方法来生成日志数据。
　　主要流程：运行生成日志数据的springboot程序，然后通过接口接受数据，将数据放到磁盘上，形成日志数据。
　　2.使用流
　　1）将日志数据生成对应的程序文件上传到/opt/module/rt_applog目录：
　　[atguigu@hadoop102 ~]$ cd /opt/module/gmall-flink/rt_applog/
[atguigu@hadoop102 rt_applog]$ ll
总用量 45652
-rw-rw-r-- 1 atguigu atguigu 952 3 月 6 14:54 application.yml
-rw-rw-r-- 1 atguigu atguigu 15642393 12 月 29 14:54 gmall2020-mock-log-2020-12-18.jar
-rw-rw-r-- 1 atguigu atguigu 31094068 2 月 5 15:29 gmall-logger-0.0.1-SNAPSHOT.jar
　　2） 根据实际需要修改application.yml文件：
　　配置说明：
　　mock.date：生成数据的日期
　　mock.url：生成的数据发送到的地址
　　
　　3）运行jar包：java -jar gmall2020-mock-log-2020-12-18.jar
　　注意：zookeeper从3.5开始，AdminServer的端口改成8080，什么意思，你懂的！
　　3.创建日志采集springboot程序
　　1）在IDEA中创建一个日志采集模块，依赖选择如下：
　　
　　创建最终结果如下：
　　
　　2）Kafka 配置
　　因为要发送日志数据到Kafka，所以需要在application.propeties中对Kafka进行如下配置：
　　# 应用名称
spring.application.name=gmall2022-logger
# 应用服务 WEB 访问端口
server.port=8081
#============== kafka ===================
# 指定 kafka 代理地址，可以多个
spring.kafka.bootstrap-servers=hadoop102:9092
# 指定消息 key 和消息体的编解码方式
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
　　注意：要修改web应用的访问端口，否则会和zookeeper的端口冲突
　　3）日志丢弃配置
　　因为日志数据还需要放在磁盘上，所以需要配置磁盘放置，在Resources中添加logback.xml文件。文件内容如下：
　　



%msg%n



${LOG_HOME}/app.log

${LOG_HOME}/app.%d{yyyy-MM-dd}.log


%msg%n










　　上面指定的位置是服务器的目录/opt/module/gmall-flink/rt_applog/logs，同时在控制台打印。
　　4）创建一个controller包，写一个LoggerController类来处理日志数据，把数据放到磁盘上的同时发送给Kafka
　　@RestController //相当于@Controller+@ResponseBody
@Slf4j
public class LoggerController {
@Autowired
private KafkaTemplate kafkaTemplate;
@RequestMapping("applog")
public String getLogger(@RequestParam("param")String jsonStr){
//落盘
log.info(jsonStr);
//写入Kafka的ods_base_log主题
kafkaTemplate.send("ods_base_log",jsonStr);
return "success";
}
}
　　4.Nginx 配置
　　因为有多个服务器，为了提高性能，可以配置 Nginx 进行负载均衡。
　　流程：模拟生成数据的脚本会将数据发送到nginx中指定的地址，然后nginx会进行负载均衡，将数据转发到配置的多台服务器上。
　　在nginx的conf目录下，修改nginx.conf如下：
　　http {
# 启动省略
upstream logcluster{
server hadoop102:8081 weight=1;
server hadoop103:8081 weight=1;
server hadoop104:8081 weight=1;
}
server {
listen 80;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
#root html;
#index index.html index.htm;
# 代理的服务器集群 命名随意, 但是不能出现下划线
proxy_pass http://logcluster;
proxy_connect_timeout 10;
}
# 其他省略
}
　　创建了一个名为 logcluster 的代理。当nginx在localhost的80端口监听请求时，nginx会依次将请求发送到hadoop102:8081、hadoop103:8081、hadoop104:8081
　　5.日志采集过程测试
　　1）先修改模拟日志生成的配置，配置向hadoop102发送请求：
　　# 外部配置打开
#logging.config=./logback.xml
#业务日期
mock.date=2020-07-13
#模拟数据发送模式mock.type=http
#http 模式下，发送的地址
mock.url=http://hadoop102/applog
=
　　2）在hadoop102上启动配置好的Nginx：/opt/module/nginx/sbin/nginx
　　3）在hadoop102上运行kafka consumer，观察是否可以消费topic ods_base_log的数据
　　4）分别分发springboot程序处理日志采集的jar包，在三台服务器上运行：java -jar gmall2022-logger-0.0.1 -SNAPSHOT.jar
　　5）在hadoop102上运行生成日志数据的jar包：java -jar gmall2020-mock-log-2020-12-18.jar
　　最后，可以观察到Kafka可以消费数据。 查看全部

　　实时文章采集(实时采集Kafka如何实时写入到MySQL的一些坑点，完整源码就不贴出来)
　　文章目录
　　01 简介
　　最近在做实时采集Kafka发布内容到MySQL，本文记录重点，不详述，希望对大家有所帮助。
　　02 实现2.1 添加依赖
　　在项目中，除了添加基本的Flink环境依赖外，还需要添加flink-connector-kafka的依赖：
　　
org.apache.flink
flink-connector-kafka_2.11
1.13.6
　　另外，由于 Flink 使用 Kafka 作为源，读取到的字符串都会被解析。本文主要使用“json”方式，所以需要引入序列化包，但是flink-connector -kafka已经自带了，就不用再介绍了。
　　好的，这里，如果我们写FlinkSQL来启动它，它只会闪退，为什么？因为我们缺少了'kafka-clients-2.1.0.jar'这个包，但是没有必要导入它，因为它已经收录在flink-connector-kafka中了。
　　为什么在这里特别提到“序列化包”和“kafka-clients 包”？因为如果我们部署 Flink On Yarn，这两个包需要放在 HDFS 中，如下：
　　
　　2.2 Flink SQL
　　好了，关键的FlinkSQL来了，怎么写？
　　先看Source，也就是我们的Kafka，如下：
　　CREATE TABLE t_student (
id INT,
name STRING
) WITH (
'connector' = 'kafka',
'topic' = 'cdc_user',
'properties.bootstrap.servers' = '10.194.166.92:9092',
'properties.group.id' = 'flink-cdc-mysql-kafka',
'scan.startup.mode' = 'earliest-offset',
'format' = 'json'
)
　　然后sink输出，我这里需要输出到MySQL：
　　CREATE TABLE t_student_copy (
id INT,
name STRING,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://127.0.0.1:3306/big_data',
'username' = 'root',
'password' = '123456',
'table-name' = 't_student_copy'
)
　　最后用INSERT INTO来声明怎么写：
　　INSERT INTO t_student_copy(id,name) SELECT id,name FROM t_student
　　2.3 配置Kafka域名
　　另外需要注意的是，当我们运行Flink程序时，会出现类似如下的错误：
　　无法连接代理…
　　这时候我们需要在运行Flink程序的服务器上配置Kafka的域名，具体在hosts文件中：
　　vi /etc/hosts
　　好的，到这里，我们只要使用Kafka工具发送json格式的数据，Flink程序就可以实时接收，写入MySQL数据库。
　　03 正文结束
　　本文主要记录Kafka实时写入MySQL的一些坑。完整的源代码将不会发布。希望能给你一些启发和帮助。感谢您的阅读，本文结束！
　　附件：KafkaTool教程： 查看全部

　　实时文章采集(【干货】Kubernetes日志采集难点分析（一）——Kubernetes)
　　前言
　　上一期主要介绍了Kubernetes日志输出的一些注意事项。日志输出的最终目的是做统一的采集和分析。在 Kubernetes 中，记录采集的方式与普通虚拟机有很大不同，相对实现难度和部署成本也略高。但是，如果使用得当，可以实现比传统方式更高的自动化程度和更低的运维成本。
　　Kubernetes 日志采集 难点
　　在 Kubernetes 中，logging采集 比传统的虚拟机和物理机要复杂得多。最根本的原因是Kubernetes屏蔽了底层异常，提供了更细粒度的资源调度，向上提供了一个稳定动态的环境。因此，log采集面临着更丰富、更动态的环境，需要考虑的点也更多。
　　例如：
　　对于一个运行时间很短的Job应用，从启动到停止只需要几秒，如何保证日志采集的实时性能跟得上，数据不丢失？K8s 一般推荐使用大型节点。每个节点可以运行 10-100+ 个容器。如何以尽可能低的资源消耗采集100+ 个容器？在K8s中，应用以yaml的形式部署，日志采集主要是手动配置文件的形式。日志采集如何以K8s的方式部署？
　　Kubernetes传统日志类型文件、stdout、host文件、journal文件、journal日志源业务容器、系统组件、宿主业务、宿主采集方法代理（Sidecar、DaemonSet）、直写（DockerEngine、业务）代理、直接-write 单机应用号 10-1001-10 应用动态高低 节点动态高低 采集 部署方式手动、Yaml手动、自定义
　　采集模式：主动或被动
　　日志采集方法有两种：被动采集和主动推送。在K8s中，被动采集一般分为Sidecar和DaemonSet两种方式。主动推送包括 DockerEngine 推送和业务直推。写两种方式。
　　
　　总结：DockerEngine直接写一般不推荐；日志量大的场景推荐业务直写；DaemonSet 一般用于中小型集群；建议在非常大的集群中使用 Sidecar。各种采集方法的详细对比如下：
　　DockerEngine业务直接写DaemonSet方法Sidecar方法采集日志类型标准输出业务日志标准输出+部分文件文件部署运维低，原生支持低，只需要维护配置文件正常，需要维护 DaemonSet 高，每个需要 采集 日志的 POD 都需要部署一个 sidecar 容器。日志分类和存储无法实现独立的业务配置。一般每个POD都可以通过容器/路径映射单独配置，灵活性高，多租户隔离弱。日志直写一般会和业务逻辑竞争资源。只能通过强配置隔离，通过容器隔离。资源可单独分配，支持集群规模的无限本地存储。如果使用 syslog 和 fluentd，根据配置会有单点限制和无限制。无限资源数量低，dockerengine提供整体最低，节省采集的成本，每个节点运行一个容器高，每个POD运行一个容器，查询便利性低，只有grep raw日志高，可根据业务特点定制高，可定制查询，高统计，可根据业务特点定制低高可定制性，可自由扩展低高，每个POD单独配置高耦合，并且强绑定 DockerEngine 固定，修改需要重启 DockerEngine 高，采集
　　日志输出：标准输出或文件
　　与虚拟机/物理机不同，K8s 容器提供标准输出和文件。在容器中，标准输出直接将日志输出到stdout或stderr，DockerEngine接管stdout和stderr文件描述符，收到日志后根据DockerEngine配置的LogDriver规则进行处理；日志打印到文件的方式与虚拟机/物理机不同。基本类似，只是日志可以使用不同的存储方式，比如默认存储、EmptyDir、HostVolume、NFS等。
　　虽然 Docker 官方推荐使用 Stdout 打印日志，但需要注意的是，这个推荐是基于容器仅作为简单应用使用的场景。在实际业务场景中，我们还是建议大家尽量使用文件方式。主要原因如下。观点：
　　stdout性能问题，从应用输出stdout到服务器，会有几个过程（比如常用的JSON LogDriver）：应用stdout -> DockerEngine -> LogDriver -> 序列化成JSON -> 保存到文件 -> Agent< @采集文件 -> 解析 JSON -> 上传服务器。整个过程需要比文件更多的开销。压力测试时，每秒输出 10 万行日志会占用 DockerEngine 的额外 CPU 内核。stdout 不支持分类，即所有输出混合在一个流中，不能像文件一样分类输出。通常，一个应用程序包括AccessLog、ErrorLog、InterfaceLog（调用外部接口的日志）、TraceLog等。这些日志的格式和用途不，会很难采集 如果在同一流中混合，则进行分析。stdout 只支持容器主程序的输出。如果是 daemon/fork 模式下运行的程序，则无法使用 stdout。文件转储方式支持多种策略，如同步/异步写入、缓存大小、文件轮换策略、压缩策略、清除策略等，相对更加灵活。
　　因此，我们建议在线应用使用文件输出日志，而Stdout仅用于功能单一或部分K8s系统/运维组件的应用。
　　CICD 集成：日志记录操作员
　　
　　Kubernetes提供了标准化的业务部署方式，可以通过yaml（K8s API）声明路由规则、暴露服务、挂载存储、运行业务、定义伸缩规则等，因此Kubernetes很容易与CICD系统集成。日志采集也是运维监控过程的重要组成部分。必须实时采集业务上线后的所有日志。
　　原来的方法是在发布后手动部署log采集的逻辑。这种方式需要人工干预，违背了CICD自动化的目的；为了实现自动化，有人开始基于日志打包API/SDK采集一个自动部署的服务，发布后通过CICD的webhook触发调用，但这种方式开发成本高。
　　在 Kubernetes 中，集成日志最标准的方式是在 Kubernetes 系统中注册一个新资源，并以 Operator（CRD）的形式对其进行管理和维护。这样CICD系统就不需要额外开发，部署到Kubernetes系统时只需要附加日志相关的配置即可。
　　Kubernetes 日志采集 方案
　　
　　早在 Kubernetes 出现之前，我们就开始为容器环境开发 log采集 解决方案。随着K8s的逐渐稳定，我们开始将很多业务迁移到K8s平台上，所以我们也在之前的基础上开发了一套。K8s 上的 log采集 方案。主要功能有：
　　支持各种数据的实时采集，包括容器文件、容器Stdout、宿主文件、Journal、Event等；支持多种采集部署方式，包括DaemonSet、Sidecar、DockerEngine LogDriver等；日志数据丰富，包括Namespace、Pod、Container、Image、Node等附加信息；稳定高可靠，基于阿里巴巴自研Logtail采集Agent实现。目前，全网部署实例数以百万计。; 基于CRD扩展，日志采集规则可以以Kubernetes部署发布的方式部署，与CICD完美集成。
　　安装日志采集组件
　　目前，这个采集解决方案已经对外开放。我们提供 Helm 安装包，收录 Logtail 的 DaemonSet、AliyunlogConfig 的 CRD 声明和 CRD Controller。安装后直接使用DaemonS优采云采集器即可，CRD配置完毕。安装方法如下：
　　阿里云Kubernetes集群在激活的时候就可以安装，这样在创建集群的时候会自动安装以上的组件。如果激活的时候没有安装，可以手动安装。如果是自建Kubernetes，无论是自建在阿里云上还是在其他云上还是离线，都可以使用这个采集方案。具体安装方法请参考【自建Kubernetes安装】（）。
　　上述组件安装完成后，Logtail和对应的Controller会在集群中运行，但默认这些组件不会采集任何日志，需要配置日志采集规则为采集@ > 指定各种日志的Pod。
　　采集规则配置：环境变量或CRD
　　除了在日志服务控制台上手动配置外，Kubernetes 还支持另外两种配置方式：环境变量和 CRD。
　　环境变量是自swarm时代以来一直使用的配置方式。您只需在要采集的容器环境变量上声明需要采集的数据地址，Logtail会自动将数据采集传输到服务器。该方法部署简单，学习成本低，易于使用；但是可以支持的配置规则很少，很多高级配置（如解析方式、过滤方式、黑白名单等）都不支持，而且这种声明方式也不支持修改/删除，每个修改实际上创建了一个新的 采集 配置。历史采集配置需要手动清理，否则会造成资源浪费。
　　
　　CRD的配置方式非常符合Kubernetes官方推荐的标准扩展方式，允许采集配置以K8s资源的形式进行管理，通过部署特殊的CRD资源AliyunLogConfig到Kubernetes来声明数据这需要 采集。例如，下面的例子是部署一个容器的标准输出采集，其中定义需要Stdout和Stderr 采集，并排除环境变量收录COLLEXT_STDOUT_FLAG: false的容器。
　　基于CRD的配置方式以Kubernetes标准扩展资源的方式进行管理，支持配置的完整语义的增删改查，支持各种高级配置。这是我们强烈推荐的配置方法采集。
　　
　　采集推荐的规则配置方式
　　
　　在实际应用场景中，一般使用 DaemonSet 或者 DaemonSet 和 Sidecar 的混合。DaemonSet 的优点是资源利用率高。但是存在一个问题，DaemonSet的所有Logtail共享全局配置，单个Logtail有配置支持上限。因此，它无法支持具有大量应用程序的集群。
　　以上是我们给出的推荐配置方式。核心思想是：
　　一个尽可能多的采集相似数据的配置，减少了配置的数量，减轻了DaemonSet的压力；核心应用 采集 需要获得足够的资源，并且可以使用 Sidecar 方法；配置方式尽量使用CRD方式；Sidecar 由于每个Logtail都是独立配置的，所以配置数量没有限制，适用于非常大的集群。
　　练习 1 - 中小型集群
　　
　　大多数 Kubernetes 集群都是中小型的。中小企业没有明确的定义。一般应用数量小于500，节点规模小于1000。没有功能清晰的Kubernetes平台运维。这个场景的应用数量不是特别多，DaemonSet可以支持所有的采集配置：
　　大部分业务应用的数据使用DaemonS优采云采集器方式，核心应用（对于可靠性要求较高的采集，如订单/交易系统）单独使用Sidecar方式采集 @>
　　练习 2 - 大型集群
　　
　　对于一些用作PAAS平台的大型/超大型集群，一般业务在1000以上，节点规模也在1000以上。有专门的Kubernetes平台运维人员。这种场景下应用的数量没有限制，DaemonSet 无法支持。因此，必须使用 Sidecar 方法。总体规划如下：
　　Kubernetes平台的系统组件日志和内核日志的类型是比较固定的。这部分日志使用了DaemonS优采云采集器，主要为平台的运维人员提供服务；每个业务的日志使用Sidecar方式采集，每个业务可以独立设置Sidecar的采集目的地址，为业务的DevOps人员提供了足够的灵活性。 查看全部

　　实时文章采集(基于Flink实时处理实时处理海量日志需求分析(图))
　　第12章-Flink案例
　　本章将介绍 Flink 已经在多个场景中实现的大规模案例。一是实时处理海量日志，包括日志采集、日志传输、实时日志清理与异常检测、日志存储、日志展示。介绍一下Flink在其中的作用，希望整个日志处理架构可以在自己公司灵活使用；二是在百亿级数据的情况下，如何使用Flink实时去重，本例将进行对比。其他几种常见的去重实现方案；三是Flink在监控报警系统中的实现。在这种情况下，还详细介绍了一个监控报警系统的整个环节，每一个环节都缺一不可。, 并且还介绍了Flink未来会结合机器学习算法做一些AIOps。这三个案例比较典型。如果你也在做类似的项目，希望对你的技术选型有所帮助。
　　12.1 基于Flink的海量日志实时处理
　　Section 11.5 讲解了 Flink 如何实时处理异常日志，并对比分析了几种常用的 log采集 工具。我们也知道，日志是排查在线异常必不可少的一部分。通过异常日志，我们可以快速定位问题的根源。那么企业对日志处理有哪些要求呢？
　　12.1.1 海量日志实时处理需求分析
　　现在，公司正在构建分布式、微服务和云原生架构。在这样的架构下，项目应用的日志分布在不同的机器上，使得日志查询更加困难。因此，统一的日志采集几乎是不可能的。每个公司都必须的。据笔者研究，现在很多公司都是统一采集日志，也做日志的实时ETL，使用ELK等一些主流技术来展示、搜索、分析日志，但是缺乏实时日志警报。综上所述，大部分公司对于日志的现状是：
　　本节作者将讲解日志的完整链接，包括日志的实时采集、日志的ETL、日志的实时监控和告警、日志的存储日志，日志的可视化图表展示和搜索分析等。
　　12.1.2 海量日志架构设计的实时处理
　　在分析了我们案例的需求之后，接下来就是对整个项目的架构进行合理的设计。
　　
　　整个架构分为五层：日志访问层、日志调峰层、日志处理层、日志存储层、日志展示层。
　　12.1.3 实时记录采集
　　在11.5.1中，我对比了这些流行的log采集工具（Logstash、Filebeat、Fluentd、Logagent），从功能完整性、性能、成本、使用难度等方面综合考虑其他方面，这里的演示使用了Filebeat。
　　安装 Filebeat
　　在服务器上下载Fliebeat6.3.2安装包（请根据你的服务器和你需要的版本下载），下载后解压。
　　1
　　tar xzf filebeat-6.3.2-linux-x86_64.tar.gz
　　配置 Filebeat
　　配置 Filebeat，需要编辑 Filebeat 配置文件 filebeat.yml。不同的安装方式，配置文件的存放路径不同。解压包的安装方式，解压目录下有配置文件；对于 rpm 和 deb 方法，配置文件路径是 /etc/filebeat/filebeat.yml。
　　因为Filebeat要实时登录采集，所以要让Filebeat知道日志的路径在哪里。在下面的配置文件中定义日志文件的路径。通常建议在服务器上固定存放日志的路径，然后应用程序的所有日志都放在这个固定的路径下，这样Filebeat的日志路径配置只需要填写一次，和配置一样可以复制到其他机器上运行Filebeat。配置如下。
　　1
2
3
4
5
6
　　- type: log
# 配置为 true 表示开启
enabled: true
# 日志的路径
paths:
- /var/logs/*.log
　　以上配置意味着/var/logs目录下所有以.log结尾的文件都会是采集，然后配置日志输出方式。这里使用的是Kafka，配置如下。
　　1
2
3
4
5
6
7
8
　　output.kafka:
# 填写 Kafka 地址信息
hosts: ["localhost:9092"]
# 数据发到哪个 topic
topic: zhisheng-log
partition.round_robin:
reachable_only: false
required_acks: 1
　　对于上面解释的两个配置，作者将它们写在一个新创建的配置文件kafka.yml中，然后在启动Filebeat的时候使用这个配置。
　　1
2
3
4
5
6
7
8
9
10
11
　　filebeat.inputs:
- type: log
enabled: true
paths:
- /var/logs/*.log
output.kafka:
hosts: ["localhost:9092"]
topic: zhisheng_log
partition.round_robin:
reachable_only: false
required_acks: 1
　　启动 Filebeat
　　日志路径的配置和Kafka的配置写完之后，再用如下命令启动Filebeat：
　　1
　　bin/filebeat -e -c kafka.yml
　　执行命令后出现的日志如下，说明启动成功，在终端上也可以看到会打印出metrics数据。
　　
　　验证 Filebeat 是否正在向 Kafka 发送日志数据
　　然后你要检查这个时候日志数据是否真的发送到了Kafka。可以通过kafka自带的命令来消费这个topic，看数据是否持续发送。命令如下：
　　1
　　bin/kafka-console-consumer.sh --zookeeper 106.54.248.27:2181 --topic zhisheng_log --from-beginning
　　如果有数据，则表示数据已经发送到Kafka。如果不喜欢用这种方式验证，可以写一个 Flink Job 来读取 Kafka 中 topic 的数据。比如你写一个job，运行结果如下。日志数据已成功发送到Kafka。
　　
　　发送到 Kafka 的日志结构
　　现在数据已经发送到Kafka，通过在Kafka中消费topic的数据，可以判断数据的格式是否为JSON。结构如下：
　　1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
　　{
"@timestamp": "2019-10-26T08:18:18.087Z",
"@metadata": {
"beat": "filebeat",
"type": "doc",
"version": "6.8.4",
"topic": "zhisheng_log"
},
"prospector": {
"type": "log"
},
"input": {
"type": "log"
},
"beat": {
"name": "VM_0_2_centos",
"hostname": "VM_0_2_centos",
"version": "6.8.4"
},
"host": {
"name": "VM_0_2_centos"
},
"source": "/var/logs/middleware/kafka.log",
"offset": 9460,
"log": {
"file": {
"path": "/var/logs/middleware/kafka.log"
}
},
"message": "2019-10-26 16:18:11 TRACE [Controller id=0] Leader imbalance ratio for broker 0 is 0.0 (kafka.controller.KafkaController)"
}
　　这个日志结构收录很多字段，例如时间戳、元数据、主机、来源、消息等，但其中有些字段根本不需要。您可以根据公司的需要丢弃部分字段，并配置要丢弃的字段。在 kafka.yml 中如下图所示。
　　1
2
3
　　processors:
- drop_fields:
fields: ["prospector","input","beat","log","offset","@metadata"]
　　然后再次启动Filebeat，发现上面配置的字段不在新数据中（@metadata除外）。另外，作者验证了不仅@metadata字段不能丢弃，而且如果在drop_fields中配置了@timestamp字段，则不Works，两者都不允许丢弃。一般来说，一行日志就足够长了。添加这么多我们不需要的字段会增加数据的大小。对于生产环境来说，日志数据量非常大，无疑会对后续的所有环节造成损害。有一定的影响，所以一定要做好底层数据源的精简。另外，发送Kafka时可以压缩数据，可以在配置文件中配置一个压缩：gzip。简化的日志数据结构如下：
　　1
2
3
4
5
6
7
8
9
10
11
12
13
14
　　{
"@timestamp": "2019-10-26T09:23:16.848Z",
"@metadata": {
"beat": "filebeat",
"type": "doc",
"version": "6.8.4",
"topic": "zhisheng_log"
},
"host": {
"name": "VM_0_2_centos"
},
"source": "/var/logs/middleware/kafka.log",
"message": "2019-10-26 17:23:11 TRACE [Controller id=0] Leader imbalance ratio for broker 0 is 0.0 (kafka.controller.KafkaController)"
}
　　12.1.4 统一日志格式
　　因为Filebeat是机器上的采集日志，所以这些日志的种类很多，比如应用运行日志、作业构建、编译打包日志、中间件服务运行日志等。通常在公司，可以约定开发日志打印的规则，但是中间件等服务的日志是不固定的。如果 Kafka 中的消息直接存储在 ElasticSearch 中，以后想区分过滤可能会出现问题。. 为了避免这个问题，我们必须在将日志存储到 ElasticSearch 之前进行数据格式化和清理工作。因为 Flink 处理数据的速度更快，并且可以实时完成，所以我们选择在 Flink Job 中完成这项工作。
　　解析这个作业中的消息，这一行的日志信息一般收录很多信息，比如日志打印时间、日志级别、应用名称、唯一ID（用来关联每个请求）、请求上下文等。那么我们需要一个新的日志结构对象来统一日志的格式，定义如下：
　　12.1.5 实时日志清理12.1.6 实时日志报警12.1.7 实时日志存储1 2.1.8 日志实时展示12.1.9 总结与反思
　　加入知识星球看上面的文章：
　　
　　纯粹的乐趣
　　
　　扫码打赏，如你所说
　　
　　
　　打开支付宝扫一扫，即可扫码打赏 查看全部

　　实时文章采集(推荐10个最好用的数据采集工具10款用)
　　推荐10个最好的数据采集工具
　　10个最好的数据采集工具，免费采集工具，网站网页采集工具，各种行业采集工具，目前最好的一些免费数据< @采集 工具，希望对大家有帮助。
　　、优采云采集器优采云是一种基于运营商在线实名制，集网页数据采集、移动互联网数据和API接口服务于一体的数据服务。 -name 系统平台。它最大的特点就是不用懂网络爬虫技术就可以轻松搞定采集。
　　2、优采云采集器 优采云采集器是目前互联网数据使用最多的采集软件。以其灵活的配置和强大的性能领先于国内同类产品，赢得了众多用户的一致认可。只是各大平台都设置了严格的反爬，很难获取有价值的数据。
　　3、金坛中国 金坛中国的数据服务平台有多种专业的数据采集工具，包括很多开发者上传的采集工具，其中很多都是免费的。无论是采集国内外网站、行业网站、政府网站、app、微博、搜索引擎、公众号、小程序等数据还是其他数据，几乎涵盖了业界99%的采集软件，可以通过近乎探索采集完成。高强度抗爬或抗裂有专业的技术方案，需要高水平的技术含量。在专业性方面，金坛的专业性是毋庸置疑的，其中不少也是针对高难度采集软件的定制开发服务。
　　4、大飞采集器大飞采集器可以采集多个网页，准确率比较高，和复制粘贴一样准确，它最大的特点是网页 采集 的代词是单数，因为焦点。
　　5、Import.io 使用Import.io适配任意URL，只需输入URL即可整齐抓取网页数据，操作非常简单，自动采集,采集 结果可视化。但是，无法选择特定数据并自动翻页采集。对于一些防爬设置强的网站来说，是无能为力的。
　　6、ParseHub ParseHub 分为免费版和付费版。从数百万个网页中获取数据。输入数千个链接和关键字，ParseHub 会自动搜索它们。使用我们的休息 API。以 Excel 和 JSON 格式下载提取的数据。将您的结果导入 Google 表格和 Tableau。
　　7、Content Grabber Content Grabber是国外大神制作的神器，可以从网页中抓取内容（视频、图片、文字），并提取成Excel、XML、CSV等大部分数据库。该软件基于网页抓取。获取和 Web 自动化。
　　8、ForeSpider ForeSpider 是一个非常有用的网页数据工具采集。用户可以使用此工具帮助您自动检索网页中的各种数据信息。这个软件使用起来很简单，但是也有一个网站在面对一些高难度和高强度的反爬设置时无能为力。
　　9、阿里巴巴数据采集阿里巴巴数据采集大平台运行稳定不崩溃，可实现实时查询。软件开发资料采集都可以，除了价格没问题。
　　10、优采云采集器 优采云采集器操作很简单，按照流程很容易上手， 查看全部

　　实时文章采集(公众号文章数据采集与处理的优化应对与应对)
　　公众号文章资料采集和处理无处不在。并且数量庞大。我们目前处于数据爆炸的时代，数据采集和处理一直伴随着我们。无论是网站论坛、公众号文章还是朋友圈，每天都会产生数亿条数据、文章、内容等。
　　
　　通过数据采集和处理工具，我们可以采集到我们需要采集的公众号文章的数据。将其保存在本地以进行数据分析或二次创建。
　　数据采集及处理工具操作简单，页面简洁方便。我们只需要鼠标点击即可完成采集的配置，然后启动目标网站采集。支持采集资源标签保留（更好的保存格式）、原敏感词过滤（去除电话号码、地址等）、去除原图水印等
　　
　　有时网页抓取还不够；通常需要更深入地挖掘和分析数据，以揭示数据背后的真正含义并发现有价值的见解。数据和内容的分析利用可以说与我们的工作生活息息相关。
　　
　　以网站SEO为例，通过数据分析，我们可以统计出网站每天的流量变化和页面跳出率，得出我们在某些环节的网站不足之处。数据还可以用于采集分析竞争对手排名关键词与我们之间的差距，以便我们及时调整，做出更好的优化响应。
　　
　　当然，如果你不喜欢使用工具，我们也可以自己打代码来完成这部分工作：
　　第一步是通过创建蜘蛛从目标中抓取内容：
　　为了保存数据，以Facebook为例，我们将定义一个项目，收录三个字段：“title”、“content”和“stars”：
　　importscrapy
　　classFacebookSentimentItem(scrapy.Item)：
　　title=scrapy.Field()
　　content=scrapy.Field()
　　stars=scrapy.Field()
　　我们还创建了一个蜘蛛来填充这些项目。我们为页面提供的起始 URL。
　　importscrapy
　　来自Facebook_sentiment.itemsimportFacebookSentimentItem
　　类目标蜘蛛（scrapy.Spider）：
　　name="目标"
　　start_urls=[域名]
　　
　　然后我们定义一个函数来解析单个内容并保存其数据：
　　defparse_review(self,response)：
　　item=FacebookSentimentItem()
　　item['title']=response.xpath('//div[@class="quote"]/text()').extract()[0][1:-1]#stripthequotes(firstandlastchar)
　　item['content']=response.xpath('//div[@class="entry"]/p/text()').extract()[0]
　　item['stars']=response.xpath('//span[@class="ratesprite-rating_srating_s"]/img/@alt').extract()[0]
　　退货
　　
　　之后，我们定义一个函数来解析内容页面，然后传递页面。我们会注意到，在内容页面上，我们看不到整个内容，而只是开始。我们将通过单击指向完整内容的链接并使用 parse_review 从该页面抓取数据来解决此问题：
　　defparse_Facebook(self,response)：
　　forhrefinresponse.xpath('//div[@class="quote"]/a/@href')：
　　url=response.urljoin(href.extract())
　　yieldscrapy.Request(url,callback=self.parse_review)
　　next_page=response.xpath('//div[@class="unifiedpagination"]/child::*[2][self::a]/@href')
　　ifnext_page:
　　url=response.urljoin(next_page[0].extract())
　　yieldscrapy.Request(url,self.parse_Facebook)
　　
　　最后，我们定义主解析函数，它会从主页面开始，解析其所有内容：
　　defparse(self,response):
　　forhrefinresponse.xpath('//div[@class="listing_title"]/a/@href')：
　　url=response.urljoin(href.extract())
　　yieldscrapy.Request(url,callback=self.parse_Facebook)
　　next_page=response.xpath('//div[@class="unifiedpaginationstandard_pagination"]/child::*[2][self::a]/@href')
　　ifnext_page:
　　url=response.urljoin(next_page[0].extract())
　　yieldscrapy.Request(url,self.parse)
　　所以，对于内容：我们告诉蜘蛛从主页开始，点击每条内容的链接，然后抓取数据。完成每一页后，它会得到下一页，所以它可以抓取我们需要的尽可能多的内容。
　　可见，通过代码处理我们的数据采集不仅复杂，还需要更多的专业知识。在网站优化方面，还是要坚持最优解。数据采集的共享和处理到此结束。如有不同意见，请留言讨论。返回搜狐，查看更多 查看全部

　　实时文章采集(A12评价数据的伴随性采集维度：学业评价环境(组图))
　　A12 附评资料采集
　　维度：学术评价环境：多媒体教学环境
　　能力描述
　　使用技术工具利用有关学生学习过程的实时、全面的 采集 信息
　　>; 从各种渠道采集学生的学习行为，全面反映学习过程
　　>; 能够实时、有序地记录学习过程和学习成果
　　>; 优化数据采集流程，丰富数据类型
　　>; 帮助及时发现学习问题并实施有针对性的干预措施
　　>; 为学生综合素质评价提供丰富的数据支持
　　实用建议
　　为了及时掌握学生的学习情况，实施干预和支持，为了更全面地评价学生的学习行为和结果，教师需要在教学过程中及时采集评价信息比如在电子表格的情况下记录和组织学生提交的作业、课堂问答、每周阅读书籍等。
　　教师在实施伴随数据采集之前需要精心设计和详细规划。伴随数据采集需要一定的工具，如记录表、观察表等。教师可以根据评估目标和评估对象，借鉴一些比较成熟的数据采集工具，或根据他们的需求。同时，教师还要考虑伴随数据的可操作性采集，什么样的工具更有利于信息聚合，以及未来信息处理分析的可行性。建议在实践中设计明确的数据采集行动计划，如细分项目形成数据采集表，包括数据源、数据类型、数据采集方法、采集时间（链接），
　　 ;数据采集在此过程中，可以通过信息化手段丰富评价数据的类型，如数字、图片或视频。对于描述性评价材料，教师可以使用手机对学生的活动进行拍照，并使用云笔记随时记录对学生行为的观察。这些定性记录可以作为教师评价学生行为和学习的重要依据。投资组合的重要内容。
　　提交指南
　　1. 采集工具：
　　请提交随附的数据采集工具，或者工具的形式可以以文档或图像的形式呈现。
　　2.工具设计说明：
　　请结合评价目标和数据采集对象介绍工具设计过程或选型依据和应用方案。以视频形式提交，必须出现教师个人形象，原则上不超过10分钟。
　　3. 采集案例：
　　请提交应用到工具采集的真实学生数据案例，如学生学习过程的完整观察记录表，并对案例进行评论和分析。 查看全部

　　实时文章采集(大数据平台日志数据采集方法(图)采集系统)
　　任何一个完整的大数据平台一般都包括以下流程：数据采集 -> 数据存储 -> 数据处理 -> 数据呈现（可视化、报告和监控）。其中，data采集是所有数据系统中不可或缺的。随着对大数据的日益关注，数据采集的挑战变得尤为突出。
　　
　　常用大数据采集离线方法采集
　　在数据仓库的语境中，ETL基本上是数据采集的代表，包括数据抽取（Extract）、转换（Transform）和加载（Load）。在转换过程中，需要针对特定​​业务场景进行数据管理，如非法数据监控过滤、格式转换与数据规范化、数据替换、数据完整性保证等。
　　直播采集
　　实时采集主要用于考虑流处理的业务场景，例如记录数据源执行的各种操作活动，如网络监控的流量管理、金融应用的存量核算、用户记录等。 Web 服务器访问行为。该过程类似于传统的 ETL，但它是一种流处理方法，而不是定时批处理作业。这些工具均采用分布式架构，能够满足每秒数百MB的日志数据采集和传输需求。
　　系统日志采集方法
　　很多公司的业务平台每天都会产生大量的日志数据。对于这些日志信息，我们可以得到很多有价值的数据。通过记录采集，采集并分析日志信息，可以挖掘公司业务平台日志数据的潜在价值。
　　数据库采集 方法
　　一些企业会使用 MySQL、Oracle 等传统的关系型数据库来存储数据。数据库采集系统直接与企业业务后端服务器结合，每时每刻将企业业务后端产生的大量业务记录写入数据库，最后通过具体处理对系统进行分析系统。
　　其他数据采集方法
　　对于企业生产经营数据的客户数据、财务数据等对保密要求较高的数据，可以与数据技术服务商合作，使用具体的系统接口等相关方式采集数据.
　　随着互联网技术的发展，各种互联网应用不断出现，人们的衣食住行都离不开互联网。互联网上的各种信息也呈指数级增长，如何在这些信息中快速准确地找到需要的信息变得极为重要。为了解决这个问题，搜索引擎技术应运而生。网络数据采集技术是搜索引擎技术的关键组成部分，搜索引擎所收录的海量数据是通过网络数据采集系统获得的。大数据采集新方法
　　网页信息采集技术又称网络爬虫，英文名称为WebCrawler，是一种按照一定的规则和算法不断扫描页面信息的程序或脚本。网络爬虫在运行过程中，不断提取网页中的各种数据。这些数据可用于多个领域，如搜索引擎提取关键词、建立索引、为项目决策者提供数据支持、分析舆情等。在工作中提供参考。
　　
　　网络数据采集优势网络数据适用场景
　　网络数据采集是挖掘数据价值的第一步。当数据量越来越大时，必然会有更多有用的数据可以提取出来。只要用好数据处理平台，就能保证数据分析结果的有效性，帮助企业实现数据驱动。作为成都本地专业的DaaS服务商（数据即服务），斯堪玛科技以顶级高端人才和技术团队为支撑，为政府、医疗、交通、旅游、金融、教育等提供高效的网络服务、企业等领域。数据采集解决方案。 查看全部

　　实时文章采集(实时文章采集通过爬虫技术快速的爬取这些文章！)
　　实时文章采集通过爬虫技术快速的爬取这些文章，该爬虫不是实时抓取的，需要等待处理时间，如果有时效性需求的话，可以用短文章采集的原理和方法的解决。实时搜索(实时地网)首先将要搜索的地方存在网页中（例如将下面这个链接存储到txt中），然后用爬虫，将整个地方抓取下来（例如要抓取这个链接中大半部分），然后保存成一个txt文件存放在目标网页中（例如要抓取这个地方，txt中文章所有url为d1,d2,d3）。获取更多实用技巧和素材，可以关注，在线版，免费学习。
　　实时文章抓取
　　百度搜索关键词，出来一堆类似的网站，然后用ie阅读器抓取，筛选质量高的文章（有评论、作者id、关键词等等），
　　利用新闻抓取软件抓取网页中的每一篇文章，然后存到本地。然后对这些文章进行编辑，修改标题，内容。
　　再读取一下，标题，出处，
　　利用公众号的订阅号进行文章爬取
　　首先呢不知道公众号，其次呢，可以进行关键词收集，那种公众号的文章里就有。
　　花钱买！
　　估计也只能从优质公众号里来，再配合搜索引擎推广吧。很多时候也需要自己多花点心思思考优质的信息，对着牛人牛文记忆才印象深刻，同时也能吸收到先进的干货，有帮助。而不是浮光掠影，没了自己的目的。如果真能像牛人牛文那样，记得住所有干货，多留意体悟，就无忧了。那多好， 查看全部

　　实时文章采集(爱爬虫的人，我肯定要演他！（一）)
　　前言
　　因公司业务需要，需要获取客户提供的微信公众号历史文章并每天更新。显然，每天300多个微信公众号无法人工检查，问题提交给IT团队。对于喜欢爬虫的人，我一定会玩他。以前在搜狗做微信爬虫，后来一直在做java web。这个项目重新点燃了我对爬行动物的热爱。第一次用Spring Cloud架构做爬虫用了20多天，终于搞定了。接下来我会通过一系列文章来分享这个项目的经验，并给出源码供大家指正！
　　一.系统介绍
　　本系统是基于Java开发的。只需配置微信公众号名称或微信ID，即可定期或实时捕捉公众号上的文章（包括阅读量、点赞量、阅读量）。
　　二、系统架构
　　技术架构
　　春云、Rebound、Mibatis-Plus、Nacos、RocketMq、nginx
　　保存
　　Mysql、MongoDB、Redis、Solr
　　缓存
　　评论
　　机制
　　小提琴家
　　三、系统的优缺点
　　系统优势
　　1.微信公众号配置后，可以通过Fiddler和Websocket的JS注入功能自动捕获；2.系统为分布式架构，高可用；3.Rocket Mq消息队列解决方案Coupling可以解决网络抖动导致的采集失败。如果3次消费不成功，会在mysql中记录日志，保证文章的完整性；4.可以添加任意数量的微信号，提高采集的效率，抵抗反爬限制；5.Redis缓存每个微信24小时内采集到的记录，防止上头条；6.Nacos作为配置中心，可以通过热配置实时调整采集的频率；< @7.将采集到的数据存储在 Solr 集群中，用于更快的检索；8.将捕获数据包返回的记录存储在 MongoDB 存档中以查看错误日志。
　　系统缺点：
　　1.从真实设备采集消息。如果需要采集大量微信公众号，需要有多个微信账号作为支撑（当日账号达到上限，可通过抓取微信公众平台界面获取消息）；到达。采集时间是系统设定的，消息有一定的滞后性（如果微信公众号不多，可以通过增加采集的频率来优化微信账号数量）。
　　四.模块介绍
　　由于后面会添加管理系统和API调用功能，所以提前封装了一些功能。
　　公共-ws-starter
　　公共模块：存储工具类、实体类等公共消息。
　　redis-ws-starter
　　Redis 模块：
　　spring-boot-starter-data-Redis的二次封装暴露了封装后的Redis工具类和Redisson工具类。
　　rockemq-ws-starter
　　Rocket Mq 模块：用于
　　Rocket MQ-spring-boot-starter的二次包，提供消费重试和失败日志功能。
　　db-ws-starter
　　mysql数据源模块：封装mysql数据源，支持多数据源，通过自定义注解实现数据源的动态切换。
　　sql-wx-蜘蛛
　　mysql数据库模块：提供操作mysql数据库的所有功能。
　　pc-wx-蜘蛛
　　PC端采集模块：包括微信公众号历史消息PC端采集的相关功能。
　　java-wx-蜘蛛
　　Java 提取模块：收录与从 Java 程序中提取 文章 内容相关的函数。
　　移动 wx 蜘蛛
　　模拟器采集模块：包括通过模拟器或手机采集进行信息交互相关的功能。
　　Verb（动词的缩写）通用流程图
　　
　　六、运行截图
　　个人电脑和手机
　　
　　
　　安慰
　　
　　
　　
　　运行结束
　　
　　总结
　　项目的亲测现已投入运行，在项目开发中解决了微信在搜狗上的临时链接到永久链接的问题。希望对被类似业务困扰的老铁有所帮助。现在，做java就像逆水行舟。不进则退。不知道什么时候会涉及。我希望每个人都有自己的向日葵系列。看到这个你不喜欢吗？ 查看全部

　　实时文章采集(文章标题取消词的束缚，用一句话定义所有文章主题)
　　实时文章采集的方法，要对文章关键词进行分词，统计分词词频，对词频进行统计。然后根据统计结果，分词频高的词，插入到主题或者文章里，而对于词少，词频低的词，分不清的词，比如手机，就可以作为无关词，直接空白即可。因为主题是统计主题内的文章，所以一个分词词频比较高的词，往往对应的是很多个文章。通过计算，文章分词情况下词与词的分布情况，比如，文章首尾的分布情况，可以作为剔除一些无关的文章的依据。未完待续，谢谢。
　　1、有了一个wordembedding，可以得到一些标签。
　　2、用一个pre-crf去softmax，可以得到特征和标签。
　　3、embedding用的是word2vec的embeddings，用于mlp处理对应层特征。然后用softmax做logloglikelihood。
　　4、然后用另一个loglikelihood去做softmax。
　　monolingual
　　高效、全面、明确的文章标题！文章标题(title)取消词的束缚，用一句话定义所有文章的主题。可以让任何能表达主题的单词都变成文章的标题，使用lstm-tfcnn-embedding替代单词向量来提升传统文章的准确率。简单不受限的文章标题分词以及词语构成合理的list（有很多替代方案）。文章标题构建简单方便，有数据集不妨给出一个模板。
　　然后可以通过改进以上分词方案（机器学习）方法来提升准确率。最后cnn-embedding做序列标注作为文章主题，编辑文章等方面的用处。 查看全部

　　实时文章采集(一下如何合理进行网钛CMS关键词布局（图文并茂）？
)
　　网钛cms建好后如何优化，我们很多SEOER都听过过度优化这个词，往往是关键词布局不合理造成的。至于它的危害，在上一期的介绍中也有提及。已经给大家介绍过了，这里就不说了。今天给大家分享一下网钛cms关键词如何合理布局（图文并茂），干货不容错过。
　　
　　页面标题位置 一、
　　当用户使用搜索引擎查询关键词时，如果这个关键词出现在我们的标题中，对排名非常有利。如果网站的标题中没有需要对应或者需要优化的关键词，那么这种网站的排名是很难优化的。
　　
　　没有。二、使用网站内部链接传递
　　合理的网络布局cms网站内链布局很重要，内链也帮助我们增加长尾关键词，这是优化长尾关键词方法的有效途径.
　　
　　将 关键词 嵌入到 三、网站文章 的内容中；
　　搜索引擎除了匹配标题、内容和关键词外，还会考虑文章的内容相关性是否匹配关键词。如果匹配，则表示内容质量高。，如果不匹配，搜索引擎会觉得这可能只是为了文章的数量而努力。因此，提高文章相关性，提升Nettitancms网站的用户体验非常重要。当然，不要刻意嵌入关键词，最好根据实际情况自然插入。
　　
　　四、 外部链接、朋友链接和评价；
　　我们在发送外链时可以很好地利用锚文本。我们可以将锚文本设置为 cms网站optimized关键词，它会直接对 关键词 进行投票，增加单词的权重，而不是投票给整个页面，导致 关键词 的权重分散。
　　节五、合理控制关键词频率和密度；
　　网体的cms网站页面的关键词需要有合理的密度。虽然关键词网站主题越多，话题越突出，但是搜索引擎判断是有自己的判断标准，无脑积累关键词，比如网站很容易被降级。
　　关键词布局也可以通过NetTicms文章采集器实现自动化。文章采集器无需专业技能，简单几步即可轻松完成采集、伪原创、翻译、发布、主动推送。
　　用户只需点击文章采集器中的规则即可完成设置。是否翻译、发布时间等，匹配内容和图片并自动进行文章聚合。
　　文章采集器 SEO功能全面，支持市面上大部分cms，支持标题和内容插入关键词，替代图片本地化，支持实时监控网站 查看网站收录的状态和网站的权重。
　　网络
　　
　　Titaniumcms通过全自动采集伪原创释放，真正实现了全自动挂机管理，减少了工作量，为分析提供了数据。为我们的 SEO 提供更好的想法。无论是关键词的布局还是采集器的使用，我们还是要不断的改进，才能让我们的网站排名稳步提升。
　　 查看全部

　　实时文章采集(文章采集软件做页面优化是确保站点上的实际代码和内容经过优化的过程)
　　文章采集软件，它的主要作用是帮助站长采集网站的文章资源在网上，然后发布到指定cmsOn@>，获得点击，站长可以自定义采集对象，自由设置采集规则，采集效率也很稳定。 文章采集网站站长软件可以自动采集目标站点的文字，提供相似词替换功能，还支持站长自定义关键词@ >替换，有效提升文章伪原创度，让采集的内容质量更高。
　　
　　文章采集软件保持网站的内容不断更新，主要反映网站不断发展完善的基本情况，无论网站@ > 面对搜索引擎或用户群需要不断创造或容纳更多内容，不断扩大网站的规模，让网站获得更多关注。其中，网站文章更新频率高，但收录量少，成为站长的一大痛点，因为在一定概率下，很多网站有“准死亡”是什么意思？表示网站no收录，快照没有更新，但是网站一直保持更新频率，但是收录慢，没有排名，这种现象一般说起来，站长会使用替换三大标签和网站模板。如果没有效果，他们只能放弃。
　　
　　对于网站，文章采集软件保持一定的文章更新频率，主要体现在提高蜘蛛的活跃度，其作用是宣传网站收录，加快网站参与排名的步伐。排名就像一个战场。如果你落后，你会被打。而一个更新频率稳定、质量高的文章、良好的布局网站、标准的设置关键词@>的网站对SEO优化有着深远的影响。毕竟对于SEO来说，关键词@>@文章采集软件推广网站主要体现在思维和排名上。当一个站点保持一定的更新频率时，网站或网站的收录情况的启动，会比同时启动站点高一个台阶以上。
　　
　　文章采集软件页面优化是确保网站上的实际代码和内容得到优化的过程。这包括确保网站管理员的网站具有正确的标题标签、描述标签和独特的内容。正确构造数据以使其易于被搜索引擎读取也很重要。站外优化是建立指向网站的外部链接的过程。最好的办法是让文章采集软件在站长的网站的相关页面上找到实际链接，这是真实的内容，有合适的实际链接到与行业相关的 网站 并在所有主要社交媒体 网站 和目录中列出。
　　
　　文章采集虽然软件是其他网站的采集或伪原创文章，但都是精选有效推送的，不只是单纯的< @采集。 文章采集虽然软件是采集，但文章的质量可以让用户满意。归根结底还是擅长采集。
　　
　　文章采集软件通过自然方式对网站进行排名并不难。主要是SEO需要花更多的精力充实自己和网站，发
　　文章采集。 @文章当然可行，不过主要看你怎么发，发什么。 文章采集软件网站优化，主要是克服网站前期的总难点，大幅提升网站的整体和谐度，在漫漫长路上不一成不变优化的修复，当然不代表不修复，只是不适合前期不断变化。返回搜狐，查看更多 查看全部

　　实时文章采集(最实用的实时文章分类采集工具-pipinstall-ichrome-插件)
　　实时文章采集网站：topkicked-最实用的实时文章分类采集工具。
　　1、打开浏览器，
　　2、点击图示绿色按钮；
　　3、进入如图，在之前的操作基础上，有一个操作是获取推荐文章的关键词，
　　4、右击“获取关键词”，即可出现文章的下载方式，选择一种即可。小白推荐方式：如果需要看某篇推荐文章需要先下载该文章的简书，
　　如果只是想采集标题的话，直接按照它的原站的链接复制，然后再去简书搜索就好，或者也可以做一些处理，只采集摘要。或者发布文章之后再采集发布到简书，然后再发布文章。如果是需要采集摘要，那么需要设置一下首页的url，举个例子：可以在站内输入：2012年-2015年,2016年至今发布的所有文章，看看能否找到一个想要的文章。
　　如果实在想做到实时的话，建议你采集一篇所有的推荐文章，再去简书找一篇你认为关键词写的不错的文章进行采集。
　　公众号数据分析工具必备的可以自定义的采集公众号文章。
　　pipinstall-ichrome插件名称：实时采集
　　要实时的话，推荐你直接用公众号的话，
　　最近在找实时文章抓取工具，
　　我觉得可以用这个方法，当然有点慢， 查看全部

　　实时文章采集(
扫码安装企鹅号AppSEO技术分享2022-03-09)
　　
　　扫码安装企鹅App
　　影视cms采集资源站-自动采集影视cms开源系统
　　
　　SEO技术分享2022-03-09
　　影视怎么做cms？如何实现影视cms自动采集上映。我们希望在 seo 结束时得到两种结果。一是通过广告获取大量流量赚钱，二是通过排名相关关键词获取目标客户。任何一个都可以做得很好。这样做的前提是我们必须学会如何快速搭建一个符合seo优化的网站。说到网站，可能很多人都想选择什么样的节目，多发些外链就够了。其实这些只是seo的一部分，并不是seo的全部。
　　
　　一、有一个整体的心态
　　无论你做什么，你都必须有一个整体的思维。那么什么是整体思维呢？从头到尾设定一个给定的行动策略非常简单，就像打一场战争，一步一步达到最终目标。使用 SEO 优化 网站 也是如此。网站的每一步都必须用整体的思维去优化，比如网站前期上线需要达到什么样的标准，在建设之初的过程中，如何进行留给以后优化的空间等等。
　　诚信是控制全局的过程，其中有目标、计划和策略。为什么很多人可以称得上是大牛，就是因为他有前瞻的眼光。当他开始做某事的时候，他已经在最后一步想好了怎么做。
　　二、搜索引擎的利他思维
　　当然，我们在做SEO优化的时候，需要了解SEO是干什么的，主要迎合谁，服务对象是谁。了解了这些之后，你就很容易理解SEO的高级优化思路了。主要目标受众：搜索引擎
　　一个网站想要持续发展，就必须懂得优化，其中关键词分析是网站整体优化中非常关键的一环，如果网站' s 关键词 分析错误，很容易产生完全不同的优化效果。所以你必须知道如何正确分析关键词。
　　四、A网站更新频率越高，搜索引擎蜘蛛来的越频繁。因此，我们利用小说cms采集实现采集伪原创自动发布和主动推送到搜索引擎，提高搜索引擎的抓取频率，从而提高网站@ &gt;收录 和 关键词 排名。
　　
　　免费小说cms采集
　　1、只需导入关键词或输入网址采集文章，同时创建几十或几百个采集任务
　　2、支持多种新闻来源：Q&amp;A/Newsfeed/Fiction/Film
　　
　　3、过滤其他促销信息
　　4、图片本地化/图片水印/图片第三方存储
　　5、文章交流+翻译
　　在所有平台上发布 cms
　　1、cms发布：站群cms，小说cms，影视台cms，主要开源cms
　　2、全网推送（百度/360/搜狗/神马）
　　
　　3、伪原创
　　4、更换图片防止侵权
　　5、强大的SEO功能（带图片/内外链接/前后缀插入/文章相关性增强/图片随机插入/聚合/TAG标签）
　　
　　五、站在客户的角度思考
　　网站优化的主要目的是让用户在搜索过程中更加方便，让他们可以经常使用网站，所以在考虑网站的关键词时，一定要站在用户的角度思考，找一些他们经常查找和搜索的词为关键词。如果不知道客户经常使用哪些词，可以通过问卷调查了解具体数据。
　　六、验证关键词
　　每一个网站都会有错别字，所以在设置关键词的时候，一定要选择一些不容易错别字的词，这样可以减少搜索时因为错别字而无法搜索的用户数量一些用户甚至在搜索他们想要的内容时，由于拼写错误而找到了制造商的关键词。他们肯定不会很高兴，甚至怀疑公司的文化水平或质量。所以一定要确保 关键词 是正确的。设置好关键词后，验证是非常重要的一步。
　　
　　
　　七、不要使用过于流行的关键词
　　如果网站的关键词人气太高，用户在搜索的时候很容易找到公司的网站，而这样的关键词竞争非常激烈高，更难优化。所以在选择关键词的时候尽量不要太流行，避免被同质化。
　　八、具体考虑关键词
　　有很多 关键词，通常有很多部分。因此，在选择 关键词 时，请务必将 关键词 细化为将出现的每个单词。例如，如果 网站 是“house”类型的 网站，如果使用单词 house 作为 网站 的 关键词，很容易让用户混淆Villas、Bungalow等精致词。因此，在优化具体的关键词时，首先要采集客户经常搜索的词条，添加到具体的关键词中，这样客户在搜索时更容易找到自己。想要的内容。
　　其实优化网站是一个很重要的项目。如果任何一个步骤出现错误，都会导致公司的网站在向客户展示的过程中对公司的不满。所以在优化网站的时候一定要仔细验证每一步。
　　
　　看完这篇文章，如果觉得不错，不妨采集一下，或者发给需要的朋友同事。关注博主，每天给你展示各种SEO经验，让你的网站也能快速获得收录和关键词的排名！ 查看全部

　　实时文章采集(易优Eyoucms采集网站主动推送易优采集支持文章(组图)
)
　　Eyou内容管理系统（Eyoucms）以模板多、易优化、开源而著称，是国内全新的PHP开源网站管理系统。但是鹅友cms不提供文章采集的功能，市面上的鹅友采集器大多要写复杂的文章采集规则，对吧？对会写代码的站长很不友好。而且，易友没有相应的SEO优化，采集的标题、内容和标签也没有做相应的处理，也没有相应的采集伪原创搜索引擎的发布功能。 ，并且无法一键自动将已发布的文章链接批量提交至搜狗、360、神马、百度等搜索引擎。
　　
　　鹅友cms采集不能自动批量采集伪原创发布到除以友cms、鹅友cms采集还有支持 Empire, Yiyou, ZBLOG, Yiyou Eyoucms, WP, Yunyoucms, Renrenzhancms, Feifeicms, Little Whirlwind, 站群, PBoot, Apple 、美图、搜外等各大cms、Eyoucms采集可以同时管理批量采集伪原创并发布推送到百度、神马、360、搜狗等各大搜索引擎，积极通过SEO推送向搜索引擎公开链接，增加网站的蜘蛛，从而推广网站收录 ，非常适合网站收录。
　　使用Eyou Eyoucms采集伪原创百度推送插件无需学习更多专业技能，只需简单几步即可轻松采集内容数据，用户只需在 Eyou Eyoucms采集 上进行简单设置即可。完成后，Eyou Eyoucms采集会根据用户设置的关键词进行高精度匹配。内容和图片。
　　
　　哎哟哟哟cms采集可以选择保存在本地，也可以选择伪原创后发布，提供方便快捷的内容采集伪原创发布服务！ Eyoucms采集你可以随时挂断采集伪原创发布。
　　Eyou Eyoucms采集这种Eyou Eyoucms采集发布插件工具还配备了很多SEO功能，通过软件采集@ >伪原创发布还可以改善许多 SEO 优化。
　　哎哟哎哟cms采集网站主动推送，哎哟哎哟cms采集支持文章批量采集 收录，排名，权重，是网站内容维护的最佳伴侣。
　　
　　Eyoucms采集完美连接Eyou系统，只要你的网站是Eyoucms构建的，网站不需要修改任意代码，Eyoucms采集可以实现一键文章采集原创发布，创建发布任务，Eyoucms采集不需要人工干预，Eyoucms采集每天智能发布文章，Eyoucms采集大大增加网站的音量@>百度收录,网站优化更厉害。
　　class Images extends Model
{
//初始化
protected function initialize()
{
// 需要调用`Model`的`initialize`方法
parent::initialize();
}
public function getInfo($aid, $field = &#39;&#39;, $isshowbody = true)
{
$data = array();
if (!empty($field)) {
$field_arr = explode(&#39;,&#39;, $field);
foreach ($field_arr as $key => $val) {
$val = trim($val);
if (preg_match(&#39;/^([a-z]+)\./i&#39;, $val) == 0) {
array_push($data, &#39;a.&#39;.$val);
} else {
array_push($data, $val);
}
}
$field = implode(&#39;,&#39;, $data);
}
$result = array();
if ($isshowbody) {
$field = !empty($field) ? $field : &#39;b.*, a.*&#39;;
$result = db(&#39;archives&#39;)->field($field)
->alias(&#39;a&#39;)
->join(&#39;__IMAGES_CONTENT__ b&#39;, &#39;b.aid = a.aid&#39;, &#39;LEFT&#39;)
->find($aid);
} else {
$field = !empty($field) ? $field : &#39;a.*&#39;;
$result = db(&#39;archives&#39;)->field($field)
->alias(&#39;a&#39;)
->find($aid);
}
// 文章TAG标签
if (!empty($result)) {
$typeid = isset($result[&#39;typeid&#39;]) ? $result[&#39;typeid&#39;] : 0;
$tags = model(&#39;Taglist&#39;)->getListByAid($aid, $typeid);
$result[&#39;tags&#39;] = $tags;
}
return $result;
}
}
　　Eyoucms采集可以自动插入网站文章内链，Eyoucms采集让搜索引擎更全面了解你的网站链接级别，哪些页面不是收录可以添加内部链接到已经收录的页面，Eyoucms采集可以做Share to spider
　　Eyoucms采集可以设置定时释放，让蜘蛛掌握你的网站的更新规则，Eyoucms采集可以让蜘蛛抓取你的 网站 定期，这样就不会发生。今天百度蜘蛛30000，明天百度蜘蛛300。Eyoucms采集不会打站长的正能量。
　　
　　Eyoucms采集可以多维度对网站内容进行SEO优化，Eyoucms采集为你的网站收录和SEO排名保驾护航。 Eyoucms采集可以批量管理不同的cms，Eyoucms采集可以很容易的知道你的网站和你的下一个蜘蛛曲线应该在哪里一步优化，Eyoucms采集不产生内容，只作为网站内容的处理器，Eyoucms采集只采集文章 即有利于收录，对于搜索引擎，适合收录和SEO排名。今天关于Eyoucms采集的解释就到这里。我希望它可以帮助您在建立您的网站的道路上。下期我会分享更多与SEO相关的实用干货。
　　 查看全部

　　实时文章采集(WPCMS插件采集支持全网采集和指定采集功能的方法介绍)
　　WPcms 插件是我们 SEOER 管理网站 的常用插件。WPcms插件操作简单，无需学习正则表达式和复杂的专业SEO知识即可使用。WPcms插件包括采集、翻译、伪原创、发布功能，可以很好的支持我们的网站管理。
　　
　　WPcms插件采集支持全网采集和指定采集功能，不仅我们SEOER可以使用，其他行业的新手也可以使用WPcms插件采集、采集这个行业数据。
　　采集操作很简单，我们只需要输入我们需要的URL采集在插件中可视化操作，选择我们需要的元素采集，根据需要点击即可完成如图所示的配置。如果你是在热门平台做采集，只需要进入我们的关键词，选择需要采集的平台，就可以在全网采集。
　　
<p>在大数据时代，各行各业都离不开大数据这个词，我们的网站优化也是如此。在网站优化过程中，我们需要不断的分析各种数据。通过数据分析，不仅可以了解网站每日排名等基本信息，还可以通过分析发现一些问题，以便及时解决或者调整优化方案，保证 查看全部

　　实时文章采集(基于微信公众号爬虫框架实现的集实时数据采集和分析的一站式解决方案)
　　实时文章采集系统，是一个基于微信公众号爬虫、vue框架实现的集实时数据采集和分析的一站式解决方案。集成了文章的采集、发布、分享、推送、排序、作者点赞、消息提醒等功能，对于爬虫专业人员来说，使用起来非常方便。集成库有：实时采集-vue.js谷歌api接口-github性能高、响应快的react实时采集框架-vuepresschinaz，知乎，微博刷榜就靠他们了。
　　集成库清单：实时数据采集-vue实时数据采集框架-vuepress集成库清单注意，本系列的所有项目只会使用到以下三个项目的部分功能：：vue实时采集框架vuepress使用技巧首先，上手使用这个项目，可以直接复制pay.js项目的clone地址或者在github上面直接star一下。接下来，直接开始在webpack模块加载css、配置options与app.vue文件，如果是旧版本的项目，应该是在./app.vue下面加入相应代码。
　　引入项目文件：在项目文件列表中选择{{"config"}}，然后在{{"vue"}}中加入：vue.config.js启动应用：在项目中，或者在app.vue的bin文件夹下的build/prod.js中启动即可，启动时默认运行到vue项目下的vue-loader文件夹中：vuepress启动应用：最后，请尝试自己动手实现一下系统的采集指令，具体实现方法，可以参考：vue-loader/exports.callbacks，如有任何疑问，请访问官网，或者关注我的微信公众号。 查看全部

　　实时文章采集(实时文章采集，我有接触过一款叫"elk”的服务)
<p>实时文章采集，我有接触过一款叫"elk"的服务，此款服务既采集实时数据，还设计了类似es(elasticsearch)的降级过滤功能，足以说明这款服务的出色和实用性，后续接触此款服务不久，或许会尝试接触其它类似服务吧。php实现：静态文件采集(重定向至elasticsearch)，内容归档php实现的话，采用apache+laravel基本上就足够了，业务逻辑类似mysql通过postback返回数据；apache反向代理，禁止ftp上传，目标服务器设置am_http_host，将静态文件上传；laravel使用sed工具，客户端上报到sed工具上；php实现静态文件采集，内容归档php实现实时文章采集，内容归档前面介绍过一种用flash+flv等方式制作流媒体效果的方法；在php里，我们采用apache+elasticsearch来实现静态文件的实时推送；apache目前对静态文件支持比较好，这里直接指定asf服务器，即将静态文件作为flv,即可正常推送；先讲静态文件上传，此处以前端进行演示；一、客户端文件上传上传客户端静态文件最简单的方式是直接上传es，示例代码可见如下：classmyfilter_multiplexes{@require__dir__('es/src')classmyfilter_multiplexes_weibor{public$filename='jjgaish';public$format=newformatformat('@http/1.1host:http://','@http/1.1host:https://','@http/1.1server:formatconverter','');public$url=";format=baidu";public$username="jjgaish";}}```elasticsearch：elasticsearch\.files.txt=es['file']resources.map({put_ext_url:"url",item:{compress:true}})```php：php-laravel+mysql目前php7.1，php全连接有3个缺省的端口，一个8080端口，主要用于web浏览器访问；一个3306端口，用于服务器程序与全连接客户端通信；另一个端口6181，用于es2016版本推送至http2，默认端口不变；这里客户端上传url文件的时候使用了url地址转换，由于网上目前只有2个web浏览器，而这个是windows版本，故使用url地址转换工具elasticsearch-highlightoutline和url_elixirqut上传静态文件到全连接，很方便，示例代码如下： 查看全部