直观:seo优化数据分析工具哪一个较好用?

优采云发布时间: 2022-10-27 18:28

　　考虑到我自己的网站优化经验，这个网站第三方统计已经被大量使用，主流统计也被大量使用。51la 和 googleanalytics 是我上次访问该站点时使用的网站统计数据。后来，我发现谷歌分析非常强大。当然，我从不怀疑谷歌的技术。是的，所以我加入了 Google Analytics 并申请了 Google Adsense。

　　后来谷歌退出中国市场时，经常出现无法打开谷歌分析的情况，逐渐更换了CNZZ统计工具。后来百度推出百度统计，并在百度站长平台上暗示，所有站长都与SEO、百度统计和网站收录相关。对于网站的SEO效果，也将百度的统计数据链接到网站。

　　现在哪个统计工具更适合这个网站？对我来说，这四种统计工具都有自己的优势。在这里，说说我经常使用51la、Google Analytics、CNZZ和百度统计的经验。

　　1、使用上的人性化

　　这四种统计工具的易用性几乎相同。他们可以设置管理密码、查看密码并设置允许公开统计、隐藏统计的功能。统计代码可以在DIY中自由展示，初学者一眼就能看懂操作菜单。

　　相比之下，51la 的界面更小更精致。在查看关键词时，51la统计可以直接点击关键词后面的[go]进入网站的链接，这样网站管理员可以直接看到即将到来的网站。

　　谷歌分析的整体感觉还是比较深的，不能一下子接受，不太符合中国站长的口味。

　　CNZZ界面上有很多广告，但我们已经习惯了。操作比较简单，给人的感觉比较大气一点，配色也比较舒服，但是我讨厌右边的广告。要查看CNZZ中的关键字，您需要点击右侧。，然后点击关键词右侧的查看，点击网站返回初始页面。在易用性方面，51la略胜一筹。

　　百度统计界面简洁清新，没有广告。报表的折叠图和饼图闪动美观，尤其是小时对比图的简介页。毕竟百度服务器多，带宽大，所以易用性和易用性，优邦云认为百度统计胜出。

　　2、基本功能对比

　　CNZZ和百度统计有多种隐藏图标的样式选项，但51la只有一种。

　　CNZZ和百度统计可以用JS文件调用，51la不能用JS调用隐藏图标，数据不准确，会造成页面混乱。

　　51la页面可以自己DIY。可以根据自己的喜好设置在导航栏的左侧，也可以默认设置在顶部。CNZZ是固定宽屏导航栏上方的显示界面。界面布局方面，我有点喜欢51LA的刷新界面，CNZZ统计的标题广告不是很漂亮，右边的SID广告还在。

　　三、基本统计数据指标

　　数据指标是所有数据的基础，反映了流量分析的广度。

　　CNZZ报告的指标如下：

　　（1）时间分析：PV、独立访客、IP、人均浏览量、新增独立访客、人均浏览量。

　　(2) 搜索引擎搜索词：搜索次数、关键词数、独立访问者、IP、人均搜索次数。

　　（3）入站页面域名：访问次数、独立访问者、IP、新独立访问者、新访问者浏览数、网站访问总数。

　　（4）域名和页面：流量、唯一流量、IP、人均流量、平均停留时间、跳出率、进入人数、离开人数。

　　(5) 区域浏览器等：浏览次数、独立访客、IP、人均浏览次数、平均停留时间。

　　优化的解决方案:轻量级云原生日志收集方案 Loki

　　❝

　　本文转自掘金，原文：版权归原作者所有。欢迎投稿，请加微信好友：cloud-native-yang

　　您好，很高兴为您介绍掘金开发者平台上的轻量级kubernetes日志采集解决方案。我自己在生产环境中使用过这个解决方案。令我惊讶的是，与 ELK 方案相比，它在 Kubernetes 中占用的资源确实微不足道。那就跟着这个文章开始学习吧……

　　为什么使用 Loki

　　本文章重点介绍grafana开发的loki日志采集应用。Loki 是一个轻量级的日志采集和分析应用程序。它使用 promtail 获取日志内容并将其发送到 loki 进行存储。最后在grafana的数据源中添加一个数据源，用于日志展示和查询。

　　Loki 的持久化存储支持 azure、gcs、s3、swift、local 5 种类型，其中 s3 和 local 比较常用。此外，它还支持多种类型的日志采集，比如最常用的logstash和fluentbit也在官方支持列表中。

　　那么它有哪些优势呢？各个日志采集组件的优势，简单比较按名称安装的组件

　　麋鹿/EFK

　　弹性搜索、logstash、kibana、filebeat、kafka/redis

　　支持自定义grok定期分析复杂日志内容；仪表盘支持丰富的可视化展示

　　洛基

　　格拉法纳，洛基，promtail

　　占地面积小；原生支持 grafana；查询速度快；

　　Loki 的工作原理日志解析格式

　　从上图我们可以看出，在解析日志的时候主要是基于索引。index 包括 pod 的时间戳和一些标签（其他标签是文件名、容器等），剩下的就是日志内容。具体查询效果如下：

　　{app="loki",namespace="kube-public"} 是索引。

　　日志采集架构模式

　　在使用过程中，官方推荐使用promtail作为代理，以DaemonSet方式采集kubernetes的worker节点上的日志。此外，您还可以使用上面提到的其他日志采集工具进行采集。这个文章最后会附上其他工具的配置方法。

　　Loki 部署模式有哪些？

　　Loki 是用许多组件微服务构建的，有 5 个微服务组件。在这 5 个中添加缓存，将数据放在一起以加快查询速度。数据放置在共享存储中，并且配置了 memberlist_config 部分并在实例之间共享状态，从而允许 Loki 无限扩展。配置 memberlist_config 部分后，使用轮询查找数据。为了使用方便，官方将所有微服务编译成二进制，可以通过命令行参数-target控制，支持all、read、write。我们可以在部署时根据日志卷的大小指定不同的模式。

　　全部（读写模式）

　　服务启动后，我们所做的所有数据查询和数据写入都来自这个节点。请参见下图：

　　读/写（读写分离模式）

　　在读写拆分模式下运行时，前端查询查询将流量转发到读取节点。querier、ruler、fronted在读节点上保留，distributor和ingester在写节点上保留。

　　以微服务模式运行

　　在微服务模式下，通过不同的配置参数启动不同的角色，每个进程引用其目标角色服务。

　　组件名称功能

　　分销商/调度器（分销商）

　　验证数据合规性；数据排序；哈希一致性；QPS 限制；转发；数据拷贝保证不丢失

　　采集器（摄取器）

　　时间戳排序；文件系统支持；WAL 预写；

　　查询前端

　　提供页面操作，向后端存储发送数据查询；query-queueing 可以防止在大容量查询时触发OOM；query-split 可以拆分大批量查询，最后进行数据聚合

　　查询者

　　使用logql语言查询后端存储中的日志

　　缓存

　　将查询到的日志缓存起来以备后用，如果数据不全，重新查询丢失的数据

　　大显身手的服务器端部署

　　上面我们已经谈了很多关于 loki 及其工作模式的内容。您还必须预料到它将如何部署，对吧？！关于如何部署，在哪里部署，部署后如何使用的问题，都会浮现在你的脑海中。部署前需要准备一个 k8s 集群。那就好，那就耐心的往下看吧……

　　应用图像

　　洛基

　　格拉法纳/洛基：2.5.0

　　促销

　　格拉法纳/promtail:2.5.0

　　AllInOne部署方式①k8s部署

　　我们从github下载的程序没有配置文件，需要提前准备一份文件。此处提供了完整的 allInOne 配置文件，并进行了一些优化。

　　配置文件内容如下

auth_enabled: false target: all ballast_bytes: 20480 server: grpc_listen_port: 9095 http_listen_port: 3100 graceful_shutdown_timeout: 20s grpc_listen_address: "0.0.0.0" grpc_listen_network: "tcp" grpc_server_max_concurrent_streams: 100 grpc_server_max_recv_msg_size: 4194304 grpc_server_max_send_msg_size: 4194304 http_server_idle_timeout: 2m http_listen_address: "0.0.0.0" http_listen_network: "tcp" http_server_read_timeout: 30s http_server_write_timeout: 20s log_source_ips_enabled: true ## http_path_prefix如果需要更改，在推送日志的时候前缀都需要加指定的内容 ## http_path_prefix: "/" register_instrumentation: true log_format: json log_level: info distributor: ring: heartbeat_timeout: 3s kvstore: prefix: collectors/ store: memberlist ## 需要提前创建好consul集群 ## consul: ## http_client_timeout: 20s ## consistent_reads: true ## host: 127.0.0.1:8500 ## watch_burst_size: 2 ## watch_rate_limit: 2 querier: engine: max_look_back_period: 20s timeout: 3m0s extra_query_delay: 100ms max_concurrent: 10 multi_tenant_queries_enabled: true query_ingester_only: false query_ingesters_within: 3h0m0s query_store_only: false query_timeout: 5m0s tail_max_duration: 1h0s query_scheduler: max_outstanding_requests_per_tenant: 2048 grpc_client_config: max_recv_msg_size: 104857600 max_send_msg_size: 16777216 grpc_compression: gzip rate_limit: 0 rate_limit_burst: 0 backoff_on_ratelimits: false backoff_config: min_period: 50ms max_period: 15s max_retries: 5 use_scheduler_ring: true scheduler_ring: kvstore: store: memberlist prefix: "collectors/" heartbeat_period: 30s heartbeat_timeout: 1m0s ## 默认第一个网卡的名称 ## instance_interface_names ## instance_addr: 127.0.0.1 ## 默认server.grpc-listen-port instance_port: 9095 frontend: max_outstanding_per_tenant: 4096 querier_forget_delay: 1h0s compress_responses: true log_queries_longer_than: 2m0s max_body_size: 104857600 query_stats_enabled: true scheduler_dns_lookup_period: 10s scheduler_worker_concurrency: 15 query_range: align_queries_with_step: true cache_results: true parallelise_shardable_queries: true max_retries: 3 results_cache: cache: enable_fifocache: false default_validity: 30s background: writeback_buffer: 10000 redis: endpoint: 127.0.0.1:6379 timeout: 1s expiration: 0s db: 9 pool_size: 128 password: 1521Qyx6^ tls_enabled: false tls_insecure_skip_verify: true idle_timeout: 10s max_connection_age: 8h ruler: enable_api: true enable_sharding: true alertmanager_refresh_interval: 1m disable_rule_group_label: false evaluation_interval: 1m0s flush_period: 3m0s for_grace_period: 20m0s for_outage_tolerance: 1h0s notification_queue_capacity: 10000 notification_timeout: 4s poll_interval: 10m0s query_stats_enabled: true remote_write: config_refresh_period: 10s enabled: false resend_delay: 2m0s rule_path: /rulers search_pending_for: 5m0s storage: local: directory: /data/loki/rulers type: configdb sharding_strategy: default wal_cleaner: period: 240h min_age: 12h0m0s wal: dir: /data/loki/ruler_wal max_age: 4h0m0s min_age: 5m0s truncate_frequency: 1h0m0s ring: kvstore: store: memberlist prefix: "collectors/" heartbeat_period: 5s heartbeat_timeout: 1m0s ## instance_addr: "127.0.0.1" ## instance_id: "miyamoto.en0" ## instance_interface_names: ["en0","lo0"] instance_port: 9500 num_tokens: 100 ingester_client: pool_config: health_check_ingesters: false client_cleanup_period: 10s remote_timeout: 3s remote_timeout: 5s ingester: autoforget_unhealthy: true chunk_encoding: gzip chunk_target_size: 1572864 max_transfer_retries: 0 sync_min_utilization: 3.5 sync_period: 20s flush_check_period: 30s flush_op_timeout: 10m0s chunk_retain_period: 1m30s chunk_block_size: 262144 chunk_idle_period: 1h0s max_returned_stream_errors: 20 concurrent_flushes: 3 index_shards: 32 max_chunk_age: 2h0m0s query_store_max_look_back_period: 3h30m30s wal: enabled: true dir: /data/loki/wal flush_on_shutdown: true checkpoint_duration: 15m replay_memory_ceiling: 2GB lifecycler: ring: kvstore: store: memberlist prefix: "collectors/" heartbeat_timeout: 30s replication_factor: 1 num_tokens: 128 heartbeat_period: 5s join_after: 5s observe_period: 1m0s ## interface_names: ["en0","lo0"] final_sleep: 10s min_ready_duration: 15s storage_config: boltdb: directory: /data/loki/boltdb boltdb_shipper: active_index_directory: /data/loki/active_index build_per_tenant_index: true cache_location: /data/loki/cache cache_ttl: 48h resync_interval: 5m query_ready_num_days: 5 index_gateway_client: grpc_client_config: filesystem: directory: /data/loki/chunks chunk_store_config: chunk_cache_config: enable_fifocache: true default_validity: 30s background: writeback_buffer: 10000 redis: endpoint: 192.168.3.56:6379 timeout: 1s expiration: 0s db: 8 pool_size: 128 password: 1521Qyx6^ tls_enabled: false tls_insecure_skip_verify: true idle_timeout: 10s max_connection_age: 8h fifocache: ttl: 1h validity: 30m0s max_size_items: 2000 max_size_bytes: 500MB write_dedupe_cache_config: enable_fifocache: true default_validity: 30s background: writeback_buffer: 10000 redis: endpoint: 127.0.0.1:6379 timeout: 1s expiration: 0s db: 7 pool_size: 128 password: 1521Qyx6^ tls_enabled: false tls_insecure_skip_verify: true idle_timeout: 10s max_connection_age: 8h fifocache: ttl: 1h validity: 30m0s max_size_items: 2000 max_size_bytes: 500MB cache_lookups_older_than: 10s ## 压缩碎片索引 compactor: shared_store: filesystem shared_store_key_prefix: index/ working_directory: /data/loki/compactor compaction_interval: 10m0s retention_enabled: true retention_delete_delay: 2h0m0s retention_delete_worker_count: 150 delete_request_cancel_period: 24h0m0s max_compaction_parallelism: 2 ## compactor_ring: frontend_worker: match_max_concurrent: true parallelism: 10 dns_lookup_duration: 5s ## runtime_config 这里没有配置任何信息 ## runtime_config: common: storage: filesystem: chunks_directory: /data/loki/chunks fules_directory: /data/loki/rulers replication_factor: 3 persist_tokens: false ## instance_interface_names: ["en0","eth0","ens33"] analytics: reporting_enabled: false limits_config: ingestion_rate_strategy: global ingestion_rate_mb: 100 ingestion_burst_size_mb: 18 max_label_name_length: 2096 max_label_value_length: 2048 max_label_names_per_series: 60 enforce_metric_name: true max_entries_limit_per_query: 5000 reject_old_samples: true reject_old_samples_max_age: 168h creation_grace_period: 20m0s max_global_streams_per_user: 5000 unordered_writes: true max_chunks_per_query: 200000 max_query_length: 721h max_query_parallelism: 64 max_query_series: 700 cardinality_limit: 100000 max_streams_matchers_per_query: 1000 max_concurrent_tail_requests: 10 ruler_evaluation_delay_duration: 3s ruler_max_rules_per_rule_group: 0 ruler_max_rule_groups_per_tenant: 0 retention_period: 700h per_tenant_override_period: 20s max_cache_freshness_per_query: 2m0s max_queriers_per_tenant: 0 per_stream_rate_limit: 6MB per_stream_rate_limit_burst: 50MB max_query_lookback: 0 ruler_remote_write_disabled: false min_sharding_lookback: 0s split_queries_by_interval: 10m0s max_line_size: 30mb max_line_size_truncate: false max_streams_per_user: 0 ## memberlist_conig模块配置gossip用于在分发服务器、摄取器和查询器之间发现和连接。 ## 所有三个组件的配置都是唯一的，以确保单个共享环。 ## 至少定义了1个join_members配置后，将自动为分发服务器、摄取器和ring 配置memberlist类型的kvstore memberlist: randomize_node_name: true stream_timeout: 5s retransmit_factor: 4 join_members: - 'loki-memberlist' abort_if_cluster_join_fails: true advertise_addr: 0.0.0.0 advertise_port: 7946 bind_addr: ["0.0.0.0"] bind_port: 7946 compression_enabled: true dead_node_reclaim_time: 30s gossip_interval: 100ms gossip_nodes: 3 gossip_to_dead_nodes_time: 3 ## join: leave_timeout: 15s left_ingesters_timeout: 3m0s max_join_backoff: 1m0s max_join_retries: 5 message_history_buffer_bytes: 4096 min_join_backoff: 2s ## node_name: miyamoto packet_dial_timeout: 5s packet_write_timeout: 5s pull_push_interval: 100ms rejoin_interval: 10s tls_enabled: false tls_insecure_skip_verify: true schema_config: configs: - from: "2020-10-24" index: period: 24h prefix: index_ object_store: filesystem schema: v11 store: boltdb-shipper chunks: period: 168h row_shards: 32 table_manager: retention_deletes_enabled: false retention_period: 0s throughput_updates_disabled: false poll_interval: 3m0s creation_grace_period: 20m index_tables_provisioning: provisioned_write_throughput: 1000 provisioned_read_throughput: 500 inactive_write_throughput: 4 inactive_read_throughput: 300 inactive_write_scale_lastn: 50 enable_inactive_throughput_on_demand_mode: true enable_ondemand_throughput_mode: true inactive_read_scale_lastn: 10 write_scale: enabled: true target: 80 ## role_arn: out_cooldown: 1800 min_capacity: 3000 max_capacity: 6000 in_cooldown: 1800 inactive_write_scale: enabled: true target: 80 out_cooldown: 1800 min_capacity: 3000 max_capacity: 6000 in_cooldown: 1800 read_scale: enabled: true target: 80 out_cooldown: 1800 min_capacity: 3000 max_capacity: 6000 in_cooldown: 1800 inactive_read_scale: enabled: true target: 80 out_cooldown: 1800 min_capacity: 3000 max_capacity: 6000 in_cooldown: 1800 chunk_tables_provisioning: enable_inactive_throughput_on_demand_mode: true enable_ondemand_throughput_mode: true provisioned_write_throughput: 1000 provisioned_read_throughput: 300 inactive_write_throughput: 1 inactive_write_scale_lastn: 50 inactive_read_throughput: 300 inactive_read_scale_lastn: 10 write_scale: enabled: true target: 80 out_cooldown: 1800 min_capacity: 3000 max_capacity: 6000 in_cooldown: 1800 inactive_write_scale: enabled: true target: 80 out_cooldown: 1800 min_capacity: 3000 max_capacity: 6000 in_cooldown: 1800 read_scale: enabled: true target: 80 out_cooldown: 1800 min_capacity: 3000 max_capacity: 6000 in_cooldown: 1800 inactive_read_scale: enabled: true target: 80 out_cooldown: 1800 min_capacity: 3000 max_capacity: 6000 in_cooldown: 1800 tracing: enabled: true 复制代码

　　注意：

　　创建配置图

　　说明：将上述内容写入一个文件-> loki-all.yaml，并作为configmap写入k8s集群。可以使用以下命令创建它：

$ kubectl create configmap --from-file ./loki-all.yaml loki-all

　　可以通过命令查看创建的configmap。详情见下图。

　　创建持久存储

　　在 k8s 中，我们的数据需要持久化。Loki 采集的日志信息对业务至关重要，因此需要在容器重启时保留日志。然后你需要使用pv和pvc。后端存储可以使用nfs、glusterfs、hostPath、azureDisk、cephfs等20种支持类型，这里因为没有对应的环境，所以采用hostPath方式。

apiVersion: v1 kind: PersistentVolume metadata: name: loki namespace: default spec: hostPath: path: /glusterfs/loki type: DirectoryOrCreate capacity: storage: 1Gi accessModes: - ReadWriteMany --- apiVersion: v1 kind: PersistentVolumeClaim metadata: name: loki namespace: default spec: accessModes: - ReadWriteMany resources: requests: storage: 1Gi volumeName: loki

　　创建应用

　　准备好k8s StatefulSet部署文件后，就可以直接在集群中创建应用了。

apiVersion: apps/v1 kind: StatefulSet metadata: labels: app: loki name: loki namespace: default spec: podManagementPolicy: OrderedReady replicas: 1 selector: matchLabels: app: loki template: metadata: annotations: prometheus.io/port: http-metrics prometheus.io/scrape: "true" labels: app: loki spec: containers: - args: - -config.file=/etc/loki/loki-all.yaml image: grafana/loki:2.5.0 imagePullPolicy: IfNotPresent livenessProbe: failureThreshold: 3 httpGet: path: /ready port: http-metrics scheme: HTTP initialDelaySeconds: 45 periodSeconds: 10 successThreshold: 1 timeoutSeconds: 1 name: loki ports: - containerPort: 3100 name: http-metrics protocol: TCP - containerPort: 9095 name: grpc protocol: TCP - containerPort: 7946 name: memberlist-port protocol: TCP readinessProbe: failureThreshold: 3 httpGet: path: /ready port: http-metrics scheme: HTTP initialDelaySeconds: 45 periodSeconds: 10 successThreshold: 1 timeoutSeconds: 1 resources: requests: cpu: 500m memory: 500Mi limits: cpu: 500m memory: 500Mi securityContext: readOnlyRootFilesystem: true volumeMounts: - mountPath: /etc/loki name: config - mountPath: /data name: storage restartPolicy: Always securityContext: fsGroup: 10001 runAsGroup: 10001 runAsNonRoot: true runAsUser: 10001 serviceAccount: loki serviceAccountName: loki volumes: - emptyDir: {} name: tmp - name: config configMap: name: loki - persistentVolumeClaim: claimName: loki name: storage --- kind: Service apiVersion: v1 metadata: name: loki-memberlist namespace: default spec: ports: - name: loki-memberlist protocol: TCP port: 7946 targetPort: 7946 selector: kubepi.org/name: loki --- kind: Service apiVersion: v1 metadata: name: loki namespace: default spec: ports: - name: loki protocol: TCP port: 3100 targetPort: 3100 selector: kubepi.org/name: loki

　　在上面的配置文件中，我添加了一些 pod 级别的安全策略。这些安全策略还有集群级别的 PodSecurityPolicy 来防止整个集群因为漏洞而崩溃。集群级psp请参考官方文档[1]。

　　验证部署结果

　　当你看到上面的 Running 状态时，你可以使用 API 查看分发器是否正常工作。显示Active时，日志流会正常分发到采集器（ingester）。

　　② 裸机部署

　　将loki放到系统的/bin/目录下，准备grafana-loki.service控制文件重新加载系统服务列表

[Unit] Description=Grafana Loki Log Ingester Documentation=https://grafana.com/logs/ After=network-online.target [Service] ExecStart=/bin/loki --config.file /etc/loki/loki-all.yaml ExecReload=/bin/kill -s HUP $MAINPID ExecStop=/bin/kill -s TERM $MAINPID [Install] WantedBy=multi-user.target

　　重新加载系统列表命令，由系统直接自动管理服务：

$ systemctl daemon-reload ## 启动服务 $ systemctl start grafana-loki ## 停止服务 $ systemctl stop grafana-loki ## 重载应用 $ systemctl reload grafana-loki

　　Promtail部署如火如荼

　　在部署客户端采集日志时，还需要创建配置文件，按照上面创建服务器的步骤操作即可。不同的是需要将日志内容推送到服务器

　　① k8s部署创建配置文件

server: log_level: info http_listen_port: 3101 clients: - url: http://loki:3100/loki/api/v1/push positions: filename: /run/promtail/positions.yaml scrape_configs: - job_name: kubernetes-pods pipeline_stages: - cri: {} kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: - __meta_kubernetes_pod_controller_name regex: ([0-9a-z-.]+?)(-[0-9a-f]{8,10})? action: replace target_label: __tmp_controller_name - source_labels: - __meta_kubernetes_pod_label_app_kubernetes_io_name - __meta_kubernetes_pod_label_app - __tmp_controller_name - __meta_kubernetes_pod_name regex: ^;*([^;]+)(;.*)?$ action: replace target_label: app - source_labels: - __meta_kubernetes_pod_label_app_kubernetes_io_instance - __meta_kubernetes_pod_label_release regex: ^;*([^;]+)(;.*)?$ action: replace target_label: instance - source_labels: - __meta_kubernetes_pod_label_app_kubernetes_io_component - __meta_kubernetes_pod_label_component regex: ^;*([^;]+)(;.*)?$ action: replace target_label: component - action: replace source_labels: - __meta_kubernetes_pod_node_name target_label: node_name - action: replace source_labels: - __meta_kubernetes_namespace target_label: namespace - action: replace replacement: $1 separator: / source_labels: - namespace - app target_label: job - action: replace source_labels: - __meta_kubernetes_pod_name target_label: pod - action: replace source_labels: - __meta_kubernetes_pod_container_name target_label: container - action: replace replacement: /var/log/pods/*$1/*.log separator: / source_labels: - __meta_kubernetes_pod_uid - __meta_kubernetes_pod_container_name target_label: __path__ - action: replace regex: true/(.*) replacement: /var/log/pods/*$1/*.log separator: / source_labels: - __meta_kubernetes_pod_annotationpresent_kubernetes_io_config_hash - __meta_kubernetes_pod_annotation_kubernetes_io_config_hash - __meta_kubernetes_pod_container_name target_label: __path__

　　用同样的方法创建一个收录上述内容的configMap

　　创建 DaemonSet 文件

　　Promtail 是一个无状态的应用程序，不需要持久化存储，只需要部署到集群中即可。准备 DaemonSets 来创建文件还是一样的。

kind: DaemonSet apiVersion: apps/v1 metadata: name: promtail namespace: default labels: app.kubernetes.io/instance: promtail app.kubernetes.io/name: promtail app.kubernetes.io/version: 2.5.0 spec: selector: matchLabels: app.kubernetes.io/instance: promtail app.kubernetes.io/name: promtail template: metadata: labels: app.kubernetes.io/instance: promtail app.kubernetes.io/name: promtail spec: volumes: - name: config configMap: name: promtail - name: run hostPath: path: /run/promtail - name: containers hostPath: path: /var/lib/docker/containers - name: pods hostPath: path: /var/log/pods containers: - name: promtail image: docker.io/grafana/promtail:2.3.0 args: - '-config.file=/etc/promtail/promtail.yaml' ports: - name: http-metrics containerPort: 3101 protocol: TCP env: - name: HOSTNAME valueFrom: fieldRef: apiVersion: v1 fieldPath: spec.nodeName volumeMounts: - name: config mountPath: /etc/promtail - name: run mountPath: /run/promtail - name: containers readOnly: true mountPath: /var/lib/docker/containers - name: pods readOnly: true mountPath: /var/log/pods readinessProbe: httpGet: path: /ready port: http-metrics scheme: HTTP initialDelaySeconds: 10 timeoutSeconds: 1 periodSeconds: 10 successThreshold: 1 failureThreshold: 5 imagePullPolicy: IfNotPresent securityContext: capabilities: drop: - ALL readOnlyRootFilesystem: false allowPrivilegeEscalation: false restartPolicy: Always serviceAccountName: promtail serviceAccount: promtail tolerations: - key: node-role.kubernetes.io/master operator: Exists effect: NoSchedule - key: node-role.kubernetes.io/control-plane operator: Exists effect: NoSchedule

　　创建一个 promtail 应用程序

$ kubectl apply -f promtail.yaml

　　使用上面的命令创建后，可以看到服务已经创建好了。下一步是添加一个 DataSource 来查看 Grafana 中的数据。

　　② 裸机部署

　　如果是裸机部署，需要对上面的配置文件稍作改动，可以更改客户端的地址，文件存放在/etc/loki/，例如改成：

clients: - url: http://ipaddress:port/loki/api/v1/push

　　添加系统启动配置，服务配置文件存放位置/usr/lib/systemd/system/loki-promtail.service内容如下

[Unit] Description=Grafana Loki Log Ingester Documentation=https://grafana.com/logs/ After=network-online.target [Service] ExecStart=/bin/promtail --config.file /etc/loki/loki-promtail.yaml ExecReload=/bin/kill -s HUP $MAINPID ExecStop=/bin/kill -s TERM $MAINPID [Install] WantedBy=multi-user.target

　　启动方法同上面的服务器部署内容

　　Loki 在 DataSource 添加数据源

　　具体步骤：Grafana->Setting->DataSources->AddDataSource->Loki

　　注意：http的URL地址，应用和服务部署在哪个namespace中，需要指定其FQDN地址，格式为ServiceName.namespace。如果默认是默认下，创建的端口号是3100，则需要填写：3100。这里为什么不写IP地址，写服务名，因为k8s集群中有dns服务器会自动解决这个地址。

　　查找日志信息

　　页面 display.png 其他客户端配置Logstash为日志采集客户端安装插件

　　启动 Logstash 后，我们需要安装一个插件。可以通过该命令安装loki的输出插件。安装完成后，可以在logstash的输出中添加信息。

$ bin/logstash-plugin install logstash-output-loki

　　添加测试配置

　　完整的logstash配置信息可以参考官网LogstashConfigFile[2]给出的内容

output { loki { [url => "" | default = none | required=true] [tenant_id => string | default = nil | required=false] [message_field => string | default = "message" | required=false] [include_fields => array | default = [] | required=false] [batch_wait => number | default = 1(s) | required=false] [batch_size => number | default = 102400(bytes) | required=false] [min_delay => number | default = 1(s) | required=false] [max_delay => number | default = 300(s) | required=false] [retries => number | default = 10 | required=false] [username => string | default = nil | required=false] [password => secret | default = nil | required=false] [cert => path | default = nil | required=false] [key => path | default = nil| required=false] [ca_cert => path | default = nil | required=false] [insecure_skip_verify => boolean | default = false | required=false] } }

　　或者使用logstash的http输出模块，配置如下：

output { http { format => "json" http_method => "post" content_type => "application/json" connect_timeout => 10 url => "http://loki:3100/loki/api/v1/push" message => '"message":"%{message}"}' } }

　　头盔安装

　　如果您想轻松安装，可以使用 helm 安装。helm 封装了所有安装步骤，简化了安装步骤。对于想进一步了解 k8s 的人来说，helm 并不适合。因为是封装后自动执行的，所以k8s管理员不知道各个组件是如何相互依赖的，可能会造成误解。废话不多说，开始 helm 安装

　　添加回购源

$ helm repo add grafana https://grafana.github.io/helm-charts

　　更新源

$ helm repo update

　　部署默认配置

$ helm upgrade --install loki grafana/loki-simple-scalable

　　自定义命名空间

$ helm upgrade --install loki --namespace=loki grafana/loki-simple-scalable

　　自定义配置信息

$ helm upgrade --install loki grafana/loki-simple-scalable --set "key1=val1,key2=val2,..."

　　故障排除 502 BadGateWayIngester not ready: instance xx:9095 in state JOININGtoo many unhealthy instances in the ringData source connected, but no label received. 验证 Loki 和 Promtail 是否配置正确参考链接 [1]

　　官方文档：%3A%2F%2Fkubernetes.io%2Fdocs%2Fconcepts%2Fsecurity%2Fpod-security-policy%2F

　　[2]

　　LogstashConfigFile：%3A%2F%2F%2Fguide%2Fen%2Flogstash%2Fcurrent%2Fconfiguration-file-structure.html

　　[3]

　　配置文件参考 1：%3A%2F%%2Fdocs%2Floki%2Flatest%2Fconfiguration%2F%23server

　　你可能还喜欢

　　点击下图阅读

　　云原生是一种信念

0

2022-10-27

百度seo分析工具

0 个评论

要回复文章请先登录或注册

AI时代内容工厂

直观:seo优化数据分析工具哪一个较好用?

0 个评论

发起人