事实:不对全文内容进行索引的Loki到底优秀在哪里,可以占据一部分日志监控领域
优采云 发布时间: 2022-11-18 23:39事实:不对全文内容进行索引的Loki到底优秀在哪里,可以占据一部分日志监控领域
k8s零基础入门运维课程
• k8s零基础入门级运维课程,计算存储网络和常见的集群相关操作[1]
k8s纯源码解读教程(3门课程内容合二为一)
• k8s底层原理精华及源码讲解[2] • k8s进阶底层原理及源码讲解[3] • k8s纯源码讲解教程,助你成为k8s高手[4]
k8s运维进阶调优课程
• k8s运维大师课程[5]
K8s管理运维平台实战
• k8s管理运维平台实战前端vue后端golang[6]
k8s二次开发教程
• 基于real load scheduler的k8s二次开发[7] • k8s-operator和crd实战开发,助你成为k8s高手[8]
cic课程
• tekton全流水线实战及流水线运行原理源码解读[9]
prometheus所有组件教程
•01_prometheus零基础入门,grafana基础操作,主流exporter采集配置[10]•02_prometheus全组件配置及使用,底层原理分析,高可用实践[11]•03_prometheus-thanos使用及源码解读[ 12]• 04_kube-prometheus和prometheus-operator实战及原理介绍[13]• 05_prometheus源码讲解及二次开发[14]• 06_prometheus监控k8s实战配置及原理讲解,编写go项目暴露业务指标[15]
去语言课程
• golang基础课[16] • golang实战课,一天写一个任务执行系统,客户端和服务端架构[17] • golang运维开发项目k8s网络检测实战[18] • golang运维平台实战、服务树、日志监控、任务执行、分布式检测[19] golang运维开发实战教程之k8s巡检平台[20]
直播问答 职业发展规划
• k8s-prometheus课程问答及运维开发职业发展规划[21]
总结loki的优点 1.索引开销低
• loki 和es 最大的区别是loki 只索引标签而不是内容。这样可以大大降低索引资源的成本(不管你查不查es,巨大的索引成本都要一直承担)
2.并发查询+使用缓存
•同时为了弥补全文索引不足带来的查询速度下降,Loki会将查询分解成更小的分片,可以理解为并发grep •支持索引、chunk和结果缓存同时提速
3.使用和prometheus一样的标签,对接alertmanager
• Loki 和 Prometheus 之间的标记对齐是 Loki 的超能力之一
4.使用grafana作为前端,避免在kibana和grafana之间来回切换架构指令
•地址
架构描述
组件描述promtail为采集器,类比filebeatloki相当于server,类比es
loki进程收录四个角色
•querier 查询器 •ingester 日志存储 •query-frontend 前端查询器 •distributor 写分发器
可以通过loki二进制文件的-target参数指定运行角色
读取路径
• 查询器接收HTTP/1 数据请求。• 查询器将查询传递给所有请求内存数据的摄取器。• 接收方接收读取请求并返回匹配查询的数据(如果有)。• 如果没有接收者返回数据,查询器将延迟从后备存储中加载数据并对其执行查询。• 查询器将对所有接收到的数据进行迭代和去重,通过HTTP/1 连接返回最终数据集。
写入路径
• Distributor 收到一个HTTP/1 请求来存储流数据。• 每个流都使用哈希环进行哈希处理。• 调度程序将每个流发送到适当的 inester 及其副本(基于配置的复制因子)。• 每个实例将创建一个流数据块或将其附加到现有块。每个租户和每个标签集的块都是唯一的。• 分发服务器通过 HTTP/1 连接以成功代码响应。
使用本地化模式安装和下载 promtail 和 loki 二进制文件
wget https://github.com/grafana/loki/releases/download/v2.2.1/loki-linux-amd64.zip<br />wget https://github.com/grafana/loki/releases/download/v2.2.1/promtail-linux-amd64.zip
找台linux机器测试,安装promtail
<p><br />mkdir /opt/app/{promtail,loki} -pv <br /># promtail配置文件cat