自监控能力演化路线 #1928

Takuka0311 · 2024-11-27T07:58:19Z

Takuka0311
Nov 27, 2024
Collaborator

目前，我们将LoongCollector的自监控功能划分为两个模块：指标与告警。在iLogtail时期，两者的能力均有欠缺，很多开发者希望通过指标来观测iLogtail状态、获取告警来处理iLogtail报错，都无从下手：

在LoongCollector时代，我们希望改变这一现状，让自监控能力可以被开发者们方便地用起来。

我们希望所有的自监控数据，可以以标准的Pipeline方式获取到。为此，我们计划做如下的事情：

将所有的自监控数据源改造为Input插件，输出标准的PipelineEventGroup，可以由Flusher插件发送到任意位置
- 新增InputInternalMetrics插件，分钟粒度输出LoongCollector的自监控指标，输出格式为MetricEvent
- 新增InputInternalAlarm插件，输出LoongCollector的告警，输出格式为LogEvent。
整合C++与Go部分的自监控能力（C++与Go部分的指标、告警，在iLogtail时代都是单独的流程）
- C++统一获取Go部分指标、告警数据并发送
- C++/Go数据流转统一为标准PipelineEvent格式
- C++/Go指标/告警能力、配置对齐

C++的指标通过MetricRecord类来记录，Go的指标记录方式可以参考文档。C++的发送线程会定时拉取C++和Go的指标并通过SelfMonitorServer作聚合、过滤并输出。

指标当前分为六个维度：

进程级（agent）：LoongCollector的整体状态，包含一些Cpu、Mem等信息
Runner级（runner）：LoongCollector内部的独立线程的单例，通常是一整个功能模块，例如file_server、processor_runner等。
配置级（pipeline）：每个配置的整体状态，例如一条流水线的总输入、输出、延迟
组件级（component）：每个配置运行过程中，会伴随一些组件的使用，例如Batcher、Compressor等。
插件级（plugin）：每个配置中单个插件的详细指标，例如某个Processor插件的输入、输出、解析失败率
数据源级（plugin_source）：每个配置的数据源的指标，例如文件采集时，每个源文件会有对应的数据，包含文件大小、读取的offset等。

指标模块目前已经Input插件化，可以通过配置原生插件InputIntervalMetrics来获取所有指标。

暂无，告警当前C++部分逻辑在 core/monitor/AlarmManager.h ，仅做保存，无法发送；Go部分是Go内置流水线，在pluginmanager/self_telemetry_alarm.go。