深入了解Druid监控

一、Druid简介

Druid 是一个开源的分布式数据存储系统，其主要特点是实时数据摄取，多维度 OLAP 查询分析，快速聚合计算和扩展性好。

Druid 最早用于Metamarkets 公司的数据分析服务。由于其极高的查询效率和可伸缩性而被大量采用，如：Airbnb、Netflix、华为等。

二、Druid监控概述

Druid的监控用来监视实时流式计算和OLAP查询执行时的性能和稳定性，同时还能监控集群的状态，以便及时发现故障并进行相应的优化处理。

Druid的监控提供了多种方法用于实时和历史性能的监控，例如，JMX、Metrics、Tranquility、Supervisor和Firehose。

三、Druid监控的实现

JMX

Java Management Extensions（JMX）是一个标准的Java技术，用于管理Java应用程序的监控和管理。

Druid 监控集成了 JMX 用于收集系统和进程级别指标。通过 JMX，可以实时监控Druid的核心组件的运行状态。例如，Broker、Coordinator、Historical、MiddleManager 和 Overlord，以及 indexing service。

以下是 Druid JMX 监控的示例代码：

# 开启 JMX 监控，在启动脚本（如bin/start-nodes）中增加以下参数：
-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=3333 -Dcom.sun.management.jmxremote.rmi.port=3333

# 把以下权限配置增加到JVM启动参数(-Djava.security.policy)
permission javax.management.MBeanPermission "*", "registerMBean";
permission javax.management.MBeanPermission "*", "unregisterMBean";

Metrics

Metrics是一个Java库，它被广泛用于收集应用程序指标、性能度量以及日志记录。在Druid中，Metrics是一种简单的方式去收集和监控Druid的指标。

Druid内置支持Graphite和InfluxDB作为Metrics的后端，所以Druid可以将收集到的Metrics直接发送给Graphite和InfluxDB服务端。

以下是 Druid Metrics 监控的示例代码：

# 配置 metrics
druid.emitter=logging # emit metrics to log4j
druid.emitter.logging.logLevel=DEBUG
druid.monitoring.monitors=["io.druid.java.util.metrics.JvmMonitor"]
druid.monitoring.monitors=["io.druid.monitoring.ganglia.GangliaMonitorModule","io.druid.monitoring.kafka.KafkaMonitorModule"]

Tranquility

Tranquility是一个实时数据摄取库，它可用于在Druid集群上执行数据负载测试并获取实时反馈。同时，它还为Druid集群提供了一个RESTful API，供Druid各部件获取数据摄取服务的状态信息。

以下是 Tranquility 监控的示例代码：

# 开启 Tranquility 监控，在启动脚本（如bin/start-nodes）中增加以下参数
-Ddw.tranquility.http-server.enabled=true \
-Ddw.tranquility.http-server.http.adminServer.enabled=true \                                                                       
-Ddw.tranquility.http-server.http.adminServer.port=8200 \
-Ddw.tranquility.http-server.http.bindHost=192.168.0.1

Supervisor

Supervisor 是一个管理druid实例（包括进程、配置文件等）的程序。Supervisor 负责管理 Druid 集群的数据摄取进程。

在Druid的Supervisor中也提供了监控功能，用来监视数据摄取进程的性能和稳定性。

以下是 Supervisor 监控的示例代码：

# 开启 Supervisor 监控
druid.supervisor.metrics.enabled=true
druid.supervisor.metrics.frequency=PT10S  .

Firehose

Firehose 是一种API，它允许您向Druid发送任意数量的事件，而不必在事件之间建立新的连接。Druid通过对Firehose流的监听来获取实时流的数据，并实时将数据加入到 datasource 中进行索引。这里对Firehose实时监控系统的实现是使用Log4j Appender，将需要监控的数据实时收集到Log4j Appender中，然后通过Log4j forward Appender 将日志数据切入Druid管道中。

以下是 Firehose 监控的示例代码：

# 在druid采集端机器上配置firehose_log4j.xml
<?xml version="1.0" encoding="UTF-8"?>                                                                                                    
<Configuration status="warn">                                                                                                              
  <Appenders>
    <OngoingTimestamp name="myOngoingTimestamp"/>                                                                                 
    <Console name="console" target="SYSTEM_OUT">                                                                                
      <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %m%n"/>                                                 
    </Console>
    <RollingRandomAccessFile name="file" fileName="/var/logs/firehosedata.log" filePattern="/var/logs/firehosedata-%d{yyyy-MM-dd}.log.gz">
      <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %m%n"/>                                                 
      <Policies>                                                                                                              
        <TimeBasedTriggeringPolicy />                                                                                         
        <SizeBasedTriggeringPolicy size="10 MB" />                                                                            
      </Policies>                                                                                                             
      <DefaultRolloverStrategy max="40"/>                                                                                      
    </RollingRandomAccessFile>                                                                                                 
  </Appenders>                                                                                                                     
  <Loggers>                                                                                                                         
    <Root level="debug">                                                                                                           
      <AppenderRef ref="console"/>                                                                                                
      <AppenderRef ref="file"/>                                                                                                   
    </Root>                                                                                                                        
  </Loggers>                                                                                                                        
</Configuration>

# 在druid中，添加如下配置。
tranquility.firehose.type=log4j
tranquility.firehose.log4j.loggerName=druidfirehose
tranquility.firehose.log4j.logLevel=info
#从应用的classpath中加载log4j配置文件的路径，如果不配置，会从tranquility-default.yaml中提供的默认值/var/druid/tranquility/log4j.properties或者log4j.xml加载
tranquility.log4j.filename=firehose_log4j.xml

四、Druid监控的策略

Druid监控的策略分别为：自定义监控、报警监控和仪表盘监控。

自定义监控

自定义监控策略是构建基于自定义的指标监控体系，例如，架构调整后出现的访问异常，内存泄漏，日志队列堆积等情况。

在Druid中，自定义监控可以通过结合使用JMX和Metrics组件实现，[Metrics or JMX]Monitors是一个实现了Monitor接口的类，来获取Druid实例的内部的一些Metric和JMX信息。

报警监控

对于监控的指标，如果达到了特定的阈值，或者到了特定时间还没有得到保证，则需要预警系统进行告警。

Druid目前提供了轮询式的健康检查来检查Druid集群的情况和服务是否可用，同时也支持消息总线来发送特定的信息给予通知。

仪表盘监控

Druid监控仪表盘用于显示Druid集群的健康状态、运行状况以及性能指标。预设Dashboard通常可以包括：实例健康(Line Chart)、摄取监控(Pie Chart)、运行状态(Dashboard)和性能指标(Today’s Rate)

使用Druid监控数据可视化的方式中，常见的有Grafana和Superset。

五、总结

综上所述，Druid监控是保障Druid集群正常运转的重要手段。通过使用多种方法，如JMX、Metrics、Tranquility、Supervisor和Firehose等，对Druid集群进行全方位的监视。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/291210.html