深入了解Druid監控

一、Druid簡介

Druid 是一個開源的分布式數據存儲系統，其主要特點是實時數據攝取，多維度 OLAP 查詢分析，快速聚合計算和擴展性好。

Druid 最早用於Metamarkets 公司的數據分析服務。由於其極高的查詢效率和可伸縮性而被大量採用，如：Airbnb、Netflix、華為等。

二、Druid監控概述

Druid的監控用來監視實時流式計算和OLAP查詢執行時的性能和穩定性，同時還能監控集群的狀態，以便及時發現故障並進行相應的優化處理。

Druid的監控提供了多種方法用於實時和歷史性能的監控，例如，JMX、Metrics、Tranquility、Supervisor和Firehose。

三、Druid監控的實現

JMX

Java Management Extensions（JMX）是一個標準的Java技術，用於管理Java應用程序的監控和管理。

Druid 監控集成了 JMX 用於收集系統和進程級別指標。通過 JMX，可以實時監控Druid的核心組件的運行狀態。例如，Broker、Coordinator、Historical、MiddleManager 和 Overlord，以及 indexing service。

以下是 Druid JMX 監控的示例代碼：

# 開啟 JMX 監控，在啟動腳本（如bin/start-nodes）中增加以下參數：
-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=3333 -Dcom.sun.management.jmxremote.rmi.port=3333

# 把以下權限配置增加到JVM啟動參數(-Djava.security.policy)
permission javax.management.MBeanPermission "*", "registerMBean";
permission javax.management.MBeanPermission "*", "unregisterMBean";

Metrics

Metrics是一個Java庫，它被廣泛用於收集應用程序指標、性能度量以及日誌記錄。在Druid中，Metrics是一種簡單的方式去收集和監控Druid的指標。

Druid內置支持Graphite和InfluxDB作為Metrics的後端，所以Druid可以將收集到的Metrics直接發送給Graphite和InfluxDB服務端。

以下是 Druid Metrics 監控的示例代碼：

# 配置 metrics
druid.emitter=logging # emit metrics to log4j
druid.emitter.logging.logLevel=DEBUG
druid.monitoring.monitors=["io.druid.java.util.metrics.JvmMonitor"]
druid.monitoring.monitors=["io.druid.monitoring.ganglia.GangliaMonitorModule","io.druid.monitoring.kafka.KafkaMonitorModule"]

Tranquility

Tranquility是一個實時數據攝取庫，它可用於在Druid集群上執行數據負載測試並獲取實時反饋。同時，它還為Druid集群提供了一個RESTful API，供Druid各部件獲取數據攝取服務的狀態信息。

以下是 Tranquility 監控的示例代碼：

# 開啟 Tranquility 監控，在啟動腳本（如bin/start-nodes）中增加以下參數
-Ddw.tranquility.http-server.enabled=true \
-Ddw.tranquility.http-server.http.adminServer.enabled=true \                                                                       
-Ddw.tranquility.http-server.http.adminServer.port=8200 \
-Ddw.tranquility.http-server.http.bindHost=192.168.0.1

Supervisor

Supervisor 是一個管理druid實例（包括進程、配置文件等）的程序。Supervisor 負責管理 Druid 集群的數據攝取進程。

在Druid的Supervisor中也提供了監控功能，用來監視數據攝取進程的性能和穩定性。

以下是 Supervisor 監控的示例代碼：

# 開啟 Supervisor 監控
druid.supervisor.metrics.enabled=true
druid.supervisor.metrics.frequency=PT10S  .

Firehose

Firehose 是一種API，它允許您向Druid發送任意數量的事件，而不必在事件之間建立新的連接。Druid通過對Firehose流的監聽來獲取實時流的數據，並實時將數據加入到 datasource 中進行索引。這裡對Firehose實時監控系統的實現是使用Log4j Appender，將需要監控的數據實時收集到Log4j Appender中，然後通過Log4j forward Appender 將日誌數據切入Druid管道中。

以下是 Firehose 監控的示例代碼：

# 在druid採集端機器上配置firehose_log4j.xml
<?xml version="1.0" encoding="UTF-8"?>                                                                                                    
<Configuration status="warn">                                                                                                              
  <Appenders>
    <OngoingTimestamp name="myOngoingTimestamp"/>                                                                                 
    <Console name="console" target="SYSTEM_OUT">                                                                                
      <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %m%n"/>                                                 
    </Console>
    <RollingRandomAccessFile name="file" fileName="/var/logs/firehosedata.log" filePattern="/var/logs/firehosedata-%d{yyyy-MM-dd}.log.gz">
      <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %m%n"/>                                                 
      <Policies>                                                                                                              
        <TimeBasedTriggeringPolicy />                                                                                         
        <SizeBasedTriggeringPolicy size="10 MB" />                                                                            
      </Policies>                                                                                                             
      <DefaultRolloverStrategy max="40"/>                                                                                      
    </RollingRandomAccessFile>                                                                                                 
  </Appenders>                                                                                                                     
  <Loggers>                                                                                                                         
    <Root level="debug">                                                                                                           
      <AppenderRef ref="console"/>                                                                                                
      <AppenderRef ref="file"/>                                                                                                   
    </Root>                                                                                                                        
  </Loggers>                                                                                                                        
</Configuration>

# 在druid中，添加如下配置。
tranquility.firehose.type=log4j
tranquility.firehose.log4j.loggerName=druidfirehose
tranquility.firehose.log4j.logLevel=info
#從應用的classpath中加載log4j配置文件的路徑，如果不配置，會從tranquility-default.yaml中提供的默認值/var/druid/tranquility/log4j.properties或者log4j.xml加載
tranquility.log4j.filename=firehose_log4j.xml

四、Druid監控的策略

Druid監控的策略分別為：自定義監控、報警監控和儀錶盤監控。

自定義監控

自定義監控策略是構建基於自定義的指標監控體系，例如，架構調整後出現的訪問異常，內存泄漏，日誌隊列堆積等情況。

在Druid中，自定義監控可以通過結合使用JMX和Metrics組件實現，[Metrics or JMX]Monitors是一個實現了Monitor接口的類，來獲取Druid實例的內部的一些Metric和JMX信息。

報警監控

對於監控的指標，如果達到了特定的閾值，或者到了特定時間還沒有得到保證，則需要預警系統進行告警。

Druid目前提供了輪詢式的健康檢查來檢查Druid集群的情況和服務是否可用，同時也支持消息總線來發送特定的信息給予通知。

儀錶盤監控

Druid監控儀錶盤用於顯示Druid集群的健康狀態、運行狀況以及性能指標。預設Dashboard通常可以包括：實例健康(Line Chart)、攝取監控(Pie Chart)、運行狀態(Dashboard)和性能指標(Today’s Rate)

使用Druid監控數據可視化的方式中，常見的有Grafana和Superset。

五、總結

綜上所述，Druid監控是保障Druid集群正常運轉的重要手段。通過使用多種方法，如JMX、Metrics、Tranquility、Supervisor和Firehose等，對Druid集群進行全方位的監視。

原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-hant/n/291210.html