開發監控mysql資料庫的腳本（開源資料庫監控）

本文目錄一覽：

• 1、監控mysql的幾個腳本
• 2、如何用shell腳本實現自動監測mysql實例狀態
• 3、如何實現監控mysql，並將有變動的數據表寫入指定的文件夾？
• 4、如何通過shell腳本來檢查或監控MYSQL資料庫

監控mysql的幾個腳本

如果您不太熟悉MySQL監控，開始可以看一看流行的監控軟體。例如，下面列出了MySQL Cacti Plugin

Innodb Buffer Pool Activity

•Pages Created

•Pages Written

•Pages Read

Innodb Buffer Pool Pages

•Pool Size

•Database Pages

•Free Pages

•Modified Pages

Inoodb File I/O

•File Reads

•Files Writes

•Log Writes

•File Fsyncs

Innodb Pending I/O

•Aio Log Ios

•Aio Sync ios

•Buffer Pool Flushes

•Chkp Writes

•Ibuf Aio Reads

•Log Flushes

•Log Writes

•Normal Aio Reads

•Normal Aio Writes

Innodb Insert Buffer

•Inserts

•Merged

•Merges

Innodb Log

•Log Buffer Size

•Log Bytes Written

•Log Bytes Flushed

•Unflushed Log

Innodb Row Operations

•Rows Read

•Rows Deleted

•Rows Updated

•Rows Inserted

Innodb Semaphores

•Spin Rounds

•Spin Waits

•OS Waits

Innodb Transactions

•Innodb Transactions

•Current Transactions

•History List

•Read Views

MySQL Binary/Relay Logs

•Binlog Cache use

•Binlog Cache Disk Use

•Binary Log Space

•Relay Log Space

MySQL Command Counters

•Questions

•SELECT

•DELETE

•INSERT

•UPDATE

•REPLACE

•LOAD

•DELETE MULTI

•INSERT SELECT

•UPDATE MULTI

•REPLACE SELECT

MySQL Connections

•Max Connections

•Max Used Connections

•Aborted Clients

•Aborted Connects

•Threads Connected

•Connections

MySQL Files and Tables

•Table Cache

•Open Tables

•Open Files

•Opened Tables

MySQL Network Traffic

•Bytes Received

•Bytes Sent

MySQL Processlist

•State Closing Tables

•State Copying to Tmp Table

•State End

•State Freeing Items

•State Init

•State Locked

•State Login

•State Preparing

•State Reading From Net

•State Sending Data

•State Sorting Result

•State Statistics

•State Updating

•State Writing to Net

•State None

•State Other

MySQL Query Cache

•Queries In Cache

•Hits

•Inserts

•Not Cached

•Lowmem Prunes

MySQL Query Cache Memory

•Query Cache Size

•Free Memory

•Total Blocks

•Free Blocks

MySQL Replication

•Slave Running

•Slave Stopped

•Slave Lag

•Slave Open Temp Tables

•Slave Retried Transactions

MySQL Select Types

•Select Full Join

•Select Full Range Join

•Select Range

•Select Range Check

•Select Scan

MySQL Sorts

•Sort Rows

•Sort Range

•Sort Merge Passes

•Sort Scan

MySQL Table Locks

•Table Locks Immediate

•Table Locks Waited

•Slow Queries

MySQL Temporary Objects

•Created Tmp Tables

•Created Tmp Disk Tables

•Created Tmp Files

MySQL Threads

•Thread Cache Size

•Threads Created

如何用shell腳本實現自動監測mysql實例狀態

本文介紹 MySQL 8.0 shell 子模塊 Util 的兩個導入特性 importTable/import_table(JS和python 版本的命名差異)、importJson/import_json的使用方法。

其中 import_table 是通過傳統 MySQL 協議來通信，Import_json 是通過 X 插件協議來通信。MySQL 一直以來提供導入文件 SQL 命令 load data infile（單線程）以及對應的可執行文件 mysqlimport（多線程）。

比如我導入 100W 行示例數據到表 ytt.tl1，花了 24 秒。這個已經是 MySQL 默認導入來的最快的。分析那我們現在看下 mysqlimport 工具的升級版，mysqlshell 的 util 工具集。

使用這兩個工具之前，必須得臨時開啟 local_infile 選項。1. import_table建立 3306 埠的新連接我這裡切換為 python 模式清空掉示例表 Ytt.tl1import_table 有兩個參數，第一個參數定義導入文件的路徑，第二個定義相關選項，比如導入的格式，並發的數量等。定義文件路徑（參數1）定義選項（參數2）執行導入：只花了不到 17 秒，比傳統 mysqlimport 快了不少。

我們上面指定了顯式指定了欄位分隔符，那有沒有已經定義好的組合格式呢？ 答案是有的，選項 dialect 可以指定以下格式：csv，tsv，json，csv-unix那麼上面的導入，我們可以更簡單，改下變數 y_options1 的定義導入時間差不多。這裡要說明下，dialect 選項的優先順序比較低，比如添加了’linesTerminatedBy’:’\r\n’， 則覆蓋他自己的’\n’。

選項 diaelect 還有一個可選值為 json，可以直接把 json 結果導入到文檔表裡。比如我新建一張表 tl1_json重新定義文件以及導入選項。導入 JSON 數據速度也還可以，不到 24 秒。那導入 json 數據，就必須得提到以 X 插件協議通信的工具 import_json了。2. imort_json我們切換到 mysqlx 埠import_json 參數和 Import_table 參數類似，這裡我改下選項我在手冊上沒有看到多線程的選項，所以單線程跑 35 秒慢了些。查看剛剛導入的數據import_json 不僅僅可以導入 Json 數據，更重要的是可以在 BSON 和 JSON 之間平滑的轉換，有興趣的同學可以去 TRY 下。

如何實現監控mysql，並將有變動的數據表寫入指定的文件夾？

首先介紹下 pt-stalk，它是 Percona-Toolkit 工具包中的一個工具，說起 PT 工具包大家都不陌生，平時常用的 pt-query-digest、 pt-online-schema-change 等工具都是出自於這個工具包，這裡就不多介紹了。

pt-stalk 的主要功能是在出現問題時收集 OS 及 MySQL 的診斷信息，這其中包括：

1. OS 層面的 CPU、IO、內存、磁碟、網路等信息；

2. MySQL 層面的行鎖等待、會話連接、主從複製，狀態參數等信息。

而且 pt-stalk 是一個 Shell腳本，對於我這種看不懂 perl 的人來說比較友好，腳本裡面的監控邏輯與監控命令也可以拿來參考，用於構建自己的監控體系。

三、使用

接著我們來看下如何使用這個工具。

pt-stalk 通常以後台服務形式監控 MySQL 並等待觸發條件，當觸發條件時收集相關診斷數據。

觸發條件相關的參數有以下幾個：

function：

∘ 默認為 status，代表監控 SHOW GLOBAL STATUS 的輸出；

∘ 也可以設置為 processlist，代表監控 show processlist 的輸出；

variable：

∘ 默認為 Threads_running，代表 監控參數，根據上述監控輸出指定具體的監控項；

threshold：

∘ 默認為 25，代表 監控閾值，監控參數超過閾值，則滿足觸發條件；

∘ 監控參數的值非數字時，需要配合 match 參數一起使用，如 processlist 的 state 列；

cycles：

∘ 默認為 5，表示連續觀察到五次滿足觸發條件時，才觸發收集；

連接參數：host、password、port、socket。

其他一些重要參數：

iterations：該參數指定 pt-stalk 在觸發收集幾次後退出，默認會一直運行。

run-time：觸發收集後，該參數指定收集多長時間的數據，默認 30 秒。

sleep：該參數指定在觸發收集後，sleep 多久後繼續監控，默認 300 秒。

interval：指定狀態參數的檢查頻率，判斷是否需要觸發收集，默認 1 秒。

dest：監控數據存放路徑，默認為 /var/lib/pt-stalk。

retention-time ：監控數據保留時長，默認 30 天。

daemonize：以後台服務運行，默認不開啟。

log：後台運行日誌，默認為 /var/log/pt-stalk.log。

collect：觸發發生時收集診斷數據，默認開啟。

∘ collect-gdb：收集 GDB 堆棧跟蹤，需要 gdb 工具。

∘ collect-strace：收集跟蹤數據，需要 strace 工具。

∘ collect-tcpdump：收集 tcpdump 數據，需要 tcpdump 工具。

如何通過shell腳本來檢查或監控MYSQL資料庫

db2 connect to [dbname] db2 “select min(a) from b;” t.txtdb2 terminatedate=`cat t.txt | tail -2 | head -1` echo $date