MySQL的General Log可以记录MySQL服务器的所有请求，包括查询和所有修改数据的语句，以及用户登录和退出信息。这对于调试MySQL问题以及了解MySQL服务器的运行状态都非常有用。但是在实际应用中，General Log记录的数据量很大，如果不加处理就会对MySQL服务器的性能产生很大的影响。本文将从几个方面来阐述如何优化MySQL的General Log记录，提高MySQL服务器的性能和可用性。
一、限制General Log记录的范围
General Log记录的粒度越细，记录的数据量就越大，对MySQL服务器的性能影响也就越大。因此，我们可以通过限制General Log记录的范围来减少记录的数据量，减轻MySQL服务器的负担。下面是一些限制General Log记录的方法：
1.1 只记录特定用户或IP的请求
可以通过在MySQL配置文件my.cnf中设置general_log_exclude_users和general_log_exclude_hosts来限制只记录特定用户或IP的请求，如下所示：
[mysqld] general_log_file=/var/log/mysql/mysql.log general_log=1 general_log_exclude_users=backup_user,admin general_log_exclude_hosts=192.168.0.10,192.168.0.20
1.2 只记录特定时间段的请求
可以通过手动打开和关闭General Log记录来控制只记录特定时间段的请求，如下所示：
SET GLOBAL general_log=off; -- 执行需要记录的操作 SET GLOBAL general_log=on;
1.3 只记录特定数据表的请求
如果我们只关心特定的数据表，可以在MySQL配置文件my.cnf中设置log-queries-not-using-indexes选项，这样只会记录那些没有使用索引进行查询的语句，从而减少记录的数据量，如下所示：
[mysqld] general_log_file=/var/log/mysql/mysql.log general_log=1 log-queries-not-using-indexes=dbname.tablename
二、使用Percona Toolkit来分析General Log记录
使用General Log记录来了解MySQL服务器的运行状态以及调试问题非常有用，但是直接查看General Log记录是比较困难的。Percona Toolkit提供了一系列的命令来解析General Log记录，将其转换成易于阅读和分析的格式，便于我们查找问题和了解MySQL服务器的性能。下面是一些常用的Percona Toolkit命令：
2.1 pt-query-digest
pt-query-digest命令可以分析MySQL查询日志文件，找出发生查询卡顿或锁等待的查询语句，以及查询占用CPU和I/O资源较多的查询语句。它还可以将查询语句按照执行时间和执行次数进行排序，以便我们了解查询语句的运行情况。使用方法如下：
pt-query-digest /var/log/mysql/mysql-slow.log pt-query-digest /var/log/mysql/mysql-general.log
2.2 pt-summary
pt-summary命令可以汇总MySQL服务器的运行状态，包括CPU、磁盘、网络以及内存等信息，便于我们了解MySQL服务器的负载情况。使用方法如下：
pt-summary
2.3 pt-kill
pt-kill命令可以杀死正在运行的MySQL进程，比如长时间占用CPU或磁盘的查询语句。使用方法如下：
pt-kill --busy-time 60 --kill --match-command Query
三、使用logrotate来轮换General Log记录文件
General Log记录的数据量非常大，如果不定期清理记录文件，会造成磁盘空间的浪费。而使用logrotate工具可以轻松实现General Log记录文件的轮换和压缩，以减小磁盘空间的占用。下面是一个logrotate配置文件示例：
/var/log/mysql/mysql.log {
daily
rotate 7
compress
missingok
notifempty
create 644 mysql mysql
postrotate
/etc/init.d/mysql reload > /dev/null
endscript
}
以上配置文件会每天轮换一次General Log记录文件，保留最近七天的记录文件，同时压缩以减小文件大小，未找到记录文件时不会报错，当记录文件被压缩后重新生成一个空文件，并授权给mysql用户和组，最后重启MySQL服务以使新的日志文件生效。
四、使用syslog来记录General Log
使用syslog来记录General Log可以将日志记录到系统日志中，而无需占用MySQL服务器的磁盘空间。这对于一些需要长期保存日志的场景非常有用，比如安全审计和合规监管等。下面是一个配置syslog记录General Log的示例：
[mysqld] log-output=syslog
以上配置会将General Log记录到系统日志中，我们可以通过查看/var/log/syslog文件来查看General Log记录。
总结
MySQL的General Log可以提供很多有用的信息，但是要合理使用General Log才能避免对MySQL服务器的影响。本文从限制General Log记录的范围、使用Percona Toolkit解析General Log记录、轮换General Log记录文件以及使用syslog记录General Log四个方面来阐述如何优化MySQL的General Log记录，希望对您的工作有所帮助。
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/193389.html
微信扫一扫 
支付宝扫一扫 