mysql源碼分析,mysql源碼分析環境搭建clion

本文目錄一覽：

• 1、mysql怎麼設置超時時間
• 2、怎樣閱讀InnoDB存儲引擎源碼
• 3、mysql內核源碼是什麼語言寫的
• 4、如何查看mySQL的源代碼
• 5、能夠看懂MySQL源碼是一種怎麼樣的體驗？
• 6、Golang database/sql源碼分析

mysql怎麼設置超時時間

MYSQL_OPT_READ_TIMEOUT 是 MySQL c api 客戶端中用來設置讀取超時時間的參數。在 MySQL 的官方文檔中，該參數的描述是這樣的：

MYSQL_OPT_READ_TIMEOUT (argument type: unsigned int *)The timeout in seconds for each attempt to read from the server. There are retries if necessary, so the total effective timeout value is three times the option value. You can set the value so that a lost connection can be detected earlier than the TCP/IPClose_Wait_Timeout value of 10 minutes.

也就是說在需要的時候，實際的超時時間會是設定值的 3 倍。但是實際測試後發現實際的超時時間和設置的超時時間一致。

而具體什麼時候發生三倍超時，在文檔中沒有找到。所以對 MySQL 5.7.20 的源碼進行了一些分析。

使用 GDB 調試代碼找了實際與 mysql server 通信的代碼，如下：

請點擊輸入圖片描述

其中 vio_read() 函數中，使用 recv 和 poll 來讀取報文和做讀取超時。net_should_retry() 函數只有在發生 EINTR 時才會返回 true。從這段代碼來看是符合測試結果的，並沒有對讀取進行三次重試。只有在讀取操作被系統中斷打斷時才會重試，但是這個重試並沒有次數限制。

從上面代碼的分析可以看出，代碼的邏輯和文檔的描述不符。於是在一頓搜索後，找到了一個 MySQL 的 BUG(Bug #31163)。該 BUG 報告了在 MySQL 5.0 中，MySQL c api 讀取的實際超時時間是設置的三倍，與現有文檔描述相符。於是對 MySQL 5.0.96 的代碼又進行分析。

同樣使用 GDB 找到了通信部分的代碼。這次找到了重試三次的代碼，如下：

請點擊輸入圖片描述

這個版本的 MySQL api 的讀寫超時是直接使用的 setsockopt 設置的。第一次循環，在 A 點發生了第一次超時（雖然注釋寫的非阻塞，但是客戶端的連接始終是阻塞模式的）。然後在 B 點將該 socket 設置為阻塞模式，C 點這裡重置 retry 次數。由於設置了 alarm 第二次以後的循環會直接進入 D 點的這個分支，並且判斷循環次數。作為客戶端時net-retry_count 始終是 1，所以重試了兩次，共計進行了 3 次 vioread 後從 E 點退出函數。

由上面的分析可知，MySQL 文檔對於該參數的描述已經過時，現在的 MYSQL_OPT_READ_TIMEOUT 並不會出現三倍超時的問題。而 Bug #31163 中的處理結果也是將文檔中該參數的描述更新為實際讀取超時時間是設定時間的三倍。也許是 MySQL 的維護者們在後續版本更新時忘記更新文檔吧。

怎樣閱讀InnoDB存儲引擎源碼

1.理解MySQL內核對於DBA的重要性；

如果精通內核對於搞數據庫的人來說，可以稱得上專家。開源數據庫的一個最大好處就是可以去讀源碼，根據自己的需求去進行個性化的開發，畢竟數據庫根據業務最基本的也要分為OLTP,OLAP，系統類型的不同，決定了數據很多參數配置以及核心參數的調整也是不一樣的。在調整這些參數前，如果不明白實現的原理，只是根據經驗值去調整肯定是不行的，參數可以進行調整，比如減少事務表的長度，修改並發時程來減少鎖爭用等，如果不明白源碼裡面的實現方式，是沒有辦法去修改的，調整參數無法完成的個性化需求，可以通過源碼去實現。

如果商業數據庫比如oracle開放源碼，很多的核心原理得到確認，對於深入學習數據庫的人來說是個很大的財富，但是這是不可能實現的。mysql的開源化，對於學習mysql來說個很大的寶庫，從源碼里可以看出各個引擎的實現方式，而這些核心的原理在很多文檔里是看不到的。以前pub里有個大牛說過搞開源化的數據庫，如果看不懂源碼的話，只能在表面上做工作，搞幾年下來，基本就是靠運維，部署，高一些讀寫分離的架構層面的運維工作，不能稱其為專家。

作為MYsql DBA，如果精通源碼，對於數據庫的理解會深入很多，阿里也是從源碼上修改，可以支持自己的業務需求。MYSQL這幾年的發展也是靠很多的人根據自己的需要寫了很多分享行的代碼，可見開源化對於mysql的發展起到重要作用。優秀的DBA需要去閱讀一些代碼，當比較極端的業務需求需要去定製化數據庫的一些功能時，可以從源碼級別開發設計適合自己的引擎，mysql在引擎方面預留了很多的接口，可以進行個性化開發。目前我能了解的有網易研究院搞的TNT引擎。

2.怎樣閱讀InnoDB存儲引擎源碼；

接觸mysql也有幾年的時間，很多時候都是閱讀官方文檔，沒有真正的從源碼去分析和閱讀。以前閱讀過姜承堯的innodb引擎這本書，是從一些核心原理上進行講解，非常深入和精彩。要想InnoDB存儲引擎源碼需要C和C++的基礎，自己能夠編譯一些程序，確保在修改後能夠編譯成功。我看過InnoDB存儲引擎源碼，發現裡面的源碼量非常大，如果要通讀一遍的話，需要很長的時間，而且也非常枯燥，讀一些就難以堅持下去。

經過一段時間的積累，我感覺是從一些比較常見的問題去閱讀，比如讀寫，異步的實現，lock,latch，mutex的實現方式，還有內存管理的一些鏈表等去閱讀，每天抽時間讀一讀，就當是消遣一下。對於索引，實務，緩存等內核的源碼一點一點的去看，帶着理論知識去理解源碼，反過來用源碼的實現原理來糾正和補充理論知識，在這個過程中可以快速提高自己。

3.說說讀完試讀章節後您的感想？

這是本非常好的書，可以對着作者以前寫的innodb引擎的那本書一起結合看。試讀章節主要分享了兩章內容：

第一章是概括性的知識，介紹了INNODB存儲引擎的歷史，如果知道的同學可以直接略過，後續內容對於源碼的版本，風格，編譯的方式做了一些介紹，主要是給我們一個源碼閱讀的認識，對於作者分析的源碼方法十分認可，按照層次去閱讀，這樣可以非常容易的去理解。對於我們這些源碼分析的初學者來說可以按照作者的建議，進行按部就班的閱讀。

第二章介紹了一些INNODB存儲引擎的內存管理的實現，基本數據結構，對於後續做個鋪墊。以前都是直接學習理論，記住了這些的內容就可以了，現在從源碼角度可以去看看實現方式。這些內容如果前期學的比較深入的話，可以大體看看，如果對這些鏈表，內存管理方法不是很清楚的可以好好讀讀，畢竟這是深入學習的基礎。

這是分析源碼方式的卷1，後續期待作者更多精彩的內容分享。讓更多的人喜歡並且可以閱讀源碼，為開源化數據庫作出貢獻。

mysql內核源碼是什麼語言寫的

mysql的內存管理龐大而先進，這在mem0pool.c文件的開頭注釋中都有說明，粗略的可以分成四部分，包含9大塊：

buffer pool,

parsed andoptimized SQL statements,

data dictionarycache,

log buffer,

locks for eachtransaction,

hash table forthe adaptive index,

state andbuffers for each SQL query currently being executed,

session foreach user, and

stack for eachOS thread.

9大塊通過4部分進行管理

A solution tothe memory management:

1. the bufferpool size is set separately;

2. log buffersize is set separately;

3. the commonpool size for all the other entries, except 8, is set separately.

也就是緩衝池，redo日誌緩衝，普通池和8（用戶session信息，可看做一部分）

redo日誌緩衝由redo部分單獨管理，bufferpool也就是緩衝池是一個複雜的部分，內容很多，普通池上面說了，除了8，和1,2.其餘的都歸它管。上面這個結構就是mysql內存子系統的完整圖景。

所以說是c和c++寫的

如何查看mySQL的源代碼

給你個過來人的建議。兩個方式入手。

1、利用他。儘可能從大模塊開始，用你的代碼，去調用他。這是從功能特性角度，去理解各個模塊的作用。這非常容易加深你對應用它的理解。

2、在代碼中插入LOG，檢測代碼運行流程。

如果你只是靜態的看代碼，這個不現實的。

如果你想看一部分代碼。首先你要想辦法讓這套代碼RUN起來，如果你使用任何方式都無法讓這段代碼運行，我只能說，這段代碼沒有存在價值。為什麼在裡面，當然更大的可能是，你沒找到開啟它的方法。

動態分析法，是門學問。包括對運行態才出現BUG的系統進行DEBUG，當然不是GDB或者VC的F5模式。不過貌似學校沒有這類教學。很工程的東西。我也只是經驗所得。沒有系統的理論化。

例如一套系統，你在不改代碼的情況下，要能找到問題。甚至不能加LOG代碼，只能通過反饋判斷。不是不可能的。甚至有時必須這麼做。

能夠看懂MySQL源碼是一種怎麼樣的體驗？

首先mysql是c++開發的。

github地址：

很多大型軟件基本都是c/c++開發的。你會了c/c++基本就具備了領略程序世界的大門的鑰匙。

mysql是一個完善的數據庫軟件。

最上層：處理連接，授權認證，安全等

第二層：核心服務功能：查詢解析，分析，優化，緩存以及所有內置函數（日期，時間，數據，加密等），存儲過程，觸發器，視圖等。

第三層：存儲引擎，存儲引擎負責mysql中數據的存儲和提取。每個引擎各有優勢。服務器通過API與存儲引擎進行通信。接口屏蔽了不同引擎的差異，對上層的查詢過程透明。

你如果去讀它，你基本就可以深入到這些業務點中。然後獲取的提升絕對不是一星半點。你會發現開發一個web應用，開發一個中間件如此簡單。你獲取的是大神級工程師的開發思想，技巧。

舉個例子：MVCC ，innodb 隔離性實現的技術。

設計原理很簡單，也很巧妙。對數據安全和高並發做了平衡處理。

這個是單純學習計算機語言，算法數據結構給不了的體驗。

當前，你得能看的下去，你有那個恆心。吹牛逼就不要在這裡問了？

首先，能看懂 MySQL 源碼的人物，我感覺肯定在技術上是一位大牛，能夠將 C/C++ 語言的 MySQL 源碼看懂，肯定也是一位非常有耐心的技術人，能夠耐着性子去專研。 如果能夠將Mysql源碼研究的很透徹的話，我相信出去到大廠找數據庫內核開發的崗位時，絕對是一個非常巨大的優勢。

能看懂 Mysql 的源碼，首先第一點需要對 C/C++ 語言的知識點非常的熟悉，因為 MySQL 底層幾乎都是 C/C++ 語言寫的，比如指針等。 對於 MySQL 源碼能夠看得的話，我相信在和別人談論數據庫相關的問題時，其實也會更加有專業性和深度，能夠快速的理解對方所說的數據庫問題。

同時，如果對 MySQL 源碼有着很深入了解的話，其實對於數據庫的相關配置優化等也會掌握的更好，因為你對底層原理了解的很透徹，對於自己做的每一件事情都是有理有據。每個數據庫參數是什麼含義，為什麼要這樣設置，背後都有你自己的理解和原因。這對於公司來說，也是非常需要這樣的人才。

當初我校招的時候，其實準備想投數據庫開發相關的崗位，當時其實自己也自學過 MySQL 底層的原理（不過我沒有去研究過源碼）。 MySQL 最主要的還是底層可插拔式的存儲引擎，比如 InnoDB、MYISAM等，重點是 InnoDB存儲引擎。學習看 MySQL 源碼的話，我建議可以選擇其中一個模塊開始入手。

我剛開始看 《MySQL 技術內幕：InnoDB存儲引擎》 這本書的時候，上面講解的非常多的 MySQL InnoDB 的原理。先從原理知識入手，再去看源碼會更加好一些，因為你掌握了整體的代碼邏輯方向。說實話直接上手看 MySQL 源碼，將會是很難的一件事情。我相信那些能夠看懂 MySQL 源碼的人，肯定在看源碼之前，有一定的技術知識儲備。

新同學在去研究某一門開源技術組件的源碼時，不建議直接上手去看代碼，你應該是先去整體了解一下該技術組件的整體原理和框架，源碼層則是更加細節方面的實現，你應該帶着某一個問題去看，有針對性和目的性的去看源碼，這樣你的提升才會更加的快速。

我會持續大數據、數據庫方面的內容，如果你有任何問題，也歡迎關注私信我，我會認真解答每一個問題。期待您的關注

閱讀代碼，一般都是一件繁複的工作。程序員，只要工作需要、或有足夠的時間，都能夠勝任閱讀代碼的工作，特別是數據庫這類功能具體的系統。如果軟件的功能不確定，閱讀起來確實有莫名的困難。年輕時，得到“一套”Z80彙編碼，閑來無聊，嘗試閱讀，數周過去，不得要領。直到在一個忽略了的簡單文檔的闡述上下文中，意識到代碼可能是實現“導彈”穩定飛行的側滾控制系統時，閱讀中的問題瞬間都消失了。

拜託啦，我不只能看懂你的SQL，我還可以看懂VB、C++、數據庫我也看

Golang database/sql源碼分析

Gorm是Go語言開發用的比較多的一個ORM。它的功能比較全：

但是這篇文章中並不會直接看Gorm的源碼，我們會先從database/sql分析。原因是Gorm也是基於這個包來封裝的一些功能。所以只有先了解了database/sql包才能更加好的理解Gorm源碼。

database/sql 其實也是一個對於mysql驅動的上層封裝。”github.com/go-sql-driver/mysql”就是一個對於mysql的驅動，database/sql 就是在這個基礎上做的基本封裝包含連接池的使用

下面這個是最基本的增刪改查操作

操作分下面幾個步驟：

因為Gorm的連接池就是使用database/sql包中的連接池，所以這裡我們需要學習一下包里的連接池的源碼實現。其實所有連接池最重要的就是連接池對象、獲取函數、釋放函數下面來看一下database/sql中的連接池。

DB對象

獲取方法

釋放連接方法

連接池的實現有很多方法，在database/sql包中使用的是chan阻塞 使用map記錄等待列表，等到有連接釋放的時候再把連接傳入等待列表中的chan 不在阻塞返回連接。

之前我們看到的Redigo是使用一個chan 來阻塞，然後釋放的時候放入空閑列表，在往這一個chan中傳入struct{}{}，讓程序繼續 獲取的時候再從空閑列表中獲取。並且使用的是鏈表的結構來存儲空閑列表。

database/sql 是對於mysql驅動的封裝，然而Gorm則是對於database/sql的再次封裝。讓我們可以更加簡單的實現對於mysql數據庫的操作。