mysql數據庫之mvcc,mysql數據庫之間的訪問

本文目錄一覽：

• 1、Mysql到底是怎麼實現MVCC的
• 2、MySQL innodb引擎深入講解
• 3、MYSQL的事務隔離級別，MVCC，readView和版本鏈小結
• 4、Mysql隔離級別之MVCC的ReadView的理解
• 5、mysql mvcc

Mysql到底是怎麼實現MVCC的

Mysql到底是怎麼實現MVCC的

Mysql到底是怎麼實現MVCC的？這個問題無數人都在問，但google中並無答案，本文嘗試從Mysql源碼中尋找答案。

在Mysql中MVCC是在Innodb存儲引擎中得到支持的，Innodb為每行記錄都實現了三個隱藏字段：

6字節的事務ID（DB_TRX_ID ）

7字節的回滾指針（DB_ROLL_PTR）

隱藏的ID

6字節的事物ID用來標識該行所述的事務，7字節的回滾指針需要了解下Innodb的事務模型。

1. Innodb的事務相關概念

為了支持事務，Innbodb引入了下面幾個概念：

redo log

redo log就是保存執行的SQL語句到一個指定的Log文件，當Mysql執行recovery時重新執行redo log記錄的SQL操作即可。當客戶端執行每條SQL（更新語句）時，redo log會被首先寫入log buffer；當客戶端執行COMMIT命令時，log buffer中的內容會被視情況刷新到磁盤。redo log在磁盤上作為一個獨立的文件存在，即Innodb的log文件。

undo log

與redo log相反，undo log是為回滾而用，具體內容就是copy事務前的數據庫內容（行）到undo buffer，在適合的時間把undo buffer中的內容刷新到磁盤。undo buffer與redo buffer一樣，也是環形緩衝，但當緩衝滿的時候，undo buffer中的內容會也會被刷新到磁盤；與redo log不同的是，磁盤上不存在單獨的undo log文件，所有的undo log均存放在主ibd數據文件中（表空間），即使客戶端設置了每表一個數據文件也是如此。

rollback segment

回滾段這個概念來自Oracle的事物模型，在Innodb中，undo log被劃分為多個段，具體某行的undo log就保存在某個段中，稱為回滾段。可以認為undo log和回滾段是同一意思。

鎖

Innodb提供了基於行的鎖，如果行的數量非常大，則在高並發下鎖的數量也可能會比較大，據Innodb文檔說，Innodb對鎖進行了空間有效優化，即使並發量高也不會導致內存耗盡。

對行的鎖有分兩種：排他鎖、共享鎖。共享鎖針對對，排他鎖針對寫，完全等同讀寫鎖的概念。如果某個事務在更新某行（排他鎖），則其他事物無論是讀還是寫本行都必須等待；如果某個事物讀某行（共享鎖），則其他讀的事物無需等待，而寫事物則需等待。通過共享鎖，保證了多讀之間的無等待性，但是鎖的應用又依賴Mysql的事務隔離級別。

隔離級別

隔離級別用來限制事務直接的交互程度，目前有幾個工業標準：

– READ_UNCOMMITTED：臟讀

– READ_COMMITTED：讀提交

– REPEATABLE_READ：重複讀

– SERIALIZABLE：串行化

Innodb對四種類型都支持，臟讀和串行化應用場景不多，讀提交、重複讀用的比較廣泛，後面會介紹其實現方式。

2. 行的更新過程

下面演示下事務對某行記錄的更新過程：

1. 初始數據行

F1～F6是某行列的名字，1～6是其對應的數據。後面三個隱含字段分別對應該行的事務號和回滾指針，假如這條數據是剛INSERT的，可以認為ID為1，其他兩個字段為空。

2.事務1更改該行的各字段的值

當事務1更改該行的值時，會進行如下操作：

用排他鎖鎖定該行

MySQL innodb引擎深入講解

表空間(ibd文件),一個MySQL實例可以對應多個表空間，用於存儲記錄，索引等數據。

段，分為數據段、索引段、回滾段，innodb是索引組織表，數據段就是B+Tree的葉子節點，索引段為非葉子節點，段用來管理多個區。

區，表空間的單元結構，每個區的大小為1M,默認情況下，innodb存儲引擎頁大小為16K，即一個區中一共有64個連續的頁。

頁，是innodb存儲引擎磁盤管理的最小單元，每個頁的大小為16K，為了保證頁的連續性，innodb存儲引擎每次從磁盤申請4~5個區。

行，innodb存儲引擎數據是按行進行存儲的。Trx_id 最後一次事務操作的id、roll_pointer滾動指針。

i nnodb的內存結構 ，由Buffer Pool、Change Buffer和Log Buffer組成。

Buffer Pool : 緩衝池是主內存中的一個區域，裡面可以緩存磁盤上經常操作的真實數據，在執行增刪改查操作時，先操作緩衝池中的數據(若緩衝池么有數據，則從磁盤加載並緩存)，然後再以一定頻率刷新磁盤，從而減少磁盤IO，加快處理速度。

緩衝池以page頁為單位，底層採用鏈表數據結構管理page，根據狀態，將page分為三種類型:

1、free page 即空閑page，未被使用。

2、clean page 被使用page，數據沒有被修改過。

3、dirty page 臟頁，被使用page，數據被修改過，這個page當中的數據和磁盤當中的數據 不一致。說得簡單點就是緩衝池中的數據改了，磁盤中的沒改，因為還沒刷寫到磁盤。

Change Buffer ：更改緩衝區(針對於非唯一二級索引頁)，在執行DML語句時，如果這些數據page沒有在Buffer Pool中，不會直接操作磁盤，而會將數據變更存在更改緩衝區Change Buffer中，在未來數據被讀取時。再將數據合併恢復到Buffer Pool中，再將合併後的數據刷新到磁盤中。

二級索引通常是非唯一的，並且以相對隨機的順序插入二級索引頁，同樣，刪除和更新可能會影響索引樹中不相鄰的二級索引頁。如果每一次都操作磁盤，會造成大量磁盤IO，有了Change Buffer之後，我們可以在緩衝池中進行合併處理，減少磁盤IO。

Adaptive Hash Index： 自適應hash索引，用於優化對Buffer Pool數據的查詢，InnoDB存儲引擎會監控對錶上各索引頁的查詢，如果觀察到hash索引可以提升速度，則建立hash索引，稱之為自適應hash索引。無需人工干預，系統根據情況自動完成。

參數：innodb_adaptive_hash_index

Log Buffer: 日誌緩衝區，用來保存要寫入到磁盤中的log日誌數據(redo log、undo log)，默認大小為16M，日誌緩衝區的日誌會定期刷新到磁盤中，如果需要更新，插入或刪除許多行的事務，增加日誌緩衝區的大小可以節省磁盤IO。

參數: innodb_log_buffer_size 緩衝區大小

innodb_flush_log_at_trx_commit 日誌刷新到磁盤時機

innodb_flush_log_at_trx_commit=1 表示日誌在每次事務提交時寫入並刷新到磁盤

2 表示日誌在每次事務提交後寫入，並每秒刷新到磁盤一次

0 表示每秒將日誌寫入並刷新到磁盤一次。

InnoDB 的磁盤結構，由系統表空間(ibdata1)，獨立表空間(*.ibd),通用表空間，撤銷表空間(undo tablespaces), 臨時表空間(Temporary Tablespaces), 雙寫緩衝區(Doublewrite Buffer files), 重做日誌(Redo Log).

系統表空間(ibdata1)： 系統表空間是更改緩衝區的存儲區域，如果表是在系統表空間而不是每個表文件或者通用表空間中創建的，它也可能包含表和索引數據。

參數為: innodb_data_file_path

獨立表空間(*.ibd): 每個表的文件表空間包含單個innodb表的數據和索引，並存儲在文件系 統上的單個數據文件中。 參數: innodb_file_per_table

通用表空間: 需要通過create tablespace 語法創建，創建表時 可以指定該表空間。

create tablespace xxx add datafile ‘file_name’ engine=engine_name

create table table_name …. tablespace xxx

撤銷表空間(undo tablespaces): MySQL實例在初始化時會自動創建兩個默認的undo表空間(初始大小16K，undo_001,undo_002)，用於存儲undo log 日誌

臨時表空間(Temporary Tablespaces)： innodb使用會話臨時表空和全局表空間，存儲用 戶創建的臨時表等數據。

雙寫緩衝區(Doublewrite Buffer files)： innodb引擎將數據頁從Buffer Pool刷新到磁盤前，先將數據頁寫入緩衝區文件中，便於系統異常時恢複數據。

重做日誌(Redo Log)： 是用來實現事務的持久性，該日誌文件由兩部分組成，重做日誌緩衝區(redo log buffer)以及重做日誌文件(redo log)，前者是在內存中，後者在磁盤中，當事務提交之後會把修改信息都會存儲到該日誌中，用於在刷新臟頁到磁盤時，發送錯誤時，進行數據恢復使用。以循環方式寫入重做日誌文件，涉及兩個文件ib_logfile0,ib_logfile1。

那內存結構中的數據是如何刷新到磁盤中的? 在MySQL中有4個線程負責刷新日誌到磁盤。

1、Master Thread， mysql核心後台線程，負責調度其它線程，還負責將緩衝池中的數據異 步刷新到磁盤中，保持數據的一致性，還包括臟頁的刷新，合併插入緩衝、undo頁的回 收。

2、IO Thread，在innodb存儲引擎中大量使用了AIO來處理IO請求，這樣可以極大地提高數 據庫的性能，而IO Thead主要負責這些IO請求的回調。

4個讀線程 Read thread負責讀操作

4個寫線程write thread負責寫操作

1個Log thread線程 負責將日誌緩衝區刷新到磁盤

1個insert buffer線程 負責將寫入緩衝區內容刷新到磁盤

3、Purge Thread，主要用於回收事務已經提交了的undo log，在事務提交之後，undo log 可能不用了，就用它來回收。

4、Page Cleaner Thread， 協助Master Thread 刷新臟頁到磁盤的線程，它可以減輕主線程 的壓力，減少阻塞。

事務就是一組操作的集合，它是一個不可分割的工作單位，事務會把所有的操作作為一個整體一起向系統提交或撤銷操作請求，即這些操作要麼同時成功，要麼同時失效。

事務的4大特性分為:

如何保證事務的4大特性，原子性，一致性和持久性是由innodb存儲引擎底層的兩份日誌來保證的，分別是redo log和undo log。對於隔離性是由鎖機制和MVCC(多版本並發控制)來實現的。

redo log，稱為重做日誌，記錄的是事務提交時數據頁的物理修改，是用來實現事務的持久性。該日誌文件由兩部分組成: 重做日誌緩衝redo log buffer及重做日誌文件redo log file，前者是在內存中，後者是在磁盤中，當事務提交之後會把所有修改信息都存到該日誌文件中，用於在刷新臟頁到磁盤，發送錯誤時，進行數據的恢復使用，從而保證事務的持久性。

具體的操作流程是：

1、客戶端發起事務操作，包含多條DML語句。首先去innodb中的buffer pool中的數據頁去查找有沒有我們要更新的這些數據，如果沒有則通過後台線程從磁盤中加載到buffer pool對應的數據頁中，然後就可以在緩衝池中進行數據操作了。

2、此時緩衝池中的數據頁發生了變更，還沒刷寫到磁盤，這個數據頁稱為臟頁。臟頁不是實時刷新到磁盤的，而是根據你配置的刷寫策略進行刷寫到磁盤的（innodb_flush_log_at_trx_commit，0,1,2三個值）。如果臟頁在往磁盤刷新的時候出現了故障，會丟失數據，導致事務的持久性得不到保證。為了避免這種現象，當對緩衝池中的數據進行增刪改操作時，會把增刪改記錄到redo log buffer當中，redo log buffer會把數據頁的物理變更持久化到磁盤文件中(ib_logfile0/ib_logfile1)。如果臟頁刷新失敗，就可以通過這兩個日誌文件進行恢復。

undo log，它是用來解決事務的原子性的，也稱為回滾日誌。用於記錄數據被修改前的信息，作用包括:提供回滾和MVCC多版本並發控制。

undo log和redo log的記錄物理日誌不一樣，它是邏輯日誌。可以認為當delete一條記錄時，undo log中會記錄一條對應的insert記錄，當update一條記錄時，它記錄一條對應相反的update記錄，當執行rollback時，就可以從undo log中的邏輯記錄讀取到相應的內容並進行回滾。

undo log銷毀: undo log 在事務執行時產生，事務提交時，並不會立即刪除undo log，因為這些日子可能用於MVCC。

undo log存儲: undo log 採用段的方式進行管理和記錄，存放在前面介紹的rollback segment回滾段中，內部包含1024個undo log segment。

mvcc(multi-Version Concurrency Control),多版本並發控制，指維護一個數據的多個版本，使得讀寫操作沒有衝突，快照讀為MySQL實現MVCC提供了一個非阻塞讀功能，MVCC的具體實現，還需要依賴於數據庫記錄中的三個隱式字段，undo log日誌、readView。

read committed 每次select 都生成一個快照讀

repeatable read 開啟事務後第一個select語句才是快照讀的地方

serializable 快照讀會退化為當前讀。

mvcc的實現原理

DB_TRX_ID: 最近修改事務ID，記錄插入這條記錄或最後一次修改該記錄的事務ID

DB_ROLL_PTR: 回滾指針，指向這條記錄的上一個版本，用於配合undo log，指向上一個 版本

DB_ROW_ID: 隱藏主鍵，如果表結構沒有指定主鍵，將會生成該隱藏字段。

m_ids當前活躍的事務ID集合

min_trx_id: 最小活躍事務id

max_trx_id: 預分配事務ID，當前最大事務id+1，因為事務id是自增的

creator_trx_id: ReadView創建者的事務ID

版本鏈數據訪問規則:

trx_id: 表示當前的事務ID

1、trx_id == creator_trx_id? 可以訪問讀版本–成立的話,說明數據是當前這個事務更改的

2、trx_id 成立,說明數據已經提交了。

3、trx_idmax_trx_id？不可用訪問讀版本- 成立的話，說明該事務是在ReadView生成後才開啟的。

4、min_trx_id

MYSQL的事務隔離級別，MVCC，readView和版本鏈小結

MVCC(Mutil-Version Concurrency Control)，就是多版本並發控制。這種並發控制的方法，主要應用在RC和RR隔離級別的事務當中，利用執行select操作時，訪問記錄版本鏈，使得不同事物的讀寫，寫讀可以並發執行，提高系統性能。

Innodb 有兩個隱藏字段 trx_id(事務id)和roll_pointer(回滾指針)。

transaction id ：

innoDB裡面每個事務有一個唯一的事務ID，叫作transaction id，它是在事務開始的時候向InnoDB的事務系統申請的，是按申請順序嚴格遞增的。

roll_pointer ：

指向上一事務版本的指針。

版本鏈 ：

是一個單鏈表結構，對於同一行數據，每一個事務對其進行更新的時候都會產生一個新的版本，就會存儲在這個鏈表當中。

一個存儲事務id的列表。

readview的幾個參數：

m_ids:表示活躍事務id列表

min_trx_id:活躍事務中的最小事務id

max_trx_id:已創建的最大事務id

creator_trx_id:當前的事務id。

readview的生成時機：

RC隔離級別：每次讀取數據前，都生成一個readview；

RR隔離級別：在第一次讀取數據前，生成一個readview；

使用場景：

[ 創建事務節點 ] 當我創建一個新的事務需要讀取一行數據, 我會查詢活躍的事務列表; 假設我當前的事務id是200, 當前活躍的事務id沒有我的200, 因此需要去拷貝一個最新的不活躍事務並在版本鏈最後插入一個新節點200; mysql會去對比版本鏈和readView, 假設版本鏈數據為[1,50,100,150], 活躍列表為[100,150], 說明100和150都是未提交的活躍事務, 再向前一個節點50不在活躍事務列表說明事務50已經提交, 所以事務200拷貝事務50並插入版本鏈最後, 且將200追加到readView活躍列表的最後一個元素

[ 使用事務節點 ] 當我再次進行200號事務的查詢或修改, 我需要讀版本鏈的數據, 因為上一次操作已經在版本鏈做了200號節點, 因此我讀的數據都是200號節點的數據, 這樣就隔離了其他未提交的事務; 我的全部增刪查改都在200號版本鏈上進行

[ readView實現事務隔離級別 ]以上兩點都是基於隔離級別”讀已提交”來進行說明的; 當mysql設置為”可重複讀”時, 不同事務仍然是保存在版本鏈的不同節點上, 只不過新的事務創建的時候拷貝了當下的readView列表, 只要新事物不提交就一直使用這個拷貝的活躍列表; 假設此時100號數據提交了, 我在新事務執行了select 會去查活躍列表發現100號事務還是未提交狀態, 因此讀取到的還是50號事務提交的記錄。

原子性，一致性，隔離性，持久性。

未提交讀（read uncommitted）、提交讀（read committed）、可重複讀（repeatable read）、序列化讀（serializable）

Mysql隔離級別之MVCC的ReadView的理解

比較常用的兩種分別是讀已提交、可重複讀，那麼Mysql是如何保證多個事務讀取一條數據的隔離性的？

當我們讀取一條被其他事務變更的數據時,會在undo Log中產生一條變更前的日誌.這個日誌可以專門用於回滾。

我們大概來看一下這個日誌的大概結構:

前面三個字段屬於變更前的，另外：

trx_id : 代表是哪個事務編號修改的。

roll_pointer : 相當於一個鏈表，往下查找就是上一次更改前的。當一條數據被更改了多次之後，由該字段構建成一個鏈表俗稱 版本鏈 。

有了undo Log的話可以很快追溯到更改之前的數據，有了這個之後，假設多個事務都在讀同一條記錄，並且還發生了修改，這個時候

多版本並發控制，指的就是在使用讀提交和可重複讀隔離級別的事務，在執行普通select操作時，訪問記錄版本鏈的過程；使不同事務的讀寫、寫讀操作並發執行，提高系統性能；

基於當前活躍事務列表構成的ReadView，當某個事務創建ReadView時，會將當前活躍的事務也加入其中。

我們來看一下大概結構：

readview 中四個比較重要的概念：

m_ids ：表示在生成readview時，當前系統中 活躍的讀寫事務id列表 ；

min_trx_id ：表示在生成readview時，當前系統中活躍的讀寫事務中最小的事務id，也就是m_ids中最小的值；

max_trx_id ：表示生成readview時，系統中應該分配給下一個事務的id值；

creator_trx_id ：表示生成該readview的事務的事務id；

有了readview，在訪問某條記錄時，按照以下步驟判斷記錄的某個版本是否可見:

下面是對於同一條數據的多個事務讀取流程:

ReadView( 簡稱RV )一旦創建是不可變的，即便其中某個線程事務提交了，也不會影響當前線程創建的ReadView，你可以理解為一個副本快照。

總的來說判斷就三個條件:

基於上述規則，很好的解決了一致性讀的問題；當前線程創建完RV之後，讀到的數據都是相同的；不會讀到其他事務未提交和後提交的數據。

可重複讀的RV是以一個事務的開始和結束作為它的生命周期的

讀提交級別是能夠讀到其他事務提交的數據的，那麼這個時候上面的流程是不是滿足不了呀？因為假設ABC都在一個RV之中，C提交了數據，但是B看不到呀，因為條件2就滿足不了呀；

這個時候Mysql就把這個級別的RV做了調整， 每次讀取數據的時候會創建一個新的ReadView

當RV中的事務B提交了事務的時候，A每次會創建一個新的RV來查看數據版本，新的RV的m_ids肯定是不包含已經提交的事務B的，這個時候就能夠讀到事務B的數據了。

之前一直以為可重複讀沒有解決幻讀的問題，現在基於這個流程另外加上命令行調試之後發現應該是解決了的。

因為一旦創建RV的話，當前活躍事務快照已經生成，這個時候如果新來的事務或者快照內的事務新增了數據也不會讀到：

如有問題，歡迎留言交流。

mysql mvcc

MVCC (Multi Version Concurrency Control的簡稱)，代表多版本並發控制，用於支持RC(讀已提交)和RR(可重複讀)隔離級別的實現。在一個支持MVCC的並發系統中， 我們需要支持兩種讀， 一個是快照讀， 一個是當前讀。

MVCC最大的 優勢 ：讀不加鎖，讀寫不衝突。在讀多寫少的OLTP應用中，讀寫不衝突是非常重要的，極大的增加了系統的並發性能。

事務日誌可以幫助提高事務的效率。使用事務日誌，存儲引擎在修改表的數據時只需要修改其 內存拷貝 (可理解為緩存)，再把該修改行為記錄到持久在硬盤上的事務日誌中，而不用每次都將修改的數據本身持久到磁盤。事務日誌採用的是追加的方式，因此寫日誌的操作是磁盤上一小塊區域內的順序I/O，而不像隨機I/O需要在磁盤的多個地方移動磁頭，所以採用事務日誌的方式相對來說要快得多。事務日誌持久以後，內存中被修改的數據在後台可以慢慢地刷回到磁盤。目前大多數存儲引擎都是這樣實現的，我們通常稱之為預寫式日誌（Write-Ahead Logging），修改數據需要寫兩次磁盤。

如果數據的修改已經記錄到事務日誌並持久化，但數據本身還沒有寫回磁盤，此時系統崩潰，存儲引擎在重啟時能夠自動恢復這部分修改的數據。

MySQL Innodb中跟數據持久性、一致性有關的日誌，有以下幾種：

MVCC是通過在每行記錄後面保存兩個隱藏的列來實現的。這兩個列，一個保存了行的創建時間，一個保存行的刪除時間。當然存儲的並不是實際的時間值，而是系統版本號（system version number)。每開始一個新的事務， 系統版本號 都會自動遞增。事務開始時刻的系統版本號會作為事務的版本號，用來和查詢到的每行記錄的版本號進行比較。

下面看一下在RR隔離級別下，MVCC具體是如何操作的。

保存這兩個額外系統版本號，使大多數讀操作都可以不用加鎖。這樣設計使得讀數據操作很簡單，性能很好，並且也能保證只會讀取到符合標準的行，不足之處是每行記錄都需要額外的存儲空間，需要做更多的行檢查工作，以及一些額外的維護工作。

RC隔離級別下，其實整個過程幾乎一樣，只是每次select的時候，都會生成一個快照，即增加版本號。讀已提交就是在一次事務中，可以查詢到新提交的數據。