mysql數據庫之innodb(mysql數據庫之外還有什麼數據庫)

本文目錄一覽:

MySQL innodb引擎深入講解

表空間(ibd文件),一個MySQL實例可以對應多個表空間,用於存儲記錄,索引等數據。

段,分為數據段、索引段、回滾段,innodb是索引組織表,數據段就是B+Tree的葉子節點,索引段為非葉子節點,段用來管理多個區。

區,表空間的單元結構,每個區的大小為1M,默認情況下,innodb存儲引擎頁大小為16K,即一個區中一共有64個連續的頁。

頁,是innodb存儲引擎磁盤管理的最小單元,每個頁的大小為16K,為了保證頁的連續性,innodb存儲引擎每次從磁盤申請4~5個區。

行,innodb存儲引擎數據是按行進行存儲的。Trx_id 最後一次事務操作的id、roll_pointer滾動指針。

i nnodb的內存結構 ,由Buffer Pool、Change Buffer和Log Buffer組成。

Buffer Pool : 緩衝池是主內存中的一個區域,裡面可以緩存磁盤上經常操作的真實數據,在執行增刪改查操作時,先操作緩衝池中的數據(若緩衝池么有數據,則從磁盤加載並緩存),然後再以一定頻率刷新磁盤,從而減少磁盤IO,加快處理速度。

緩衝池以page頁為單位,底層採用鏈表數據結構管理page,根據狀態,將page分為三種類型:

1、free page 即空閑page,未被使用。

2、clean page 被使用page,數據沒有被修改過。

3、dirty page 臟頁,被使用page,數據被修改過,這個page當中的數據和磁盤當中的數據 不一致。說得簡單點就是緩衝池中的數據改了,磁盤中的沒改,因為還沒刷寫到磁盤。

Change Buffer :更改緩衝區(針對於非唯一二級索引頁),在執行DML語句時,如果這些數據page沒有在Buffer Pool中,不會直接操作磁盤,而會將數據變更存在更改緩衝區Change Buffer中,在未來數據被讀取時。再將數據合併恢復到Buffer Pool中,再將合併後的數據刷新到磁盤中。

二級索引通常是非唯一的,並且以相對隨機的順序插入二級索引頁,同樣,刪除和更新可能會影響索引樹中不相鄰的二級索引頁。如果每一次都操作磁盤,會造成大量磁盤IO,有了Change Buffer之後,我們可以在緩衝池中進行合併處理,減少磁盤IO。

Adaptive Hash Index: 自適應hash索引,用於優化對Buffer Pool數據的查詢,InnoDB存儲引擎會監控對錶上各索引頁的查詢,如果觀察到hash索引可以提升速度,則建立hash索引,稱之為自適應hash索引。無需人工干預,系統根據情況自動完成。

參數:innodb_adaptive_hash_index

Log Buffer: 日誌緩衝區,用來保存要寫入到磁盤中的log日誌數據(redo log、undo log),默認大小為16M,日誌緩衝區的日誌會定期刷新到磁盤中,如果需要更新,插入或刪除許多行的事務,增加日誌緩衝區的大小可以節省磁盤IO。

參數: innodb_log_buffer_size 緩衝區大小

innodb_flush_log_at_trx_commit 日誌刷新到磁盤時機

innodb_flush_log_at_trx_commit=1 表示日誌在每次事務提交時寫入並刷新到磁盤

2 表示日誌在每次事務提交後寫入,並每秒刷新到磁盤一次

0 表示每秒將日誌寫入並刷新到磁盤一次。

InnoDB 的磁盤結構,由系統表空間(ibdata1),獨立表空間(*.ibd),通用表空間,撤銷表空間(undo tablespaces), 臨時表空間(Temporary Tablespaces), 雙寫緩衝區(Doublewrite Buffer files), 重做日誌(Redo Log).

系統表空間(ibdata1): 系統表空間是更改緩衝區的存儲區域,如果表是在系統表空間而不是每個表文件或者通用表空間中創建的,它也可能包含表和索引數據。

參數為: innodb_data_file_path

獨立表空間(*.ibd): 每個表的文件表空間包含單個innodb表的數據和索引,並存儲在文件系 統上的單個數據文件中。 參數: innodb_file_per_table

通用表空間: 需要通過create tablespace 語法創建,創建表時 可以指定該表空間。

create tablespace xxx add datafile ‘file_name’ engine=engine_name

create table table_name …. tablespace xxx

撤銷表空間(undo tablespaces): MySQL實例在初始化時會自動創建兩個默認的undo表空間(初始大小16K,undo_001,undo_002),用於存儲undo log 日誌

臨時表空間(Temporary Tablespaces): innodb使用會話臨時表空和全局表空間,存儲用 戶創建的臨時表等數據。

雙寫緩衝區(Doublewrite Buffer files): innodb引擎將數據頁從Buffer Pool刷新到磁盤前,先將數據頁寫入緩衝區文件中,便於系統異常時恢複數據。

重做日誌(Redo Log): 是用來實現事務的持久性,該日誌文件由兩部分組成,重做日誌緩衝區(redo log buffer)以及重做日誌文件(redo log),前者是在內存中,後者在磁盤中,當事務提交之後會把修改信息都會存儲到該日誌中,用於在刷新臟頁到磁盤時,發送錯誤時,進行數據恢復使用。以循環方式寫入重做日誌文件,涉及兩個文件ib_logfile0,ib_logfile1。

那內存結構中的數據是如何刷新到磁盤中的? 在MySQL中有4個線程負責刷新日誌到磁盤。

1、Master Thread, mysql核心後台線程,負責調度其它線程,還負責將緩衝池中的數據異 步刷新到磁盤中,保持數據的一致性,還包括臟頁的刷新,合併插入緩衝、undo頁的回 收。

2、IO Thread,在innodb存儲引擎中大量使用了AIO來處理IO請求,這樣可以極大地提高數 據庫的性能,而IO Thead主要負責這些IO請求的回調。

4個讀線程 Read thread負責讀操作

4個寫線程write thread負責寫操作

1個Log thread線程 負責將日誌緩衝區刷新到磁盤

1個insert buffer線程 負責將寫入緩衝區內容刷新到磁盤

3、Purge Thread,主要用於回收事務已經提交了的undo log,在事務提交之後,undo log 可能不用了,就用它來回收。

4、Page Cleaner Thread, 協助Master Thread 刷新臟頁到磁盤的線程,它可以減輕主線程 的壓力,減少阻塞。

事務就是一組操作的集合,它是一個不可分割的工作單位,事務會把所有的操作作為一個整體一起向系統提交或撤銷操作請求,即這些操作要麼同時成功,要麼同時失效。

事務的4大特性分為:

如何保證事務的4大特性,原子性,一致性和持久性是由innodb存儲引擎底層的兩份日誌來保證的,分別是redo log和undo log。對於隔離性是由鎖機制和MVCC(多版本並發控制)來實現的。

redo log,稱為重做日誌,記錄的是事務提交時數據頁的物理修改,是用來實現事務的持久性。該日誌文件由兩部分組成: 重做日誌緩衝redo log buffer及重做日誌文件redo log file,前者是在內存中,後者是在磁盤中,當事務提交之後會把所有修改信息都存到該日誌文件中,用於在刷新臟頁到磁盤,發送錯誤時,進行數據的恢復使用,從而保證事務的持久性。

具體的操作流程是:

1、客戶端發起事務操作,包含多條DML語句。首先去innodb中的buffer pool中的數據頁去查找有沒有我們要更新的這些數據,如果沒有則通過後台線程從磁盤中加載到buffer pool對應的數據頁中,然後就可以在緩衝池中進行數據操作了。

2、此時緩衝池中的數據頁發生了變更,還沒刷寫到磁盤,這個數據頁稱為臟頁。臟頁不是實時刷新到磁盤的,而是根據你配置的刷寫策略進行刷寫到磁盤的(innodb_flush_log_at_trx_commit,0,1,2三個值)。如果臟頁在往磁盤刷新的時候出現了故障,會丟失數據,導致事務的持久性得不到保證。為了避免這種現象,當對緩衝池中的數據進行增刪改操作時,會把增刪改記錄到redo log buffer當中,redo log buffer會把數據頁的物理變更持久化到磁盤文件中(ib_logfile0/ib_logfile1)。如果臟頁刷新失敗,就可以通過這兩個日誌文件進行恢復。

undo log,它是用來解決事務的原子性的,也稱為回滾日誌。用於記錄數據被修改前的信息,作用包括:提供回滾和MVCC多版本並發控制。

undo log和redo log的記錄物理日誌不一樣,它是邏輯日誌。可以認為當delete一條記錄時,undo log中會記錄一條對應的insert記錄,當update一條記錄時,它記錄一條對應相反的update記錄,當執行rollback時,就可以從undo log中的邏輯記錄讀取到相應的內容並進行回滾。

undo log銷毀: undo log 在事務執行時產生,事務提交時,並不會立即刪除undo log,因為這些日子可能用於MVCC。

undo log存儲: undo log 採用段的方式進行管理和記錄,存放在前面介紹的rollback segment回滾段中,內部包含1024個undo log segment。

mvcc(multi-Version Concurrency Control),多版本並發控制,指維護一個數據的多個版本,使得讀寫操作沒有衝突,快照讀為MySQL實現MVCC提供了一個非阻塞讀功能,MVCC的具體實現,還需要依賴於數據庫記錄中的三個隱式字段,undo log日誌、readView。

read committed 每次select 都生成一個快照讀

repeatable read 開啟事務後第一個select語句才是快照讀的地方

serializable 快照讀會退化為當前讀。

mvcc的實現原理

DB_TRX_ID: 最近修改事務ID,記錄插入這條記錄或最後一次修改該記錄的事務ID

DB_ROLL_PTR: 回滾指針,指向這條記錄的上一個版本,用於配合undo log,指向上一個 版本

DB_ROW_ID: 隱藏主鍵,如果表結構沒有指定主鍵,將會生成該隱藏字段。

m_ids當前活躍的事務ID集合

min_trx_id: 最小活躍事務id

max_trx_id: 預分配事務ID,當前最大事務id+1,因為事務id是自增的

creator_trx_id: ReadView創建者的事務ID

版本鏈數據訪問規則:

trx_id: 表示當前的事務ID

1、trx_id == creator_trx_id? 可以訪問讀版本–成立的話,說明數據是當前這個事務更改的

2、trx_id 成立,說明數據已經提交了。

3、trx_idmax_trx_id?不可用訪問讀版本- 成立的話,說明該事務是在ReadView生成後才開啟的。

4、min_trx_id

MYSQL中InnoDB是什麼?

innodb是mysql數據庫的一種存儲引擎。此外還有好幾種存儲引擎。如myisam,merge,

memory,

berkeleydb,

csv,

archive

……

不同存儲引擎所支持的數據庫性能有所不同。如innodb支持事務,而默認的

myisam是不支持的

程序員面試寶典之Mysql數據庫Innodb引擎的4個隔離級別

題目:請闡述Mysql Innodb引擎的4個隔離級別

難度:三星

面試頻率:五星

這道題真的是一道數據庫的高頻題,數據庫題除了索引的原理之外就是這道題的面試頻率最高。

1.Read uncommitted(讀未提交):,最低的隔離級別,可以一個事務讀到其他事務沒有提交的數據,也稱臟讀,這個隔離級別很少人用

2.Read committed(讀已提交):相比於讀未提交,這個隔離級別只能讀到其他事物已經提交了的數據,這個隔離級別用得比較多。但是不是Mysql默認的隔離級別

3.Repeatable read(可重複讀): 在讀已提交隔離級別中,2次讀取同一個變量如果其他事務修改了它的值,會讀到的不一樣。而在這個隔離級別中,顧名思義,一個事務開始讀了。多次讀到的值可以保證是一樣的

4.Serializable 序列化 在這個隔離級別下,所有的事務都將串行操作,是隔離級別最高的也是效率最低的,很少人用

面試官追問:Innodb引擎默認隔離級別是哪個

答:可重複讀

面試官追問:可重複讀的實現原理

答:使用了MVCC多版本控制(類似樂觀鎖),Innodb引擎會給每一行數據加一個版本號信息,當一個事務修改一個數據時會增加它的版本號+1,當一個事務開始的時候會緩存下此時的版本號,後面讀取的時候只會讀取這個版本號的數據,因此別的事務提交了修改數據的版本號大於它,因此不會被讀到

面試官追問:事務的隔離級別如何設置:

答:在Mysql命令行下調用命令 set global.tx_isolation,但這樣Mysql重啟失效,修改my.cnf來永久設置

面試官追問:可重讀讀有什麼問題

答:會出現幻讀,幻讀是指事務讀取到一個值無法準確繼續後續操作。例如讀取一個值,沒有則插入,但是等插入的時候其他事務已經插入了,這就會導致插入失敗,解決辦法:sql語句顯示加鎖 :select xxxx for update,其他事務修改數據則會阻塞

原創文章,作者:XGJTM,如若轉載,請註明出處:https://www.506064.com/zh-hant/n/128778.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
XGJTM的頭像XGJTM
上一篇 2024-10-03 23:25
下一篇 2024-10-03 23:25

相關推薦

  • 如何修改mysql的端口號

    本文將介紹如何修改mysql的端口號,方便開發者根據實際需求配置對應端口號。 一、為什麼需要修改mysql端口號 默認情況下,mysql使用的端口號是3306。在某些情況下,我們需…

    編程 2025-04-29
  • Python 常用數據庫有哪些?

    在Python編程中,數據庫是不可或缺的一部分。隨着互聯網應用的不斷擴大,處理海量數據已成為一種趨勢。Python有許多成熟的數據庫管理系統,接下來我們將從多個方面介紹Python…

    編程 2025-04-29
  • openeuler安裝數據庫方案

    本文將介紹在openeuler操作系統中安裝數據庫的方案,並提供代碼示例。 一、安裝MariaDB 下面介紹如何在openeuler中安裝MariaDB。 1、更新軟件源 sudo…

    編程 2025-04-29
  • Python操作MySQL

    本文將從以下幾個方面對Python操作MySQL進行詳細闡述: 一、連接MySQL數據庫 在使用Python操作MySQL之前,我們需要先連接MySQL數據庫。在Python中,我…

    編程 2025-04-29
  • 數據庫第三範式會有刪除插入異常

    如果沒有正確設計數據庫,第三範式可能導致刪除和插入異常。以下是詳細解釋: 一、什麼是第三範式和範式理論? 範式理論是關係數據庫中的一個規範化過程。第三範式是範式理論中的一種常見形式…

    編程 2025-04-29
  • MySQL遞歸函數的用法

    本文將從多個方面對MySQL遞歸函數的用法做詳細的闡述,包括函數的定義、使用方法、示例及注意事項。 一、遞歸函數的定義 遞歸函數是指在函數內部調用自身的函數。MySQL提供了CRE…

    編程 2025-04-29
  • leveldb和unqlite:兩個高性能的數據庫存儲引擎

    本文將介紹兩款高性能的數據庫存儲引擎:leveldb和unqlite,並從多個方面對它們進行詳細的闡述。 一、leveldb:輕量級的鍵值存儲引擎 1、leveldb概述: lev…

    編程 2025-04-28
  • Python怎麼導入數據庫

    Python是一種高級編程語言。它具有簡單、易讀的語法和廣泛的庫,讓它成為一個靈活和強大的工具。Python的數據庫連接類型可以多種多樣,其中包括MySQL、Oracle、Post…

    編程 2025-04-28
  • MySQL bigint與long的區別

    本文將從數據類型定義、存儲空間、數據範圍、計算效率、應用場景五個方面詳細闡述MySQL bigint與long的區別。 一、數據類型定義 bigint在MySQL中是一種有符號的整…

    編程 2025-04-28
  • MySQL左連接索引不生效問題解決

    在MySQL數據庫中,經常會使用左連接查詢操作,但是左連接查詢中索引不生效的情況也比較常見。本文將從多個方面探討MySQL左連接索引不生效問題,並給出相應的解決方法。 一、索引的作…

    編程 2025-04-28

發表回復

登錄後才能評論