本文目錄一覽：
mysql之表分區
分區介紹：
一、什麼是分區？
所謂分區，就是將一個表分成多個區塊進行操作和保存，從而降低每次操作的數據，提高性能。而對於應用來說則是透明的，從邏輯上看只有一張表，但在物理上這個表可能是由多個物理分區組成的，每個分區都是獨立的對象，可以進行獨立處理。
二、分區作用
1.可以邏輯數據分割，分割數據能夠有多個不同的物理文件路徑。
2.可以存儲更多的數據，突破系統單個文件最大限制。
3.提升性能，提高每個分區的讀寫速度，提高分區範圍查詢的速度。
4.可以通過刪除相關分區來快速刪除數據
5.通過跨多個磁碟來分散數據查詢，從而提高磁碟I/O的性能。
6.涉及到例如SUM()、COUNT()這樣聚合函數的查詢，可以很容易的進行並行處理。
7.可以備份和恢復獨立的分區，這對大數據量很有好處。
三、分區能支持的引擎
MySQL支持大部分引擎創建分區，入MyISAM、InnoDB等；不支持MERGE和CSV等來創建分區。同一個分區表中的所有分區必須是同一個存儲引擎。值得注意的是，在MySQL8版本中，MyISAM表引擎不支持分區。
四、確認MySQL支持分區
從MySQL5.1開始引入分區功能，可以如下方式查看是否支持：
老版本用：SHOW VARIABLES LIKE ‘%partition%’;
新版本用：show plugins;
五、分區類型
1. RANGE分區：基於屬於一個給定連續區間的列值，把多行分配給分區。
例如，可以將一個表通過年份劃分成兩個分區，2001 -2010年、2011-2020。
2. LIST分區：類似於RANGE分區，LIST是列值匹配一個離散值集合中的某個值來進行選擇。
比如 根據欄位 把值為1、3、5的放到一起，2、4、6的另外放到一起 等等…
3. HASH分區：基於用戶定義的表達式的返回值來進行選擇分區，該表達式使用將要插入到表中的這些行的列值來進行計算，這個函數必須產生非負整數值。
通過HASH運算來進行分區，分布的比較均勻
4. KEY分區：類似於按HASH分區，由MySQL伺服器提供其自身的哈希函數。
按照KEY進行分區類似於按照HASH分區
六、使用分區注意事項
1. 如果表中存在primary key 或者 unique key 時，分區的列必須是paimary key或者unique key的一個組成部分，也就是說，分區函數的列只能從pk或者uk這些key中取子集
2. 如果表中不存在任何的paimary key或者unique key，則可以指定任何一個列作為分區列
3. 5.5版本前的RANGE、LIST、HASH分區要求分區鍵必須是int；MySQL5.5及以上，支持非整形的RANGE和LIST分區，即：range columns 和 list columns (可以用字元串來進行分區)。
七、分區命名
1. 分區的名字基本上遵循其他MySQL 標識符應當遵循的原則，例如用於表和資料庫名字的標識符。應當注意的是，分區的名字是不區分大小寫的。
2. 無論使用何種類型的分區，分區總是在創建時就自動的順序編號，且從0開始記錄。
八、 創建分區
1. RANGE分區：
解讀：以上為 uuid小於5時放到p0分區下，uuid大於5且小於10放到p1分區下，uuid大於10且小於15放到p2分區下，uuid大於15 一直到最大值的存在p3分區下
2. LIST分區：
解讀：以上為uuid 等於1/2/3/5時放到p0分區，7/9/10放到p1分區，11/15放到p2分區。當時用insert into時 如果uuid的值不存在p0/p1/p2分區時，則會插入失敗而報錯。
3. HASH分區:
HASH分區主要用來確保數據在預先確定數目的分區中平均分布。在RANGE分區和LIST分區中必須明確指定一個指定的列值或列值集合以指定應該保存在哪個分區中。而在HASH分區中，MySQL會自動完成這些工作，要做的只是基於將要被哈希的列值指定一個表達式，以及指定被分區的表將要被分割成的分區數量，如：
解讀：MySQL自動創建3個分區，在執行insert into時，根據插入的uuid通過演算法來自動分配區間。
注意：
(1) 由於每次插入、更新、刪除一行，這個表達式都要計算一次，這意味著非常複雜的表達式可能會引起性能問題，尤其是在執行同時影響大量行的運算（例如批量插入）的時候。
(2) 最有效率的哈希函數是只對單個表列進行計算，並且它的值隨列值進行一致的增大或減小，因為這考慮了在分區範圍上的「修剪」。也就是說，表達式值和它所基於的列的值變化越接近，就越能有效地使用該表達式來進行HASH分區。
3.1：線性HASH分區
線性HASH分區在「PARTITION BY」子句中添加「LINEAR」關鍵字。
線性HASH分區的有點在於增加、刪除、合併和拆分分區將變得更加快捷，有利於處理含有及其大量數據的表。它的缺點在於各個分區間數據的分布不大可能均衡。
4. KEY分區
類似於HASH分區，HASH分區允許用戶自定義的表達式，而KEY分區則不允許使用用戶自定義的表達式；HASH分區只支持整數分區，KEY分區支持除了blob和text類型之外的其他數據類型分區。
與HASH分區不同，創建KEY分區表的時候，可以不指定分區鍵，默認會選擇使用主鍵或唯一鍵作為分區鍵，沒有主鍵或唯一鍵，就必須指定分區鍵。
解讀：根據分區鍵來進行分區
5. 子分區
子分區是分區表中，每個分區的再次分割，適合保存非常大量的數據。
解讀：主分區使用RANGE按照年來進行分區，有3個RANGE分區。這3個分區中又被進一步分成了2個子分區，實際上，整個表被分成了3 * 2 = 6個分區。每個子分區按照天進行HASH分區。小於2017的放在一起，2017-2020的放在一起，大於2020的放在一起。
注意：
(1) 在MySQL5.1中，對於已經通過RANGE或LIST分區了的表在進行子分區是可能的。子分區既可以使用HASH分區，也可以使用KEY分區。這也被稱為複合分區。
(2) 每個分區必須有相同數量的子分區。
(3) 如果在一個分區表上的任何分區上使用SUBPARTITION來明確定義任何子分區，那麼就必須定義所有的子分區。
(4) 每個SUBPARTITION子句必須包含（至少）子分區的一個名字。
(5) 在每個子分區內，子分區的名字必須是惟一的，目前在整個表中，也要保持唯一。例如：
子分區可以用於特別大的表，可以在多個磁碟間分配數據和索引。例如：
九、MySQL分區處理NULL值的方式
十、分區管理概述
可以對分區進行添加、刪除、重新定義、合併或拆分等管理操作。
① RANGE和LIST分區的管理
1. 刪除分區語句如：alter table tbl_test drop partition p0;
注意：
(1) 當刪除了一個分區，也同時刪除了該分區中所有的數據。
(2) 可以通過show create table tbl_test;來查看新的創建表的語句。
(3) 如果是LIST分區的話，刪除的數據不能新增進來，因為這些行的列值包含在已經刪除了的分區的值列表中。
2. 添加分區語句如：alter table tbl_test add partition(partition p3 values less than(50));
注意：
(1) 對於RANGE分區的表，只可以添加新的分區到分區列表的最高端。
(2) 對於LIST分區的表，不能添加已經包含在現有分區值列表中的任意值。
3. 如果希望能不丟失數據的條件下重新定義分區，可以使用如下語句：
REORGANIZE會對分區的數據進行重構。
ALTER TABLE tbl_name REORGANIZE PARTITION partition_list INTO(partition_definitions)
(1) 拆分分區如：
ALTER TABLE tbl_name REORGANIZE PARTITION partition_list INTO(partition s0 values less than(5),partition s1 values less than(10));
或者如：
ALTER TABLE tbl_name REORGANIZE PARTITION p0 INTO(partition s0 values in(1,2,3), partition s1 values in(4,5));
(2) 合併分區如：ALTER TABLE tbl_name REORGANIZE PARTITION s0,s1 INTO(partition p0 values in(1,2,3,4,5));
4. 刪除所有分區，但保留數據，形式：ALTER TABLE tbl_name remove partitioning;
② HASH和KEY分區的管理
1. 減少分區數量語句如：ALTER TABLE tbl_name COALESCE PARTITION 2;
2. 添加分區數量語句如：ALTER TABLE tbl_name add PARTITION partitions 2;
③ 其他分區管理語句
1. 重建分區：類似於先刪除保存在分區中的所有記錄，然後重新插入它們，可用於整理分區碎片。如：ALTER table tbl_name REBUILD PARTITION p2,p3;
2. 優化分區：如果從分區中刪除了大量的行，或者對一個帶有可變長度的行（也就是說，有VARCHAR，BLOB或TEXT類型的列）做了許多修改，可以使用 ALTER TABLE tbl_name OPTIMIZE PARTITION來收回沒有使用的空間，並整理分區數據文件的碎片。如：ALTER TABLE tbl_name OPTIMIZE PARTITION p2,p3;
3. 分析分區：讀取並保存分區的鍵分布，如：ALTER TABLE tbl_name ANALYZE PARTITION p2,p3;
4. 檢查分區：檢查分區中的數據或索引是否已經被破壞，如：ALTER TABLE tbl_name CHECK PARTITION p2,p3;
5. 修補分區：修補被破壞的分區，如：ALTER TABLE tbl_name REPAIR PARTITION p2,p3;
十、查看分區信息
1. 查看分區信息：select * from information_schema.partitions where table_schema=’arch1′ and table_name = ‘tbl_test’ G;
2. 查看分區上的數據：select * from tbl_test partition(p0);
3. 查看MySQL會操作的分區：explain partitions select * from tbl_test where uuid = 2;
十一、 局限性
1. 最大分區數目不能超過1024，一般建議對單表的分區數不要超過50個。
2. 如果含有唯一索引或者主鍵，則分區列必須包含在所有的唯一索引或者主鍵在內。
3. 不支持外鍵。
4. 不支持全文索引，對分區表的分區鍵創建索引，那麼這個索引也將被分區。
5. 按日期進行分區很合適，因為很多日期函數可以用。但是對字元串來說合適的分區函數不太多。
6. 只有RANGE和LIST分區能進行子分區，HASH和KEY分區不能進行子分區。
7. 臨時表不能被分區。
8. 分區表對於單條記錄的查詢沒有優勢。
9. 要注意選擇分區的成本，沒插入一行數據都需要按照表達式篩選插入的分區。
10. 分區欄位盡量不要可以為null
MySQL 表數據分區，每10000條數據自動分區
ql代碼
#這裡使用HASH表分區，mysql會根據HASH欄位來自動分配數據到不同的表分區，這種情況適用於沒有表分區規則但是有需要分表來進行查詢優化的情況。這裡根據id欄位hash規則創建2個表分區
CREATE TABLE `creater_bak` (
`id` int(11) NOT NULL,
`name` varchar(100) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
PARTITION BY HASH(id) PARTITIONS 2
創建完成後開始導入原表數據：
Sql代碼
insert into creater_bak select * from creater;
導入以後的新表數據就是分布在不同的2個表分區中了。
如果數據量非常大，覺得預設的表分區數量太少，那麼可以新增表分區，mysql會自動重新分配：
Sql代碼
#這裡新增8個表分區，加上新建表時候的2個，一共10個表分區了
ALTER TABLE `creater_bak` ADD PARTITION PA
MySQL資料庫性能優化之分區分表分庫
分表是分散資料庫壓力的好方法。
分表，最直白的意思，就是將一個表結構分為多個表，然後，可以再同一個庫里，也可以放到不同的庫。
當然，首先要知道什麼情況下，才需要分表。個人覺得單表記錄條數達到百萬到千萬級別時就要使用分表了。
分表的分類
**1、縱向分表**
將本來可以在同一個表的內容，人為劃分為多個表。（所謂的本來，是指按照關係型資料庫的第三範式要求，是應該在同一個表的。）
分表理由：根據數據的活躍度進行分離，（因為不同活躍的數據，處理方式是不同的）
案例：
對於一個博客系統，文章標題，作者，分類，創建時間等，是變化頻率慢，查詢次數多，而且最好有很好的實時性的數據，我們把它叫做冷數據。而博客的瀏覽量，回複數等，類似的統計信息，或者別的變化頻率比較高的數據，我們把它叫做活躍數據。所以，在進行資料庫結構設計的時候，就應該考慮分表，首先是縱向分表的處理。
這樣縱向分表後：
首先存儲引擎的使用不同，冷數據使用MyIsam 可以有更好的查詢數據。活躍數據，可以使用Innodb ,可以有更好的更新速度。
其次，對冷數據進行更多的從庫配置，因為更多的操作時查詢，這樣來加快查詢速度。對熱數據，可以相對有更多的主庫的橫向分表處理。
其實，對於一些特殊的活躍數據，也可以考慮使用memcache ,redis之類的緩存，等累計到一定量再去更新資料庫。或者mongodb 一類的nosql 資料庫，這裡只是舉例，就先不說這個。
**2、橫向分表**
字面意思，就可以看出來，是把大的表結構，橫向切割為同樣結構的不同表，如，用戶信息表，user_1,user_2等。表結構是完全一樣，但是，根據某些特定的規則來劃分的表，如根據用戶ID來取模劃分。
分表理由：根據數據量的規模來劃分，保證單表的容量不會太大，從而來保證單表的查詢等處理能力。
案例：同上面的例子，博客系統。當博客的量達到很大時候，就應該採取橫向分割來降低每個單表的壓力，來提升性能。例如博客的冷數據表，假如分為100個表，當同時有100萬個用戶在瀏覽時，如果是單表的話，會進行100萬次請求，而現在分表後，就可能是每個表進行1萬個數據的請求（因為，不可能絕對的平均，只是假設），這樣壓力就降低了很多很多。
延伸：為什麼要分表和分區？
日常開發中我們經常會遇到大表的情況，所謂的大表是指存儲了百萬級乃至千萬級條記錄的表。這樣的表過於龐大，導致資料庫在查詢和插入的時候耗時太長，性能低下，如果涉及聯合查詢的情況，性能會更加糟糕。分表和表分區的目的就是減少資料庫的負擔，提高資料庫的效率，通常點來講就是提高表的增刪改查效率。
什麼是分表？
分表是將一個大表按照一定的規則分解成多張具有獨立存儲空間的實體表，我們可以稱為子表，每個表都對應三個文件，MYD數據文件，.MYI索引文件，.frm表結構文件。這些子表可以分布在同一塊磁碟上，也可以在不同的機器上。app讀寫的時候根據事先定義好的規則得到對應的子表名，然後去操作它。
什麼是分區？
分區和分表相似，都是按照規則分解表。不同在於分表將大表分解為若干個獨立的實體表，而分區是將數據分段劃分在多個位置存放，可以是同一塊磁碟也可以在不同的機器。分區後，表面上還是一張表，但數據散列到多個位置了。app讀寫的時候操作的還是大表名字，db自動去組織分區的數據。
**MySQL分表和分區有什麼聯繫呢？**
1、都能提高mysql的性高，在高並髮狀態下都有一個良好的表現。
2、分表和分區不矛盾，可以相互配合的，對於那些大訪問量，並且表數據比較多的表，我們可以採取分表和分區結合的方式（如果merge這種分表方式，不能和分區配合的話，可以用其他的分表試），訪問量不大，但是表數據很多的表，我們可以採取分區的方式等。
3、分表技術是比較麻煩的，需要手動去創建子表，app服務端讀寫時候需要計運算元表名。採用merge好一些，但也要創建子表和配置子表間的union關係。
4、表分區相對於分表，操作方便，不需要創建子表。
我們知道對於大型的互聯網應用，資料庫單表的數據量可能達到千萬甚至上億級別，同時面臨這高並發的壓力。Master-Slave結構只能對資料庫的讀能力進行擴展，寫操作還是集中在Master中，Master並不能無限制的掛接Slave庫，如果需要對資料庫的吞吐能力進行進一步的擴展，可以考慮採用分庫分表的策略。
**1、分表**
在分表之前，首先要選中合適的分表策略（以哪個字典為分表欄位，需要將數據分為多少張表），使數據能夠均衡的分布在多張表中，並且不影響正常的查詢。在企業級應用中，往往使用org_id(組織主鍵)做為分表欄位，在互聯網應用中往往是userid。在確定分表策略後，當數據進行存儲及查詢時，需要確定到哪張表裡去查找數據，
數據存放的數據表 = 分表欄位的內容 % 分表數量
**2、分庫**
分表能夠解決單表數據量過大帶來的查詢效率下降的問題，但是不能給資料庫的並發訪問帶來質的提升，面對高並發的寫訪問，當Master無法承擔高並發的寫入請求時，不管如何擴展Slave伺服器，都沒有意義了。我們通過對資料庫進行拆分，來提高資料庫的寫入能力，即所謂的分庫。分庫採用對關鍵字取模的方式，對資料庫進行路由。
數據存放的資料庫=分庫欄位的內容%資料庫的數量
**3、即分表又分庫**
資料庫分表可以解決單表海量數據的查詢性能問題，分庫可以解決單台資料庫的並發訪問壓力問題。
當資料庫同時面臨海量數據存儲和高並發訪問的時候，需要同時採取分表和分庫策略。一般分表分庫策略如下：
中間變數 = 關鍵字%（資料庫數量*單庫數據表數量）
庫 = 取整（中間變數/單庫數據表數量）
表 = （中間變數%單庫數據表數量）
實例：
1、分庫分表
很明顯，一個主表（也就是很重要的表，例如用戶表）無限制的增長勢必嚴重影響性能，分庫與分表是一個很不錯的解決途徑，也就是性能優化途徑，現在的案例是我們有一個1000多萬條記錄的用戶表members,查詢起來非常之慢，同事的做法是將其散列到100個表中，分別從members0到members99，然後根據mid分發記錄到這些表中，牛逼的代碼大概是這樣子：
複製代碼 代碼如下:
?php
for($i=0;$i 100; $i++ ){
//echo “CREATE TABLE db2.members{$i} LIKE db1.members
“;
echo “INSERT INTO members{$i} SELECT * FROM members WHERE mid%100={$i}
“;
}
?
2、不停機修改mysql表結構
同樣還是members表，前期設計的表結構不盡合理，隨著資料庫不斷運行，其冗餘數據也是增長巨大，同事使用了下面的方法來處理：
先創建一個臨時表：
/*創建臨時表*/
CREATE TABLE members_tmp LIKE members
然後修改members_tmp的表結構為新結構，接著使用上面那個for循環來導出數據，因為1000萬的數據一次性導出是不對的，mid是主鍵，一個區間一個區間的導，基本是一次導出5萬條吧，這裡略去了
接著重命名將新表替換上去：
/*這是個頗為經典的語句哈*/
RENAME TABLE members TO members_bak,members_tmp TO members;
就是這樣，基本可以做到無損失，無需停機更新表結構，但實際上RENAME期間表是被鎖死的，所以選擇在線少的時候操作是一個技巧。經過這個操作，使得原先8G多的表，一下子變成了2G多。
如何利用MySQL資料庫命令創建和查看分區情況
1.找到MySQL的安裝路徑，用記事本打開 my.ini 這個文件。
2.在這個文件中找到如下內容：
#Path to the database root
datadir=”C:/ProgramData/MySQL/MySQL Server 5.5/Data/”
這裡是你資料庫 文件的存放路徑，
如果你是要查看裡面的內容，用資料庫連接工具，或者命令行，通過 SLELECT 等語句就可以查詢了。
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/237015.html
微信掃一掃 
支付寶掃一掃 