數據庫mysql大數據（mysql大數據分析）

本文目錄一覽：

• 1、mysql大數據量，行數多少與數據容量，哪個直接影響查詢速度？
• 2、利用MySQL數據庫如何解決大數據量存儲問題？
• 3、怎麼對MySQL數據庫操作大數據
• 4、一文總結高並發大數據量下MySQL開發規範「軍規」

mysql大數據量，行數多少與數據容量，哪個直接影響查詢速度？

首先mysql作為傳統關係型數據庫，並不適合大數據量的查詢，一般來說，如果數據行數達到千萬價格，查詢的速度會有明顯的下降。

影響查詢速度的原因可以有很多，比如是否在常用字段上建立了索引，還有是否支持並發等等。

利用MySQL數據庫如何解決大數據量存儲問題？

照你的需求來看，可以有兩種方式，一種是分表，另一種是分區 首先是分表，就像你自己所說的，可以按月分表，可以按用戶ID分表等等，至於採用哪種方式分表，要看你的業務邏輯了，分表不好的地方就是查詢有時候需要跨多個表。 然後是分區，分區可以將表分離在若干不同的表空間上，用分而治之的方法來支撐無限膨脹的大表，給大表在物理一級的可管理性。將大表分割成較小的分區可以改善表的維護、備份、恢復、事務及查詢性能。分區的好處是分區的優點： 1 增強可用性：如果表的一個分區由於系統故障而不能使用，表的其餘好的分區仍然可以使用； 2 減少關閉時間：如果系統故障隻影響表的一部分分區，那麼只有這部分分區需要修復，故能比整個大表修復花的時間更少； 3 維護輕鬆：如果需要重建表，獨立管理每個分區比管理單個大表要輕鬆得多； 4 均衡I/O:可以把表的不同分區分配到不同的磁盤來平衡I/O改善性能； 5 改善性能：對大表的查詢、增加、修改等操作可以分解到表的不同分區來並行執行，可使運行速度更快； 6 分區對用戶透明，最終用戶感覺不到分區的存在。

怎麼對MySQL數據庫操作大數據

我們經常會遇到操作一張大表，發現操作時間過長或影響在線業務了，想要回退大表操作的場景。在我們停止大表操作之後，等待回滾是一個很漫長的過程，儘管你可能對知道一些縮短時間的方法，處於對生產環境數據完整性的敬畏，也會選擇不做介入。最終選擇不作為的原因大多源於對操作影響的不確定性。實踐出真知，下面針對兩種主要提升事務回滾速度的方式進行驗證，一種是提升操作可用內存空間，一種是通過停實例，禁用 redo 回滾方式進行進行驗證。

仔細閱讀過官方手冊的同學，一定留意到了對於提升大事務回滾效率，官方提供了兩種方法：一是增加 innodb_buffer_pool_size 參數大小，二是合理利用 innodb_force_recovery=3 參數，跳過事務回滾過程。第一種方式比較溫和，innodb_buffer_pool_size 參數是可以動態調整的，可行性也較高。第二種方式相較之下較暴力，但效果較好。

兩種方式各有自己的優點，第一種方式對線上業務系統影響較小，不會中斷在線業務。第二種方式效果更顯著，會短暫影響業務連續，回滾所有沒有提交的事務。

一文總結高並發大數據量下MySQL開發規範「軍規」

在互聯網公司中，MySQL是使用最多的數據庫，那麼在並發量大、數據量大的互聯網業務中，如果高效的使用MySQL才能保證服務的穩定呢？根據本人多年運維管理經驗的總結，梳理了一些核心的開發規範，希望能給大家帶來一些幫助。

一、基礎規範

二、庫表設計

問題：使用VARCHAR(5) 和VARCHAR(200) 存儲』hello』的磁盤空間開銷是一樣的,使用更短的列表有什麼優勢嗎？

更大的定義列會消耗更多的內存，因為MySQL通常會分配固定大小的內存塊來保存內部值,尤其是使用內存臨時表進行排序或操作時會特別糟糕

三、索引設計

基本規則：索引不是越多越好，能不添加的索引盡量不要添加，過多的索引會嚴重降低數據插入和更新的效率，並帶來更多的讀寫衝突和死鎖！

示例：假設在表tab中id建立了索引

四、SQL優化

示例：

字段： code varchar(50) NOT NULL COMENT 『編碼』 #code上建立了索引

SELECT id,name,addr from tab_name where code=10001; 不會使用索引

SELECT id,name,addr from tab_name where code=’10001′; 會使用索引

Select * from table limit 10000,10；

LIMIT原理：

Limit 10000,10 偏移量越大則越慢

Select * from table WHERE id=23423 limit 11; #10+1 (每頁10條)

Select * from table WHERE id=23434 limit 11;

Select * from table WHERE id = ( select id from table limit 10000,1 ) limit 10;

Select * from table INNER JOIN (SELECT id from table limit 10000,10) USING(id)

最後說明：

上述規範是多年MySQL數據庫使用的經驗總結，希望能給大家帶來一些啟發和幫助！