大數據技術之mysql伺服器,大數據量mysql解決方案

本文目錄一覽：

• 1、大數據核心技術有哪些
• 2、資料庫和MySQL和MySQL伺服器三者有什麼區別？
• 3、一文總結高並發大數據量下MySQL開發規範「軍規」
• 4、簡述提高mysql資料庫伺服器性能的措施有哪些
• 5、如何對MySQL伺服器進行調優
• 6、MYSQL的概念

大數據核心技術有哪些

大數據技術的體系龐大且複雜，基礎的技術包含數據的採集、數據預處理、分散式存儲、資料庫、數據倉庫、機器學習、並行計算、可視化等。

1、數據採集與預處理：FlumeNG實時日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據；Zookeeper是一個分散式的，開放源碼的分散式應用程序協調服務，提供數據同步服務。

2、數據存儲：Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用於數據存儲。HBase，是一個分散式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL資料庫。

3、數據清洗：MapReduce作為Hadoop的查詢引擎，用於大規模數據集的並行計算。

4、數據查詢分析：Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張資料庫表，並提供HQL(HiveSQL)查詢功能。Spark啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。

5、數據可視化：對接一些BI平台，將分析得到的數據進行可視化，用於指導決策服務。

資料庫和MySQL和MySQL伺服器三者有什麼區別？

資料庫和MySQL和MySQL伺服器三者區別區別如下：

資料庫包括MySQL，MySQL伺服器只要作用就是這位一個伺服器；

MYSQL短小精悍，容易上手，操作簡單，免費供用的。相對其它資料庫有特色又實用的語法多一些。SQL怎麼也算是大型資料庫，穩定，能做一般大系統的數據倉庫，運行速度明顯比MYSQL快N多。

缺點分析：MYSQL難擔當大系統的數據倉庫，運行速度慢，不夠穩定，有掉線的情況。SQLSERVER價格貴，使用起來比MYSQL要難一些，畢竟東西大了說道多點。

MySQL自己有文字界面客戶端，當然配對MYSQL有專業的客戶端軟體，各種操作真的是很方便的。SQLSERVER

就用自帶的查詢分析器登錄了，兩者的前提是資料庫服務都帶打開，而且你得知道安裝時的用戶名密碼。

SQL伺服器雖然是狹隘的，保守的存儲引擎與MySQL伺服器的可擴展，開放的存儲引擎絕然不同。雖然可以使用SQL伺服器的Sybase引擎，但MySQL能夠提供更多種的選擇，如MyISAM,Heap,

InnoDB,

and

BerkeleyDB。MySQL不完全支持陌生的關鍵詞，所以它比SQL伺服器要少一些相關的資料庫。同時，MySQL也缺乏。

一文總結高並發大數據量下MySQL開發規範「軍規」

在互聯網公司中，MySQL是使用最多的資料庫，那麼在並發量大、數據量大的互聯網業務中，如果高效的使用MySQL才能保證服務的穩定呢？根據本人多年運維管理經驗的總結，梳理了一些核心的開發規範，希望能給大家帶來一些幫助。

一、基礎規範

二、庫表設計

問題：使用VARCHAR(5) 和VARCHAR(200) 存儲』hello』的磁碟空間開銷是一樣的,使用更短的列表有什麼優勢嗎？

更大的定義列會消耗更多的內存，因為MySQL通常會分配固定大小的內存塊來保存內部值,尤其是使用內存臨時表進行排序或操作時會特別糟糕

三、索引設計

基本規則：索引不是越多越好，能不添加的索引盡量不要添加，過多的索引會嚴重降低數據插入和更新的效率，並帶來更多的讀寫衝突和死鎖！

示例：假設在表tab中id建立了索引

四、SQL優化

示例：

欄位： code varchar(50) NOT NULL COMENT 『編碼』 #code上建立了索引

SELECT id,name,addr from tab_name where code=10001; 不會使用索引

SELECT id,name,addr from tab_name where code=’10001′; 會使用索引

Select * from table limit 10000,10；

LIMIT原理：

Limit 10000,10 偏移量越大則越慢

Select * from table WHERE id=23423 limit 11; #10+1 (每頁10條)

Select * from table WHERE id=23434 limit 11;

Select * from table WHERE id = ( select id from table limit 10000,1 ) limit 10;

Select * from table INNER JOIN (SELECT id from table limit 10000,10) USING(id)

最後說明：

上述規範是多年MySQL資料庫使用的經驗總結，希望能給大家帶來一些啟發和幫助！

簡述提高mysql資料庫伺服器性能的措施有哪些

簡述提高mysql資料庫伺服器性能的措施有哪些

1，存儲引擎，根據應用選擇合適的引擎

2，索引 —-這個就有很多文章了，具體需要你自己去了解

3，sql語句優化，查詢條件的選擇之類

4，mysql自身系統配置，需要針對應用去定製

5，表的選擇，臨時表，或者分區表，也需要針對應用的情況去選擇使用

如何對MySQL伺服器進行調優

1、選取最適用的欄位屬性

MySQL 可以很好的支持大數據量的存取，但是一般說來，資料庫中的表越小，在它上面執行的查詢也就會越快。因此，在創建表的時候，為了獲得更好的性能，我們可以將表中欄位的寬度設得儘可能小。例如，在定義郵政編碼這個欄位時，如果將其設置為CHAR(255),顯然給資料庫增加了不必要的空間，甚至使用VARCHAR這種類型也是多餘的，因為CHAR(6)就可以很好的完成任務了。同樣的，如果可以的話，我們應該使用MEDIUMINT而不是BIGIN來定義整型欄位。

另外一個提高效率的方法是在可能的情況下，應該盡量把欄位設置為NOT NULL，這樣在將來執行查詢的時候，資料庫不用去比較NULL值。

對於某些文本欄位，例如「省份」或者「性別」，我們可以將它們定義為ENUM類型。因為在MySQL中，ENUM類型被當作數值型數據來處理，而數值型數據被處理起來的速度要比文本類型快得多。這樣，我們又可以提高資料庫的性能。

2、使用連接（JOIN）來代替子查詢(Sub-Queries)

MySQL 從4.1開始支持SQL的子查詢。這個技術可以使用SELECT語句來創建一個單列的查詢結果，然後把這個結果作為過濾條件用在另一個查詢中。例如，我們要將客戶基本信息表中沒有任何訂單的客戶刪除掉，就可以利用子查詢先從銷售信息表中將所有發出訂單的客戶ID取出來，然後將結果傳遞給主查詢，如下所示：

DELETE FROM customerinfo

WHERE CustomerID NOT in (SELECT CustomerID FROM salesinfo )

使用子查詢可以一次性的完成很多邏輯上需要多個步驟才能完成的SQL操作，同時也可以避免事務或者表鎖死，並且寫起來也很容易。但是，有些情況下，子查詢可以被更有效率的連接（JOIN）.. 替代。例如，假設我們要將所有沒有訂單記錄的用戶取出來，可以用下面這個查詢完成：

SELECT * FROM customerinfo

WHERE CustomerID NOT in (SELECT CustomerID FROM salesinfo )

如果使用連接（JOIN）.. 來完成這個查詢工作，速度將會快很多。尤其是當salesinfo表中對CustomerID建有索引的話，性能將會更好，查詢如下：

SELECT * FROM customerinfo

LEFT JOIN salesinfoON customerinfo.CustomerID=salesinfo.

CustomerID

WHERE salesinfo.CustomerID IS NULL

連接（JOIN）.. 之所以更有效率一些，是因為 MySQL不需要在內存中創建臨時表來完成這個邏輯上的需要兩個步驟的查詢工作。

3、使用聯合(UNION)來代替手動創建的臨時表

MySQL 從 4.0 的版本開始支持 UNION 查詢，它可以把需要使用臨時表的兩條或更多的 SELECT 查詢合併的一個查詢中。在客戶端的查詢會話結束的時候，臨時表會被自動刪除，從而保證資料庫整齊、高效。使用 UNION 來創建查詢的時候，我們只需要用 UNION作為關鍵字把多個 SELECT 語句連接起來就可以了，要注意的是所有 SELECT 語句中的欄位數目要想同。下面的例子就演示了一個使用 UNION的查詢。

SELECT Name, Phone FROM client

UNION

SELECT Name, BirthDate FROM author

UNION

SELECT Name, Supplier FROM product

4、事務

儘管我們可以使用子查詢（Sub-Queries）、連接（JOIN）和聯合（UNION）來創建各種各樣的查詢，但不是所有的資料庫操作都可以只用一條或少數幾條SQL語句就可以完成的。更多的時候是需要用到一系列的語句來完成某種工作。但是在這種情況下，當這個語句塊中的某一條語句運行出錯的時候，整個語句塊的操作就會變得不確定起來。設想一下，要把某個數據同時插入兩個相關聯的表中，可能會出現這樣的情況：第一個表中成功更新後，資料庫突然出現意外狀況，造成第二個表中的操作沒有完成，這樣，就會造成數據的不完整，甚至會破壞資料庫中的數據。要避免這種情況，就應該使用事務，它的作用是：要麼語句塊中每條語句都操作成功，要麼都失敗。換句話說，就是可以保持資料庫中數據的一致性和完整性。事物以BEGIN 關鍵字開始，COMMIT關鍵字結束。在這之間的一條SQL操作失敗，那麼，ROLLBACK命令就可以把資料庫恢復到BEGIN開始之前的狀態。

BEGIN;

INSERT INTO salesinfo SET CustomerID=14;

UPDATE inventory SET Quantity=11

WHERE item=’book’;

COMMIT;

事務的另一個重要作用是當多個用戶同時使用相同的數據源時，它可以利用鎖定資料庫的方法來為用戶提供一種安全的訪問方式，這樣可以保證用戶的操作不被其它的用戶所干擾。

5、鎖定表

儘管事務是維護資料庫完整性的一個非常好的方法，但卻因為它的獨佔性，有時會影響資料庫的性能，尤其是在很大的應用系統中。由於在事務執行的過程中，資料庫將會被鎖定，因此其它的用戶請求只能暫時等待直到該事務結束。如果一個資料庫系統只有少數幾個用戶

來使用，事務造成的影響不會成為一個太大的問題；但假設有成千上萬的用戶同時訪問一個資料庫系統，例如訪問一個電子商務網站，就會產生比較嚴重的響應延遲。

其實，有些情況下我們可以通過鎖定表的方法來獲得更好的性能。下面的例子就用鎖定表的方法來完成前面一個例子中事務的功能。

LOCK TABLE inventory WRITE

SELECT Quantity FROM inventory

WHEREItem=’book’;

…

UPDATE inventory SET Quantity=11

WHEREItem=’book’;

UNLOCK TABLES

這裡，我們用一個 SELECT 語句取出初始數據，通過一些計算，用 UPDATE 語句將新值更新到表中。包含有 WRITE 關鍵字的 LOCK TABLE 語句可以保證在 UNLOCK TABLES 命令被執行之前，不會有其它的訪問來對 inventory 進行插入、更新或者刪除的操作。

6、使用外鍵

鎖定表的方法可以維護數據的完整性，但是它卻不能保證數據的關聯性。這個時候我們就可以使用外鍵。例如，外鍵可以保證每一條銷售記錄都指向某一個存在的客戶。在這裡，外鍵可以把customerinfo 表中的CustomerID映射到salesinfo表中CustomerID，任何一條沒有合法CustomerID的記錄都不會被更新或插入到 salesinfo中。

CREATE TABLE customerinfo

(

CustomerID INT NOT NULL ,

PRIMARY KEY ( CustomerID )

) TYPE = INNODB;

CREATE TABLE salesinfo

(

SalesID INT NOT NULL,

CustomerID INT NOT NULL,

PRIMARY KEY(CustomerID, SalesID),

FOREIGN KEY (CustomerID) REFERENCES customerinfo

(CustomerID) ON DELETECASCADE

) TYPE = INNODB;

注意例子中的參數「ON DELETE CASCADE」。該參數保證當 customerinfo 表中的一條客戶記錄被刪除的時候，salesinfo 表中所有與該客戶相關的記錄也會被自動刪除。如果要在 MySQL 中使用外鍵，一定要記住在創建表的時候將表的類型定義為事務安全表 InnoDB類型。該類型不是 MySQL 表的默認類型。定義的方法是在 CREATE TABLE 語句中加上 TYPE=INNODB。如例中所示。

7、使用索引

索引是提高資料庫性能的常用方法，它可以令資料庫伺服器以比沒有索引快得多的速度檢索特定的行，尤其是在查詢語句當中包含有MAX(), MIN()和ORDERBY這些命令的時候，性能提高更為明顯。那該對哪些欄位建立索引呢？一般說來，索引應建立在那些將用於JOIN, WHERE判斷和ORDER BY排序的欄位上。盡量不要對資料庫中某個含有大量重複的值的欄位建立索引。對於一個ENUM類型的欄位來說，出現大量重複值是很有可能的情況，例如 customerinfo中的「province」.. 欄位，在這樣的欄位上建立索引將不會有什麼幫助；相反，還有可能降低資料庫的性能。我們在創建表的時候可以同時創建合適的索引，也可以使用ALTER TABLE或CREATE INDEX在以後創建索引。此外，MySQL

從版本3.23.23開始支持全文索引和搜索。全文索引在 MySQL 中是一個FULLTEXT類型索引，但僅能用於MyISAM 類型的表。對於一個大的資料庫，將數據裝載到一個沒有FULLTEXT索引的表中，然後再使用ALTER TABLE或CREATE INDEX創建索引，將是非常快的。但如果將數據裝載到一個已經有FULLTEXT索引的表中，執行過程將會非常慢。

8、優化的查詢語句

絕大多數情況下，使用索引可以提高查詢的速度，但如果SQL語句使用不恰當的話，索引將無法發揮它應有的作用。下面是應該注意的幾個方面。首先，最好是在相同類型的欄位間進行比較的操作。在MySQL 3.23版之前，這甚至是一個必須的條件。例如不能將一個建有索引的INT欄位和BIGINT欄位進行比較；但是作為特殊的情況，在CHAR類型的欄位和 VARCHAR類型欄位的欄位大小相同的時候，可以將它們進行比較。其次，在建有索引的欄位上盡量不要使用函數進行操作。

例如，在一個DATE類型的欄位上使用YEAE()函數時，將會使索引不能發揮應有的作用。所以，下面的兩個查詢雖然返回的結果一樣，但後者要比前者快得多。

SELECT * FROM order WHERE YEAR(OrderDate)2001;

SELECT * FROM order WHERE OrderDate”2001-01-01″;

同樣的情形也會發生在對數值型欄位進行計算的時候：

SELECT * FROM inventory WHERE Amount/724;

SELECT * FROM inventory WHERE Amount24*7;

上面的兩個查詢也是返回相同的結果，但後面的查詢將比前面的一個快很多。第三，在搜索字元型欄位時，我們有時會使用 LIKE 關鍵字和通配符，這種做法雖然簡單，但卻也是以犧牲系統性能為代價的。例如下面的查詢將會比較表中的每一條記錄。

SELECT * FROM books

WHERE name like “MySQL%”

但是如果換用下面的查詢，返回的結果一樣，但速度就要快上很多：

SELECT * FROM books

WHERE name=”MySQL”and name”MySQM”

最後，應該注意避免在查詢中讓MySQL進行自動類型轉換，因為轉換過程也會使索引變得不起作用。

MYSQL的概念

MySQL是一個關係型資料庫管理系統，由瑞典 MySQL AB 公司開發，目前屬於 Oracle 旗下公司。MySQL 最流行的關係型資料庫管理系統，在 WEB 應用方面 MySQL 是最好的 RDBMS (Relational Database Management System，關係資料庫管理系統) 應用軟體之一。

MySQL 是一種關聯資料庫管理系統，關聯資料庫將數據保存在不同的表中，而不是將所有數據放在一個大倉庫內，這樣就增加了速度並提高了靈活性。MySQL 所使用的 SQL 語言是用於訪問資料庫的最常用標準化語言。MySQL 軟體採用了雙授權政策，它分為社區版和商業版，由於其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網站的開發都選擇 MySQL 作為網站資料庫。由於其社區版的性能卓越，搭配 PHP 和 Apache 可組成良好的開發環境。