關於linuxmysql集群的信息

本文目錄一覽：

• 1、linux下自帶的mysql能不能做集群
• 2、如何解決：mysql集群
• 3、mysql分表，分區的區別和聯繫
• 4、linux下安裝mysql

linux下自帶的mysql能不能做集群

不可以，mysql集群使用的是特殊版本的mysql，集群包括NDB節點、MGM節點和SQL節點，詳細的安裝、配置網上可以搜到，不難，配置完注意啟動順序就可以了

如何解決：mysql集群

它們是按SMP、NUMA、MPP、集群、分布處理從最緊密到最鬆散的排列。

SMP(多處理系統):這種系統是在一台計算機里有多個CPU,CPU之間的地位是平等的，它們共享內存空間和I/O設備。其工作方法是由操作系統負責將任務分解成多個並發進程，然後讓其在不同的CPU上運行。

NUMA(非統一內存存取):這種系統可以讓多處理計算機的CPU比SMP更高效地共享本地內存，CPU可以更快速地存取單一的內存區域，不過如需要也可以用間接方式存取其他區域的內存，這種方法是讓某些CPU在給定範圍的物理內存中有更大的優先使用權。

MPP(巨型並行處理):這種系統的節點都有自己的CPU，並有自己的專有資源。此種結構相對獨立，但各個節點一般沒有完全存取I/O的能力。

集群:集群系統是由獨立的計算機組成，但有控制管理工具統一管理。

分布處理:它是比我們要構築的集群系統更鬆散的連接，一般是任務在不同的地方完成，沒有可以作為整體管理的單一實體。

以上的聚合方式有緊有疏，它們都有自己的適用範圍，這裡就不多說了，有興趣可自己找些資料看，這裡只是想讓大家了解它所處的位置。

實現負載均衡的方法

集群的目的是共享和高效地利用資源，提供大型運算，提供負載均衡分配請求壓力以及出現故障時能夠進行切換實現高可用性。

限於篇幅，本文只對負載均衡的實現做些介紹(針對TurboLinux Cluster Server)。通過對相關軟體的分析，實現集群負載的功能是通過流量管理實現的，具體有這樣幾種實現方法:直接路由(Direct forwarding)、網路地址轉換(NAT)、隧道技術(Tunneling)。

直接路由(Direct forwarding)

當參與集群的計算機和作為控制管理的計算機在同一個網段時可以用此法，控制管理的計算機接收到請求包時直接送到參與集群的節點。優點是返回給客戶的流量不經過控制主機，速度快開銷少。

網路地址轉換(NAT)

這種方法可能大家較熟悉，地址轉換器有能被外界訪問到的合法IP地址，它修改來自專有網路的流出包的地址，外界看起來包是來自地址轉換器本身，當外界包送到轉換器時，它能判斷出應該將包送到內部網的哪個節點。優點是節省IP地址，能對內部進行偽裝;缺點是效率低，因為返回給請求方的流量經過轉換器。

隧道技術(Tunneling)

這種方式是在集群的節點不在同一個網段時可用的轉發機制，是將IP包封裝在其他網路流量中的方法，為了安全的考慮，應該使用隧道技術中的VPN,也可使用租用專線。

集群所能提供的服務是基於TCP/IP的Web服務、Mail服務、News服務、DNS服務、Proxy伺服器等等，下面我們將就具體的產品TurboLinux Cluster Server 來實現一個進行負載均衡集群系統，用於提供Web和FTP的服務。四台伺服器的負載均衡實例

所提供的服務:Web、FTP。

系統的實現目的:做一個較完善負載均衡的系統，以便能用到其中的較多的功能。

採用設備狀況:使用四台伺服器，其中3台裝TurboLinux Cluster Server,1台安裝Windows 2000 Sever。系統安裝1.在兩台伺服器上安裝TurboLinux， apache和wu-ftpd也要安裝，因為集群要提供這種服務,安裝完後重啟，掛接光碟機在目錄/mnt/cdrom下，執 行./TLCS-install,然後按提示完全安裝。

mysql分表，分區的區別和聯繫

一，什麼是mysql分表，分區

什麼是分表，從表面意思上看呢，就是把一張表分成N多個小表，具體請看mysql分表的3種方法

什麼是分區，分區呢就是把一張表的數據分成N多個區塊，這些區塊可以在同一個磁碟上，也可以在不同的磁碟上

一，先說一下為什麼要分表

當一張的數據達到幾百萬時，你查詢一次所花的時間會變多，如果有聯合查詢的話，我想有可能會死在那兒了。分表的目的就在於此，減小資料庫的負擔，縮短查詢時間。

根據個人經驗，mysql執行一個sql的過程如下：

1,接收到sql;2,把sql放到排隊隊列中 ;3,執行sql;4,返回執行結果。在這個執行過程中最花時間在什麼地方呢？第一，是排隊等待的時間，第二，sql的執行時間。其實這二個是一回事，等待的同時，肯定有sql在執行。所以我們要縮短sql的執行時間。

mysql中有一種機制是表鎖定和行鎖定，為什麼要出現這種機制，是為了保證數據的完整性，我舉個例子來說吧，如果有二個sql都要修改同一張表的同一條數據，這個時候怎麼辦呢，是不是二個sql都可以同時修改這條數據呢？很顯然mysql對這種情況的處理是，一種是表鎖定（myisam存儲引擎），一個是行鎖定（innodb存儲引擎）。表鎖定表示你們都不能對這張表進行操作，必須等我對錶操作完才行。行鎖定也一樣，別的sql必須等我對這條數據操作完了，才能對這條數據進行操作。如果數據太多，一次執行的時間太長，等待的時間就越長，這也是我們為什麼要分表的原因。

二，分表

1，做mysql集群，例如：利用mysql cluster ，mysql proxy，mysql replication，drdb等等

有人會問mysql集群，根分表有什麼關係嗎？雖然它不是實際意義上的分表，但是它啟到了分表的作用，做集群的意義是什麼呢？為一個資料庫減輕負擔，說白了就是減少sql排隊隊列中的sql的數量，舉個例子：有10個sql請求，如果放在一個資料庫伺服器的排隊隊列中，他要等很長時間，如果把這10個sql請求，分配到5個資料庫伺服器的排隊隊列中，一個資料庫伺服器的隊列中只有2個，這樣等待時間是不是大大的縮短了呢？這已經很明顯了。所以我把它列到了分表的範圍以內，我做過一些mysql的集群：

linux mysql proxy 的安裝，配置，以及讀寫分離

mysql replication 互為主從的安裝及配置，以及數據同步

優點：擴展性好，沒有多個分表後的複雜操作（php代碼）

缺點：單個表的數據量還是沒有變，一次操作所花的時間還是那麼多，硬體開銷大。

2，預先估計會出現大數據量並且訪問頻繁的表，將其分為若干個表

這種預估大差不差的，論壇裡面發表帖子的表，時間長了這張表肯定很大，幾十萬，幾百萬都有可能。 聊天室裡面信息表，幾十個人在一起一聊一個晚上，時間長了，這張表的數據肯定很大。像這樣的情況很多。所以這種能預估出來的大數據量表，我們就事先分出個N個表，這個N是多少，根據實際情況而定。以聊天信息表為例：

我事先建100個這樣的表，message_00,message_01,message_02……….message_98,message_99.然後根據用戶的ID來判斷這個用戶的聊天信息放到哪張表裡面，你可以用hash的方式來獲得，可以用求余的方式來獲得，方法很多，各人想各人的吧。下面用hash的方法來獲得表名：

查看複製列印?

?php

function get_hash_table($table,$userid) {

$str = crc32($userid);

if($str0){

$hash = “0”.substr(abs($str), 0, 1);

}else{

$hash = substr($str, 0, 2);

}

return $table.”_”.$hash;

}

echo get_hash_table(‘message’,’user18991′); //結果為message_10

echo get_hash_table(‘message’,’user34523′); //結果為message_13

?

說明一下，上面的這個方法，告訴我們user18991這個用戶的消息都記錄在message_10這張表裡，user34523這個用戶的消息都記錄在message_13這張表裡，讀取的時候，只要從各自的表中讀取就行了。

優點：避免一張表出現幾百萬條數據，縮短了一條sql的執行時間

缺點：當一種規則確定時，打破這條規則會很麻煩，上面的例子中我用的hash演算法是crc32，如果我現在不想用這個演算法了，改用md5後，會使同一個用戶的消息被存儲到不同的表中，這樣數據亂套了。擴展性很差。

3，利用merge存儲引擎來實現分表

我覺得這種方法比較適合，那些沒有事先考慮，而已經出現了得，數據查詢慢的情況。這個時候如果要把已有的大數據量表分開比較痛苦，最痛苦的事就是改代碼，因為程序裡面的sql語句已經寫好了，現在一張表要分成幾十張表，甚至上百張表，這樣sql語句是不是要重寫呢？舉個例子，我很喜歡舉子

mysqlshow engines;的時候你會發現mrg_myisam其實就是merge。

查看複製列印?

mysql CREATE TABLE IF NOT EXISTS `user1` (

– `id` int(11) NOT NULL AUTO_INCREMENT,

– `name` varchar(50) DEFAULT NULL,

– `sex` int(1) NOT NULL DEFAULT ‘0’,

– PRIMARY KEY (`id`)

– ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

Query OK, 0 rows affected (0.05 sec)

mysql CREATE TABLE IF NOT EXISTS `user2` (

– `id` int(11) NOT NULL AUTO_INCREMENT,

– `name` varchar(50) DEFAULT NULL,

– `sex` int(1) NOT NULL DEFAULT ‘0’,

– PRIMARY KEY (`id`)

– ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

Query OK, 0 rows affected (0.01 sec)

mysql INSERT INTO `user1` (`name`, `sex`) VALUES(‘張映’, 0);

Query OK, 1 row affected (0.00 sec)

mysql INSERT INTO `user2` (`name`, `sex`) VALUES(‘tank’, 1);

Query OK, 1 row affected (0.00 sec)

mysql CREATE TABLE IF NOT EXISTS `alluser` (

– `id` int(11) NOT NULL AUTO_INCREMENT,

– `name` varchar(50) DEFAULT NULL,

– `sex` int(1) NOT NULL DEFAULT ‘0’,

– INDEX(id)

– ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ;

Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql select id,name,sex from alluser;

+—-+——–+—–+

| id | name | sex |

+—-+——–+—–+

| 1 | 張映 | 0 |

| 1 | tank | 1 |

+—-+——–+—–+

2 rows in set (0.00 sec)

mysql INSERT INTO `alluser` (`name`, `sex`) VALUES(‘tank2’, 0);

Query OK, 1 row affected (0.00 sec)

mysql select id,name,sex from user2

– ;

+—-+——-+—–+

| id | name | sex |

+—-+——-+—–+

| 1 | tank | 1 |

| 2 | tank2 | 0 |

+—-+——-+—–+

2 rows in set (0.00 sec)

從上面的操作中，我不知道你有沒有發現點什麼？假如我有一張用戶表user，有50W條數據，現在要拆成二張表user1和user2，每張表25W條數據，

INSERT INTO user1(user1.id,user1.name,user1.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id = 250000

INSERT INTO user2(user2.id,user2.name,user2.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id 250000

這樣我就成功的將一張user表，分成了二個表，這個時候有一個問題，代碼中的sql語句怎麼辦，以前是一張表，現在變成二張表了，代碼改動很大，這樣給程序員帶來了很大的工作量，有沒有好的辦法解決這一點呢？辦法是把以前的user表備份一下，然後刪除掉，上面的操作中我建立了一個alluser表，只把這個alluser表的表名改成user就行了。但是，不是所有的mysql操作都能用的

a，如果你使用 alter table 來把 merge 表變為其它表類型，到底層表的映射就被丟失了。取而代之的，來自底層 myisam 表的行被複制到已更換的表中，該表隨後被指定新類型。

b，網上看到一些說replace不起作用，我試了一下可以起作用的。暈一個先

mysql UPDATE alluser SET sex=REPLACE(sex, 0, 1) where id=2;

Query OK, 1 row affected (0.00 sec)

Rows matched: 1 Changed: 1 Warnings: 0

mysql select * from alluser;

+—-+——–+—–+

| id | name | sex |

+—-+——–+—–+

| 1 | 張映 | 0 |

| 1 | tank | 1 |

| 2 | tank2 | 1 |

+—-+——–+—–+

3 rows in set (0.00 sec)

c，一個 merge 表不能在整個表上維持 unique 約束。當你執行一個 insert，數據進入第一個或者最後一個 myisam 表（取決於 insert_method 選項的值）。mysql 確保唯一鍵值在那個 myisam 表裡保持唯一，但不是跨集合里所有的表。

d,當你創建一個 merge 表之時，沒有檢查去確保底層表的存在以及有相同的機構。當 merge 表被使用之時，mysql 檢查每個被映射的表的記錄長度是否相等，但這並不十分可靠。如果你從不相似的 myisam 表創建一個 merge 表，你非常有可能撞見奇怪的問題。

優點：擴展性好，並且程序代碼改動的不是很大

缺點：這種方法的效果比第二種要差一點

三，總結一下

上面提到的三種方法，我實際做過二種，第一種和第二種。第三種沒有做過，所以說的細一點。哈哈。做什麼事都有一個度，超過個度就過變得很差，不能一味的做資料庫伺服器集群，硬體是要花錢買的，也不要一味的分表，分出來1000表，mysql的存儲歸根到底還以文件的形勢存在硬碟上面，一張表對應三個文件，1000個分表就是對應3000個文件，這樣檢索起來也會變的很慢。我的建議是

方法1和方法2結合的方式來進行分表

方法1和方法3結合的方式來進行分表

我的二個建議適合不同的情況，根據個人情況而定，我覺得會有很多人選擇方法1和方法3結合的方式

二，mysql分表和分區有什麼區別呢

1，實現方式上

a），mysql的分表是真正的分表，一張表分成很多表後，每一個小表都是完正的一張表，都對應三個文件，一個.MYD數據文件，.MYI索引文件，.frm表結構文件。

[root@BlackGhost test]# ls |grep user

alluser.MRG

alluser.frm

user1.MYD

user1.MYI

user1.frm

user2.MYD

user2.MYI

user2.frm

Php代碼 收藏代碼

[root@BlackGhost test]# ls |grep user

alluser.MRG

alluser.frm

user1.MYD

user1.MYI

user1.frm

user2.MYD

user2.MYI

user2.frm

簡單說明一下，上面的分表呢是利用了merge存儲引擎（分表的一種），alluser是總表，下面有二個分表，user1，user2。他們二個都是獨立的表，取數據的時候，我們可以通過總表來取。這裡總表是沒有.MYD,.MYI這二個文件的，也就是說，總表他不是一張表，沒有數據，數據都放在分表裡面。我們來看看.MRG到底是什麼東西

[root@BlackGhost test]# cat alluser.MRG |more

user1

user2

#INSERT_METHOD=LAST

Php代碼 收藏代碼

[root@BlackGhost test]# cat alluser.MRG |more

user1

user2

#INSERT_METHOD=LAST

從上面我們可以看出，alluser.MRG裡面就存了一些分表的關係，以及插入數據的方式。可以把總表理解成一個外殼，或者是聯接池。

b），分區不一樣，一張大表進行分區後，他還是一張表，不會變成二張表，但是他存放數據的區塊變多了。

[root@BlackGhost test]# ls |grep aa

aa#P#p1.MYD

aa#P#p1.MYI

aa#P#p3.MYD

aa#P#p3.MYI

aa.frm

aa.par

Php代碼 收藏代碼

[root@BlackGhost test]# ls |grep aa

aa#P#p1.MYD

aa#P#p1.MYI

aa#P#p3.MYD

aa#P#p3.MYI

aa.frm

aa.par

從上面我們可以看出，aa這張表，分為二個區，p1和p3，本來是三個區，被我刪了一個區。我們都知道一張表對應三個文件.MYD,.MYI,.frm。分區呢根據一定的規則把數據文件和索引文件進行了分割，還多出了一個.par文件，打開.par文件後你可以看出他記錄了，這張表的分區信息，根分表中的.MRG有點像。分區後，還是一張，而不是多張表。

2，數據處理上

a），分表後，數據都是存放在分表裡，總表只是一個外殼，存取數據發生在一個一個的分表裡面。看下面的例子：

select * from alluser where id=』12′表面上看，是對錶alluser進行操作的，其實不是的。是對alluser裡面的分表進行了操作。

b），分區呢，不存在分表的概念，分區只不過把存放數據的文件分成了許多小塊，分區後的表呢，還是一張表。數據處理還是由自己來完成。

3，提高性能上

a），分表後，單表的並發能力提高了，磁碟I/O性能也提高了。並發能力為什麼提高了呢，因為查尋一次所花的時間變短了，如果出現高並發的話，總表可以根據不同的查詢，將並發壓力分到不同的小表裡面。磁碟I/O性能怎麼搞高了呢，本來一個非常大的.MYD文件現在也分攤到各個小表的.MYD中去了。

b），mysql提出了分區的概念，我覺得就想突破磁碟I/O瓶頸，想提高磁碟的讀寫能力，來增加mysql性能。

在這一點上，分區和分表的測重點不同，分表重點是存取數據時，如何提高mysql並發能力上；而分區呢，如何突破磁碟的讀寫能力，從而達到提高mysql性能的目的。

4），實現的難易度上

a），分表的方法有很多，用merge來分表，是最簡單的一種方式。這種方式根分區難易度差不多，並且對程序代碼來說可以做到透明的。如果是用其他分表方式就比分區麻煩了。

b），分區實現是比較簡單的，建立分區表，根建平常的表沒什麼區別，並且對開代碼端來說是透明的。

三，mysql分表和分區有什麼聯繫呢

1，都能提高mysql的性高，在高並髮狀態下都有一個良好的表面。

2，分表和分區不矛盾，可以相互配合的，對於那些大訪問量，並且表數據比較多的表，我們可以採取分表和分區結合的方式（如果merge這種分表方式，不能和分區配合的話，可以用其他的分表試），訪問量不大，但是表數據很多的表，我們可以採取分區的方式等。

linux下安裝mysql

方法如下：

到mysql官網下載mysql編譯好的二進位安裝包，在下載頁面Select Platform:選項選擇linux-generic，然後把頁面拉到底部，64位系統下載Linux – Generic (glibc 2.5) (x86, 64-bit)，32位系統下載Linux – Generic (glibc 2.5) (x86, 32-bit)

解壓32位安裝包:

進入安裝包所在目錄，執行命令：tar mysql-5.6.17-linux-glibc2.5-i686.tar.gz

複製解壓後的mysql目錄到系統的本地軟體目錄:

執行命令：cp mysql-5.6.17-linux-glibc2.5-i686 /usr/local/mysql -r

注意：目錄結尾不要加/

添加系統mysql組和mysql用戶：

執行命令：groupadd mysql和useradd -r -g mysql mysql

安裝資料庫：

進入安裝mysql軟體目錄：執行命令 cd /usr/local/mysql

修改當前目錄擁有者為mysql用戶：執行命令 chown -R mysql:mysql ./

安裝資料庫：執行命令 ./scripts/mysql_install_db –user=mysql

修改當前目錄擁有者為root用戶：執行命令 chown -R root:root ./

修改當前data目錄擁有者為mysql用戶：執行命令 chown -R mysql:mysql data

到此資料庫安裝完畢

啟動mysql服務和添加開機啟動mysql服務：

添加開機啟動：執行命令cp support-files/mysql.server /etc/init.d/mysql，把啟動腳本放到開機初始化目錄

啟動mysql服務：執行命令service mysql start

執行命令：ps -ef|grep mysql 看到mysql服務說明啟動成功，如圖

修改mysql的root用戶密碼，root初始密碼為空的：

執行命令：./bin/mysqladmin -u root password ‘密碼’

把mysql客戶端放到默認路徑：

ln -s /usr/local/mysql/bin/mysql /usr/local/bin/mysql