越來越多的企業考慮通過虛擬化來提高 IT 資源和應用程序的效率和減少運營成本。而在傳統的服務器維護中，如果一台服務器宕機，那麼最多就是這台服務器上的應用無法正常提供服務，可以通過集群高可用等方法解決；但是在虛擬化環境中，如果一台虛擬主機端服務器宕機，那麼運行在上面的虛擬機就都會無法正常運行。

雖然虛擬化將所有的資源都集中管理，但是出現故障時影響的面也廣了，所以在虛擬化中集群高可用的功能就顯得尤為重要。保護物理服務器是不夠的，還要保護包含重要商業數據和信息虛擬服務器。虛擬服務器提供了靈活性，但是，與此同時，如果一台包含多個虛擬服務器的物理服務器出現故障，那將造成巨大的數據損失。

本文主要介紹如何優化現有的VMware虛擬化環境，利用架構改造將環境調整為高可用架構。無論是網絡資源層、計算資源層、還是存儲資源層均實現雙鏈路高可用。在做任何架構的改動之前，一定要對現有環境有足夠的認知和了解，掌握其變動對業務的影響。

在調整架構之前，一定要先了解和熟悉現有架構缺點。
在調整架構之前，解決現有環境的故障問題。
了解現有架構與業務的匹配性。
預評估現有架構改造的工作量和依賴條件。

下面將詳細介紹如何將現有VMware架構調整為高可用性雙鏈路架構。

高可用方案背景

VMwarevSphere是VMware公司推出的一套服務器虛擬化解決方案，vSphere本身是個軟件套件，組件主要包括用於主機虛擬化的ESXi，用於虛擬化管理的vCenter，用於升級的Update Manager，以及自動化部署Auto deploy等。

在之前的架構中，集團已有的虛擬化架構已經存在2年了，整體運行良好，但是每次出現問題的時候，都會影響業務的運行，無論是網絡設備故障還是SAN交換機、甚至計算節點。整體方案採用千兆的網絡交換機進行虛擬機的管理與遷移，群集之間未開啟HA，SAN的劃分層次不明確，名稱沒有規範。導致故障後，虛擬機不能及時漂移。業務的流量過大，網絡帶寬受到限制。硬件鏈路的設備損壞，將導致虛擬化環境癱瘓，影響業務的正常使用。由於之前的架構在vMotion和Storage vMotion上的性能不佳，導致硬件或系統變更時，業務不能很好的遷移，給運維帶來了不小的壓力。

VMware vMotion遷移原理

vMotion作為VMware提供的強大功能之一，可以很好的幫運維人員解決單機維護影響業務的困擾。了解vMotion的遷移原理，為更好的架構設計打好鋪墊。

VMware VMotion能夠在兩台正在運行的服務器之間進行實時遷移，具有零停機性能，能夠大幅度提高了服務器的可用性，保證交易數據的完整性。用戶可以手工遷移服務器上的虛擬機至另外一台服務器，從而在不間斷服務的情況下，升級和維護原來的服務器。多個服務器之間可以自動遷移虛擬機，從而達到負載均衡，提高資源利用率的目的。同時，這項技術還可以實現雙機或多機熱備，保證了服務的高可用性。具體工作原理，如圖 1 所示，Storage vMotion如圖 2 所示：

圖 1.vMotion遷移原理圖

專業術語說明：

vMotion：是VMware 開發出的一項獨特技術，它將服務器、存儲和網絡設備完全虛擬化，使得正在運行的整個虛擬機能夠在瞬間從一台服務器移到另一台服務器上。虛擬機的全部狀態由存儲在共享存儲器上的一組文件進行封裝，而 VMware 的 VMFS 群集文件系統允許源和目標 VMware ESX 同時訪問這些虛擬機文件。
Storage vMotion：是VMware推出的一項針對存儲遷移的功能，就是在虛擬機開機狀態下改變其存儲位置，和VMotion一樣，整個遷移過程對用戶透明，應用不會中斷。

Storage vMotion作為VMware提供的另一個強大功能，極高方便了管理員針對存儲的運維，可以在業務需要時隨時在線遷移VM的存儲，不影響業務的正常運行，而且vMotion和Storage vMotion是可以同時操作的。

圖 2.Storage vMotion原理圖

原理圖說明：

移動磁盤文件之前，Storage VMotion 會在目標數據存儲中為虛擬機創建一個新的虛擬機主目錄。
接着，將會創建一個新的虛擬機實例。其配置保留在新的數據存儲中。
然後，Storage VMotion 會為每個所移動的虛擬機磁盤創建一個子磁盤，用於在父磁盤處於只讀模式的同時捕獲寫活動的副本。
將原始父磁盤複製到新的存儲位置。
子磁盤重新成為新位置中新複製的父磁盤的父磁盤。
完成到新虛擬機副本的轉移後，原始實例將關閉。然後，從 VMware vStorage VMFS 中刪除源位置的原始虛擬機主目錄

整個過程所花費的時間與冷遷移大致相同，並且與虛擬機磁盤的大小有關。從原始虛擬機到新實例的最終切換可在兩秒內完成，並且對應用程序用戶是透明的。Storage VMotion 使用獨立於特定存儲類型的高級拷貝引擎技術。這意味着它適用於您已有的任何存儲類型。

現有架構設計

為了讓大家更好的理解現有架構的問題，根據項目的實際經驗繪製了部署架構圖，並在文中對架構圖進行了詳細說明。如圖 3 所示：

圖 3.VMware部署架構圖

說明：

為了更好的理解架構用意，以下為詳細說明。

1.通過文章可以看到這是一個典型的集中存儲架構，採用HP的3PAR作為虛擬機的存儲。

2.兩台博科SAN交換機交叉鏈接。

3.四台思科千兆交換機兩兩堆疊，但是網關和出口卻在第一台。

4.所有ESXi主機分別連接SAN網路及以太網絡。

高可用架構

乍一看之前的架構沒有什麼問題，但是仔細推敲會發現網絡不具備冗餘效果，當第一台交換機出現意外宕機，那麼整個虛擬化環境將脫離網絡，直接影響業務的正常運行。而四台交換機均為千兆交換機，無法滿足業務的使用和將來的擴展。為了解決這些問題，我們將現有架構進行了修訂，所有鏈路均實現冗餘，任何一條鏈路中斷，都不會影響業務的正常運行。新架構如圖4所示：

圖 4.虛擬化環境架構圖

高可用架構說明

由於受到硬件資源限制，首先需要購買萬兆交換機，並且每台服務器上需要插入萬兆網卡，詳細信息如表 1 所示。

表 1.環境設備說明

計算節點的設計

X3650服務器額外配置2塊萬兆雙口網卡、自帶4個千兆網口、2個HBA卡。為了讓虛擬化的性能和穩定性提高，採用管理流量、vKernel流量和VM流量分開的方式，不同的網卡走不同的流量，相互之間無干擾。共24台服務器，建立4個群集，分別用於生產和測試，在下文的網絡配置中，將詳細講述具體的分流配置。

ESXi安裝

實際項目中採用VMware vSphere6.0版本搭建虛擬化環境，其穩定性和功能性比之前的版本有所提升。

管理員通過IMM遠程安裝ESXi到24台服務器，並配置IP、主機名、DNS等配置。使所有主機相互通信，開啟防火牆防止遠程登陸，強化安全防禦機制。

ESXi添加群集

按照規劃，在vCenter內創建4個群集，分別命名為Prd01、Prd02、Dev01、Dev02。每個集群添加6台主機，主機的命名符合規劃要求，主機的高可用配置將在下文介紹。

網絡的設計

4台網絡交換機去掉之前的堆疊模式，分別作為接入層交換機連接上層匯聚，劃分兩個VLAN，分別為生產VLAN命名為prod及開發測試VLAN命名為Dev。每台交換機獨立工作，作為接入層，盡量減少其它無關的網絡配置。

SAN的設計

2台博科SAN交換機分別將24台主機接入，並相互主備。每個交換機劃分24個Zone，以主機為單位，這樣設計可以提高I/O讀取，並確保Zone與Zone的隔離，不會影響其他的主機與存儲。

存儲的設計

當前採用惠普的高端存儲3PAR作為VM及其它相關文件的存儲介質，共劃分15個LUN，每個LUN是4T。全部格式化為VMFS5，掛載到各個主機。由於3PAR底層採用RAID技術確保了數據的冗餘性，所以我們直接劃分相關LUN即可。

環境配置

通過上述操作，已經將虛擬化環境的基礎設施進行了說明，從底層存儲到SAN交換機、主機及上層的網絡設備，確保連接線正常，符合交叉連接法，避免單鏈路故障。下面將主要介紹具體的配置，如何使其符合高可用要求。

VMware主機高可用配置

SXi軟件的順利安裝僅僅是完成了虛擬化的搭建，但是其高可用特性需要額外的配置。不同的配置參數，將有不同的效果產生。VMware的高級功能很多都在群集中設定，群集將作為高可用區（Availability zone）對其內部主機進行統一資源分配與調整。群集內的虛擬機將以群集作為邊界進行自動遷移和負載。作為高可用要求，需要在群集內打開HA，此功能將確保單個主機故障後，虛擬機可以自動在群集內的其它主機上重啟，保證業務不被長時間中斷。如圖5所示：

圖 5. VMware HA配置

開啟DRS功能，建議選擇全自動模式，當然不同場景請酌情設置。開啟後，創建的VM將會自動分配到資源合理的虛擬主機上，不會導致資源分配不均的現象發生。若在後期的使用中，資源發生變化，VM會自動調用vMotion功能，基於DRS的策略進行遷移，整個過程無需人工參與。如圖6所示：

圖 6. VMware DRS配置

VMware內的很多高級功能，都需要DRS和HA依賴，所以要使用更高階功能，都需要提前開啟上述兩個功能。

SAN配置

線纜連接正確後，分別登陸到兩台SAN交換機內，配置24個Zone，每個Zone內僅有一個主機與存儲LUN聚合。之後將所有的Zone統一保存在一個名為vcf的配置文件內。每個SAN交換機僅僅有一個配置文件會生效，所以請切記，不要建立多個。多個Config的配置，需要根據自身場景而定。配置完成後，同一群集內的主機可以看到共同的存儲LUN。如圖7所示：

圖 7. VMware LUN配置

網絡配置

為了滿足網絡流量按照功能隔離傳輸與高可用的要求，需要在每台主機的網絡配置中將四個萬兆網口交叉配置到不同的虛擬交換機內，vSwitch0主要負責vMotion、FT和管理流量。vSwitch1主要負責虛擬機的流量傳輸。如圖8所示：

圖 8. VMware 網絡配置

存儲高可用設計

調整後的架構，基本實現了各條鏈路的高可用，唯一不足的是存儲為單一集中存儲。按照當前架構，如果存儲損壞，所有的數據將不能放問，甚至有丟失的風險。整個項目由於費用的問題，不能在本季度進行存儲購買。為了保證虛擬機在存儲失效後可用，我們暫時採用備份機制解決，遇到類似問題，通過備份恢復。如果條件允許，還是建議買額外的3PAR存儲或者IBM SVC進行存儲級別的冗餘，可以大大減輕存儲損壞帶來的損失，快速切算業務到正常的存儲。

通過如上設計，基本上去掉了之前架構的網絡、主機等非高可用因素，提高了基礎設施的可用性、可靠性。