ddd建立java分散式系統的簡單介紹

本文目錄一覽：

• 1、java里的分散式系統開發到底和普通的開發有什麼不同？
• 2、如何用java 建立一個分散式系統
• 3、為什麼DDD是設計微服務的最佳實踐

java里的分散式系統開發到底和普通的開發有什麼不同？

java的分散式系統開發就是同一個服務，把資料庫的不同部分分開建立到不同的伺服器上。以緩解資料庫大量數據訪問的壓力。

很多大公司的業務量比較大，每天的訪問量都達到幾百萬上千萬，甚至上億的訪問量，在訪問量不是很大的情況下，是可以通過提高單台伺服器的配置來滿足需求的。但是當單台伺服器已經滿足不了需求的時候就需要做分散式處理了。畢竟一台伺服器的處理能力是有限的。

如果分散到幾台甚至幾十台幾百天電腦上，其優勢就顯現出來了。

如何用java 建立一個分散式系統

分散式架構的演進

系統架構演化歷程-初始階段架構

初始階段 的小型系統 應用程序、資料庫、文件等所有的資源都在一台伺服器上通俗稱為LAMP

特徵：

應用程序、資料庫、文件等所有的資源都在一台伺服器上。

描述：

通常伺服器操作系統使用Linux，應用程序使用PHP開發，然後部署在Apache上，資料庫使用MySQL，彙集各種免費開源軟體以及一台廉價伺服器就可以開始系統的發展之路了。

系統架構演化歷程-應用服務和數據服務分離

好景不長，發現隨著系統訪問量的再度增加，webserver機器的壓力在高峰期會上升到比較高，這個時候開始考慮增加一台webserver

特徵：

應用程序、資料庫、文件分別部署在獨立的資源上。

描述：

數據量增加，單台伺服器性能及存儲空間不足，需要將應用和數據分離，並發處理能力和數據存儲空間得到了很大改善。

系統架構演化歷程-使用緩存改善性能

特徵：

資料庫中訪問較集中的一小部分數據存儲在緩存伺服器中，減少資料庫的訪問次數，降低資料庫的訪問壓力。

描述：

系統訪問特點遵循二八定律，即80%的業務訪問集中在20%的數據上。

緩存分為本地緩存和遠程分散式緩存，本地緩存訪問速度更快但緩存數據量有限，同時存在與應用程序爭用內存的情況。

系統架構演化歷程-使用應用伺服器集群

在做完分庫分表這些工作後，資料庫上的壓力已經降到比較低了，又開始過著每天看著訪問量暴增的幸福生活了，突然有一天，發現系統的訪問又開始有變慢的趨勢了，這個時候首先查看資料庫，壓力一切正常，之後查看webserver，發現apache阻塞了很多的請求，而應用伺服器對每個請求也是比較快的，看來 是請求數太高導致需要排隊等待，響應速度變慢

特徵：

多台伺服器通過負載均衡同時向外部提供服務，解決單台伺服器處理能力和存儲空間上限的問題。

描述：

使用集群是系統解決高並發、海量數據問題的常用手段。通過向集群中追加資源，提升系統的並發處理能力，使得伺服器的負載壓力不再成為整個系統的瓶頸。

系統架構演化歷程-資料庫讀寫分離

享受了一段時間的系統訪問量高速增長的幸福後，發現系統又開始變慢了，這次又是什麼狀況呢，經過查找，發現資料庫寫入、更新的這些操作的部分資料庫連接的資源競爭非常激烈，導致了系統變慢

特徵：

多台伺服器通過負載均衡同時向外部提供服務，解決單台伺服器處理能力和存儲空間上限的問題。

描述：

使用集群是系統解決高並發、海量數據問題的常用手段。通過向集群中追加資源，使得伺服器的負載壓力不在成為整個系統的瓶頸。

系統架構演化歷程-反向代理和CDN加速

特徵：

採用CDN和反向代理加快系統的 訪問速度。

描述：

為了應付複雜的網路環境和不同地區用戶的訪問，通過CDN和反向代理加快用戶訪問的速度，同時減輕後端伺服器的負載壓力。CDN與反向代理的基本原理都是緩存。

系統架構演化歷程-分散式文件系統和分散式資料庫

隨著系統的不斷運行，數據量開始大幅度增長，這個時候發現分庫後查詢仍然會有些慢，於是按照分庫的思想開始做分表的工作

特徵：

資料庫採用分散式資料庫，文件系統採用分散式文件系統。

描述：

任何強大的單一伺服器都滿足不了大型系統持續增長的業務需求，資料庫讀寫分離隨著業務的發展最終也將無法滿足需求，需要使用分散式資料庫及分散式文件系統來支撐。

分散式資料庫是系統資料庫拆分的最後方法，只有在單表數據規模非常龐大的時候才使用，更常用的資料庫拆分手段是業務分庫，將不同的業務資料庫部署在不同的物理伺服器上。

系統架構演化歷程-使用NoSQL和搜索引擎

特徵：

系統引入NoSQL資料庫及搜索引擎。

描述：

隨著業務越來越複雜，對數據存儲和檢索的需求也越來越複雜，系統需要採用一些非關係型資料庫如NoSQL和分資料庫查詢技術如搜索引擎。應用伺服器通過統一數據訪問模塊訪問各種數據，減輕應用程序管理諸多數據源的麻煩。

系統架構演化歷程-業務拆分

特徵：

系統上按照業務進行拆分改造，應用伺服器按照業務區分進行分別部署。

描述：

為了應對日益複雜的業務場景，通常使用分而治之的手段將整個系統業務分成不同的產品線，應用之間通過超鏈接建立關係，也可以通過消息隊列進行數據分發，當然更多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統。

縱向拆分：

將一個大應用拆分為多個小應用，如果新業務較為獨立，那麼就直接將其設計部署為一個獨立的Web應用系統

縱向拆分相對較為簡單，通過梳理業務，將較少相關的業務剝離即可。

橫向拆分：將復用的業務拆分出來，獨立部署為分散式服務，新增業務只需要調用這些分散式服務

橫向拆分需要識別可復用的業務，設計服務介面，規範服務依賴關係。

系統架構演化歷程-分散式服務

特徵：

公共的應用模塊被提取出來，部署在分散式伺服器上供應用伺服器調用。

描述：

隨著業務越拆越小，應用系統整體複雜程度呈指數級上升，由於所有應用要和所有資料庫系統連接，最終導致資料庫連接資源不足，拒絕服務。

Q：分散式服務應用會面臨哪些問題？

A：

(1) 當服務越來越多時，服務URL配置管理變得非常困難，F5硬體負載均衡器的單點壓力也越來越大。

(2) 當進一步發展，服務間依賴關係變得錯蹤複雜，甚至分不清哪個應用要在哪個應用之前啟動，架構師都不能完整的描述應用的架構關係。

(3) 接著，服務的調用量越來越大，服務的容量問題就暴露出來，這個服務需要多少機器支撐？什麼時候該加機器？

(4) 服務多了，溝通成本也開始上升，調某個服務失敗該找誰？服務的參數都有什麼約定？

(5) 一個服務有多個業務消費者，如何確保服務質量？

(6) 隨著服務的不停升級，總有些意想不到的事發生，比如cache寫錯了導致內存溢出，故障不可避免，每次核心服務一掛，影響一大片，人心慌慌，如何控制故障的影響面？服務是否可以功能降級？或者資源劣化？

Java分散式應用技術基礎

分散式服務下的關鍵技術：消息隊列架構

消息對列通過消息對象分解系統耦合性，不同子系統處理同一個消息

分散式服務下的關鍵技術：消息隊列原理

分散式服務下的關鍵技術：服務框架架構

服務框架通過介面分解系統耦合性，不同子系統通過相同的介面描述進行服務啟用

服務框架是一個點對點模型

服務框架面向同構系統

適合：移動應用、互聯網應用、外部系統

分散式服務下的關鍵技術：服務框架原理

分散式服務下的關鍵技術：服務匯流排架構

服務匯流排同服務框架一樣，均是通過介面分解系統耦合性，不同子系統通過相同的介面描述進行服務啟用

服務匯流排是一個匯流排式的模型

服務匯流排面向同構、異構系統

適合：內部系統

分散式服務下的關鍵技術：服務匯流排原理

分散式架構下系統間交互的5種通信模式

request/response模式（同步模式）：客戶端發起請求一直阻塞到服務端返回請求為止。

Callback（非同步模式）：客戶端發送一個RPC請求給伺服器，服務端處理後再發送一個消息給消息發送端提供的callback端點，此類情況非常合適以下場景：A組件發送RPC請求給B，B處理完成後，需要通知A組件做後續處理。

Future模式：客戶端發送完請求後，繼續做自己的事情，返回一個包含消息結果的Future對象。客戶端需要使用返回結果時，使用Future對象的.get(),如果此時沒有結果返回的話，會一直阻塞到有結果返回為止。

Oneway模式：客戶端調用完繼續執行，不管接收端是否成功。

Reliable模式：為保證通信可靠，將藉助於消息中心來實現消息的可靠送達，請求將做持久化存儲，在接收方在線時做送達，並由消息中心保證異常重試。

五種通信模式的實現方式-同步點對點服務模式

五種通信模式的實現方式-非同步點對點消息模式1

五種通信模式的實現方式-非同步點對點消息模式2

五種通信模式的實現方式-非同步廣播消息模式

分散式架構下的服務治理

服務治理是服務框架/服務匯流排的核心功能。所謂服務治理，是指服務的提供方和消費方達成一致的約定，保證服務的高質量。服務治理功能可以解決將某些特定流量引入某一批機器，以及限制某些非法消費者的惡意訪問，並在提供者處理量達到一定程度是，拒絕接受新的訪問。

基於服務框架Dubbo的服務治理-服務管理

可以知道你的系統，對外提供了多少服務，可以對服務進行升級、降級、停用、權重調整等操作

可以知道你提供的服務，誰在使用，因業務需求，可以對該消費者實施屏蔽、停用等操作

基於服務框架Dubbo的服務治理-服務監控

可以統計服務的每秒請求數、平均響應時間、調用量、峰值時間等，作為服務集群規劃、性能調優的參考指標。

基於服務框架Dubbo的服務治理-服務路由

基於服務框架Dubbo的服務治理-服務保護

基於服務匯流排OSB的服務治理-功能介紹

基於服務匯流排OSB的服務治理

Q：Dubbo到底是神馬？

A：

淘寶開源的高性能和透明化的RPC遠程調用服務框架

SOA服務治理方案

Q：Dubbo原理是？

A：

-結束-

為什麼DDD是設計微服務的最佳實踐

在本人的前一篇文章《不要把微服務做成小單體》中，現在很多的微服務開發團隊在設計和實現微服務的時候覺得只要把原來的單體拆小，就是微服務了。但是這不一定是正確的微服務，可能只是一個拆小的小單體。這篇文章讓我們從這個話題繼續，先看看為什麼拆出來的是小單體。

在微服務架構誕生之前，幾乎所有的軟體系統都是採用單體架構來構建的，因此大部分軟體開發者喜歡的開發路徑就是單體架構模式。在這樣的背景下，根據經濟學和心理學的 路徑依賴法則 ，當這些開發者基於新的技術想要把原來的大單體拆分成多個部分時，就必然會習慣性地採用自己最擅長的單體架構來設計每個部分。

在現實中我們經常看到這個法則隨處都會發生，微信剛出來的時候很多人說這不就是手機上的QQ嗎，朋友圈剛出來的時候他們又會說這不就是抄襲微博嗎。很多時候當你興緻沖沖給朋友介紹一個新的東東時，朋友一句話就能讓你萬念俱灰：這不就是XXX嗎？之所以這樣，是因為人類在接觸到新知識新概念的時候，都會下意識的使用以前知道的概念進行套用，這樣的思維方式是人類從小到大學習新事物的時候使用的模式，它已經固化成我們大腦操作系統的一部分了。

理解了這個法則，我們就可以很容易的明白，已經在單體架構下開發了多年的軟體工程師，當被要求要使用微服務架構來進行設計和開發的時候，本能的反應方式肯定是：這不就是把原來的單體做小了嗎？但是這樣做出來的「微服務」真的能夠給我們帶來微服務架構的那些好處嗎？真的能提高一個企業的數字化響應力嗎？

不斷變化的軟體需求和經常被視為效率低下的軟體開發一直都是這個行業里最難解決的頑疾，從瀑布到敏捷，都是在嘗試找到一個解決這個頑疾的方法，領域驅動設計（Domain Driven Design）也是其中一個藥方，而且隨著十多年的不斷實踐，我們發現這個藥方有它自己的獨特之處，下面我們先來介紹一下這個藥方。

領域驅動設計這個概念出現在2003年，那個時候的軟體還處在從CS到BS轉換的時期，敏捷宣言也才發表2年。但是Eric Evans做為在企業級應用工作多年的技術顧問，敏銳的發現了在軟體開發業界內（尤其是企業級應用）開始湧現的一股思潮，他把這股思潮成為領域驅動設計，同時還出版了一本書，在書中分享了自己在設計軟體項目時採用的建模方法，並為設計決策者提供了一個框架。

但是從那以後DDD並沒有和敏捷一樣變得更加流行，如果要問原因，我覺得一方面是這套方法裡面有很多的新名詞新概念，比如說聚合，限界上下文，值對象等等，要理解這些抽象概念本身就比較困難，所以學習和應用DDD的曲線是非常陡峭的。另一方面，做為當時唯一的「官方教材」《領域驅動設計》，閱讀這本書是一個非常痛苦的過程，在內容組織上經常會出現跳躍，所以很多人都是剛讀了幾頁就放下了。

雖然入門門檻有些高，但是對於喜歡智力挑戰的軟體工程師們來說，這就是一個難度稍為有一點高的玩具，所以在小範圍群體內，逐漸有一批人開始能夠掌控這個玩具，並且可以用它來指導設計能夠控制業務複雜性的軟體應用出來了。雖然那時候大部分的軟體應用都是單體的，但是使用DDD依然可以設計出來容易維護而且快速響應需求變化的單體應用出來。

到了2013年，隨著各種分散式的基礎設施逐漸成熟，而SOA架構應用在實踐中又不是那麼順利，Martin Fowler和James Lewis把當時出現的一種新型分散式架構風潮總結成 微服務架構 。然後微服務這股風就呼呼的吹了起來，這時候軟體工程師們發現一個問題，就是雖然指導微服務架構的應用具有什麼特徵，但是如何把原來的大單體拆分成微服務是完全不知道怎麼做了。然後熟悉DDD方法的工程師發現，由於DDD可以有效的從業務視角對軟體系統進行拆解，並且DDD特別契合微服務的一個特徵：圍繞業務能力構建。所以用DDD拆分出來的微服務是比較合理的而且能夠實現高內聚低耦合，這樣接著微服務DDD迎來了它的第二春。

下面讓我們站在軟體工程這個大視角看看DDD究竟是在做什麼。

從計算機發明以來，人類用過表達世界變化的詞有：電子化，信息化，數字化。這些詞裡面都有一個「化」字，代表著轉變，而這些轉變就是人類在逐漸的把原來在物理世界中的一個個概念一個個工作，遷移到虛擬的計算機世界。但是在轉變的過程中，由於兩個世界的底層邏輯以及底層語言不一致，就必須要有一個翻譯和設計的過程。這個翻譯過程從軟體誕生的第一天起就天然存在，而由於有了這個翻譯過程，業務和開發之間才總是想兩個對立的階級一樣，覺得對方是難以溝通的。

於是乎有些軟體工程界的大牛就開始思考，能不能有一種方式來減輕這個翻譯過程呢。然後就發明了面向對象語言，開始嘗試讓計算機世界有物理世界的對象概念。面向對象還不夠，這就有了DDD，DDD定義了一些基本概念，然後嘗試讓業務和開發都能夠理解這些概念名詞，然後讓領域專家使用這些概念名詞來描述業務，而由於使用了規定的概念名詞，開發就可以很好的理解領域業務，並能夠按照領域業務設計的方式進行軟體實現。這就是DDD的初衷：讓業務架構綁定系統架構。

後來發現這個方法不僅僅可以做好翻譯，還可以幫助業務劃分領域邊界，可以明確哪個領域是自己的核心價值所在，以後應該重點發展哪個領域。甚至可以作為組織進行戰略規劃的參考。而能夠做到這點，其實背後的原因是物理世界和虛擬世界的融合。

上面介紹了使用DDD可以做到綁定業務架構和系統架構，這種綁定對於微服務來說有什麼關係呢。所謂的微服務拆分困難，其實根本原因是不知道邊界在什麼地方。而使用DDD對業務分析的時候，首先會使用聚合這個概念把關聯性強的業務概念劃分在一個邊界下，並限定聚合和聚合之間只能通過聚合根來訪問，這是第一層邊界。然後在聚合基礎之上根據業務相關性，業務變化頻率，組織結構等等約束條件來定義限界上下文，這是第二層邊界。有了這兩層邊界作為約束和限制，微服務的邊界也就清晰了，拆分微服務也就不再困難了。

而且基於DDD設計的模型中具有邊界的最小原子是聚合，聚合和聚合之間由於只通過聚合根進行關聯，所以當需要把一個聚合根從一個限界上下文移動到另外一個限界上下文的時候，非常低的移動成本可以很容易地對微服務進行重構，這樣我們就不需要再糾結應不應該這樣拆分微服務？拆出的微服務太少了以後要再拆分這樣的問題了。

所以，經過理論的嚴密推理和大量實踐項目的驗證，ThoughtWorks認為DDD是當前軟體工程業界設計微服務的最佳實踐。雖然學習和使用DDD的成本有點高，但是如果中國的企業想再軟體開發這個能力上從冷兵器時代進入熱兵器時代，就應該嘗試一下DDD了解一下先進的軟體工程方法。