本文目錄一覽：
golang有哪些不錯的遊戲伺服器框架
為什麼golang的開發效率高看
golang是一編譯型的強類型語言，它在開發上的高效率主要來自於後發優勢，不用考慮舊有噁心的歷史，又有一個較高的工程視角。良好的避免了程序員因為逗 { 需不需要獨佔一行 地這種革命問題打架，也解決了一部分趁編譯時間找產品妹妹搭訕的階級敵人。
它有自己的包管理機制，工具鏈成熟，從開發、調試到發布都很簡單方便；
有反向介面、defer、coroutine等大量的syntactic sugar；
編譯速度快，因為是強類型語言又有gc，只要通過編譯，非業務毛病就很少了；
它在語法級別上支持了goroutine，這是大家說到最多的內容，這裡重點提一下。首先，coroutine並不稀罕，語言並不能超越硬體、操作系統實現神乎其神的功能。golang可以做到事情，其他語言也可以做到，譬如c++，在boost庫裡面自己就有的coroutine實現（當然用起來跟其他boost庫一樣噁心）。golang做的事情，是把這一套東西的使用過程簡化了，並且提供了一套channel的通信模式，使得程序員可以忽略諸如死鎖等問題。
goroutine的目的是描述並發編程模型。並發與並行不同，它並不需要多核的硬體支持，它不是一種物理運行狀態，而是一種程序邏輯流程。它的主要目的不是利用多核提高運行效率，而是提供一種更容易理解、不容易出錯的語言來描述問題。
實際上golang默認就是運行在單OS進程上面的，通過指定環境變數GOMAXPROCS才能轉身跑在多OS進程上面。有人提到了的pomelo，開源本來是一件很不錯的事情，但是基於自己對callback hell的偏見，我一直持有這種態度：敢用nodejs寫大規模遊戲伺服器的人，都是真正的勇士 : ) 。
2、Erlang與Golang的coroutine有啥區別，coroutine是啥看
coroutine本質上是語言開發者自己實現的、處於user space內的線程，無論是erlang、還是golang都是這樣。需要解決沒有時鐘中斷；碰著阻塞式i\o，整個進程都會被操作系統主動掛起；需要自己擁有調度控制能力（放在並行環境下面還是挺麻煩的一件事）等等問題。那為啥要廢老大的勁自己做一套線程放user space裡面呢看
並發是伺服器語言必須要解決的問題；
system space的進程還有線程調度都太慢了、佔用的空間也太大了。
把線程放到user space的可以避免了陷入system call進行上下文切換以及高速緩衝更新，線程本身以及切換等操作可以做得非常的輕量。這也就是golang這類語言反覆提及的超高並發能力，分分鐘給你開上幾千個線程不費力。
不同的是，golang的並發調度在i/o等易發阻塞的時候才會發生，一般是內封在庫函數內；erlang則更誇張，對每個coroutine維持一個計數器，常用語句都會導致這個計數器進行reduction，一旦到點，立即切換調度函數。
中斷介入程度的不同，導致erlang看上去擁有了preemptive scheduling的能力，而golang則是cooperative shceduling的。golang一旦寫出純計算死循環，進程內所有會話必死無疑；要有大計算量少i\o的函數還得自己主動叫runtime.Sched()來進行調度切換。
3、golang的運行效率怎麼樣看
我是相當反感所謂的ping\pong式benchmark，運行效率需要放到具體的工作環境下面考慮。
首先，它再快也是快不過c的，畢竟底下做了那麼多工作，又有調度，又有gc什麼的。那為什麼在那些benchmark裡面，golang、nodejs、erlang的響應效率看上去那麼優秀呢，響應快，並發強看並發能力強的原因上面已經提到了，響應快是因為大量非阻塞式i\o操作出現的原因。這一點c也可以做到，並且能力更強，但是得多寫不少優質代碼。
然後，針對遊戲伺服器這種高實時性的運行環境，GC所造成的跳幀問題確實比較麻煩，前面的大神 @達達 有比較詳細的論述和緩解方案，就不累述了 。隨著golang的持續開發，相信應該會有非常大的改進。一是屏蔽內存操作是現代語言的大勢所趨，它肯定是需要被實現的；二是GC演算法已經相當的成熟，效率勉勉強強過得去；三是可以通過incremental的操作來均攤cpu消耗。
用這一點點效率損失換取一個更高的生產能力是不是值得呢看我覺得是值得的，硬體已經很便宜了，人生苦短，讓自己的生活更輕鬆一點吧: )。
4、基於以上的論述，我認為採用go進行小範圍的MMORPG開發是可行的。
golang 有哪些比較穩定的 web 開發框架
第一個：Beego框架
Beego框架是astaxie的GOWeb開發的開源框架。Beego框架最大的特點是由八個大的基礎模塊組成，八大基礎模塊的特點是可以根據自己的需要進行引入，模塊相互獨立，模塊之間耦合性低。
相應的Beego的缺點就是全部使用時比較臃腫，通過bee工具來構建項目時，直接生成項目目錄和耦合關係，從而會導致在項目開發過程中受制性較大。
第二個：Gin框架
Gin是一個GOlang的微框架，封裝比較優雅，API友好，源碼注釋比較明確，已經發布了1.0版本;具有快速靈活、容錯方便等特點，其實對於golang而言，web框架的依賴遠比Python、Java更小。
目前在很多使用golang的中小型公司中進行業務開發，使用Gin框架的很多，大家如果想使用golang進行熟練Web開發，可以多關注一下這個框架。
第三個：Iris框架
Iris框架在其官方網站上被描述為GO開發中最快的Web框架，並給出了多框架和多語言之前的性能對比。目前在github上，Iris框架已經收穫了14433個star和1493個fork，可見是非常受歡迎的。
在實際開發中，Iris框架與Gin框架的學習曲線幾乎相同，所以掌握了Gin就可以輕鬆掌握Iris框架。
第四個：Echo框架
也是golang的微型Web框架，其具備快速HTTP路由器、支持擴展中間件，同時還支持靜態文件服務、Websocket以及支持制定綁定函數，制定相應渲染函數，並允許使用任意的HTML模版引擎。
GoLang — Gin框架
• 何為框架：
框架一直是敏捷開發中的利器，能讓開發者很快的上手並做出應用，甚至有的時候，脫離了框架，一些開發者都不會寫程序了。成長總不會一蹴而就，從寫出程序獲取成就感，再到精通框架，快速構造應用，當這些方面都得心應手的時候，可以嘗試改造一些框架，或是自己創造一個。
Gin是一個golang的微框架，封裝比較優雅，API友好，源碼注釋比較明確，已經發布了1.0版本。具有快速靈活，容錯方便等特點。其實對於golang而言，web框架的依賴要遠比Python，Java之類的要小。自身的net/http足夠簡單，性能也非常不錯。框架更像是一些常用函數或者工具的集合。藉助框架開發，不僅可以省去很多常用的封裝帶來的時間，也有助於團隊的編碼風格和形成規範。
（1）首先需要安裝，安裝比較簡單，使用go get即可
go get github.com/gin-gonic/gin
如果安裝失敗，直接去Github clone下來，放置到對應的目錄即可。
（2）代碼中使用：
下面是一個使用Gin的簡單例子：
package main
import (
“github.com/gin-gonic/gin”
)
func main() {
router := gin.Default()
router.GET(“/ping”, func(c *gin.Context) {
c.JSON(200, gin.H{
“message”: “pong”,
})
})
router.Run(“:8080”) // listen and serve on 0.0.0.0:8080
}
簡單幾行代碼，就能實現一個web服務。使用gin的Default方法創建一個路由handler。然後通過HTTP方法綁定路由規則和路由函數。不同於net/http庫的路由函數，gin進行了封裝，把request和response都封裝到gin.Context的上下文環境。最後是啟動路由的Run方法監聽埠。麻雀雖小，五臟俱全。當然，除了GET方法，gin也支持POST,PUT,DELETE,OPTION等常用的restful方法。
Gin可以很方便的支持各種HTTP請求方法以及返回各種類型的數據，詳情可以前往查看。
2.1 匹配參數
我們可以使用Gin框架快速的匹配參數，如下代碼所示：
冒號:加上一個參數名組成路由參數。可以使用c.Param的方法讀取其值。當然這個值是字串string。諸如/user/rsj217，和/user/hello都可以匹配，而/user/和/user/rsj217/不會被匹配。
瀏覽器輸入以下測試：
返回結果為：
其中c.String是gin.Context下提供的方法，用來返回字元串。
其中c.Json是gin.Context下提供的方法，用來返回Json。
下面我們使用以下gin提供的Group函數，方便的為不同的API進行分類。
我們創建了一個gin的默認路由，並為其分配了一個組 v1，監聽hello請求並將其路由到視圖函數HelloPage，最後綁定到 0.0.0.0:8000
C.JSON是Gin實現的返回json數據的內置方法，包含了2個參數，狀態碼和返回的內容。http.StatusOK代表返回狀態碼為200，正文為{“message”: 「welcome”}。
註：Gin還包含更多的返回方法如c.String, c.HTML, c.XML等，請自行了解。可以方便的返回HTML數據
我們在之前的組v1路由下新定義一個路由：
下面我們訪問
可以看到，通過c.Param(「key」)方法，Gin成功捕獲了url請求路徑中的參數。同理，gin也可以捕獲常規參數，如下代碼所示：
在瀏覽器輸入以下代碼：
通過c.Query(「key」)可以成功接收到url參數，c.DefaultQuery在參數不存在的情況下，會由其默認值代替。
我們還可以為Gin定義一些默認路由：
這時候，我們訪問一個不存在的頁面：
返回如下所示：
下面我們測試在Gin裡面使用Post
在測試端輸入：
附帶發送的數據，測試即可。記住需要使用POST方法.
繼續修改，將PostHandler的函數修改如下
測試工具輸入：
發送的內容輸入：
返回結果如下：
備註：此處需要指定Content-Type為application/x-www-form-urlencoded，否則識別不出來。
一定要選擇對應的PUT或者DELETE方法。
Gin框架快速的創建路由
能夠方便的創建分組
支持url正則表達式
支持參數查找（c.Param c.Query c.PostForm）
請求方法精準匹配
支持404處理
快速的返回給客戶端數據，常用的c.String c.JSON c.Data
如何實現支持數億用戶的長連消息系統
此文是根據周洋在【高可用架構群】中的分享內容整理而成，轉發請註明出處。周洋，360手機助手技術經理及架構師，負責360長連接消息系統，360手機助手架構的開發與維護。不知道咱們群名什麼時候改為「Python高可用架構群」了，所以不得不說，很榮幸能在接下來的一個小時里在Python群里討論golang….360消息系統介紹360消息系統更確切的說是長連接push系統，目前服務於360內部多個產品，開發平台數千款app，也支持部分聊天業務場景，單通道多app復用，支持上行數據，提供接入方不同粒度的上行數據和用戶狀態回調服務。目前整個系統按不同業務分成9個功能完整的集群，部署在多個idc上（每個集群覆蓋不同的idc），實時在線數億量級。通常情況下，pc，手機，甚至是智能硬體上的360產品的push消息，基本上是從我們系統發出的。關於push系統對比與性能指標的討論很多同行比較關心go語言在實現push系統上的性能問題，單機性能究竟如何，能否和其他語言實現的類似系統做對比么？甚至問如果是創業,第三方雲推送平台，推薦哪個?其實各大廠都有類似的push系統，市場上也有類似功能的雲服務。包括我們公司早期也有erlang，nodejs實現的類似系統，也一度被公司要求做類似的對比測試。我感覺在討論對比數據的時候，很難保證大家環境和需求的統一，我只能說下我這裡的體會，數據是有的，但這個數據前面估計會有很多定語~第一個重要指標：單機的連接數指標做過長連接的同行，應該有體會，如果在穩定連接情況下，連接數這個指標，在沒有網路吞吐情況下對比，其實意義往往不大，維持連接消耗cpu資源很小，每條連接tcp協議棧會佔約4k的內存開銷，系統參數調整後，我們單機測試數據，最高也是可以達到單實例300w長連接。但做更高的測試，我個人感覺意義不大。因為實際網路環境下，單實例300w長連接，從理論上算壓力就很大：實際弱網路環境下，移動客戶端的斷線率很高，假設每秒有1000分之一的用戶斷線重連。300w長連接，每秒新建連接達到3w，這同時連入的3w用戶，要進行註冊，載入離線存儲等對內rpc調用，另外300w長連接的用戶心跳需要維持,假設心跳300s一次，心跳包每秒需要1w tps。單播和多播數據的轉發，廣播數據的轉發，本身也要響應內部的rpc調用，300w長連接情況下，gc帶來的壓力，內部介面的響應延遲能否穩定保障。這些集中在一個實例中，可用性是一個挑戰。所以線上單實例不會hold很高的長連接,實際情況也要根據接入客戶端網路狀況來決定。第二個重要指標:消息系統的內存使用量指標這一點上，使用go語言情況下，由於協程的原因，會有一部分額外開銷。但是要做兩個推送系統的對比，也有些需要確定問題。比如系統從設計上是否需要全雙工（即讀寫是否需要同時進行）如果半雙工，理論上對一個用戶的連接只需要使用一個協程即可（這種情況下，對用戶的斷線檢測可能會有延時），如果是全雙工，那讀/寫各一個協程。兩種場景內存開銷是有區別的。另外測試數據的大小往往決定我們對連接上設置的讀寫buffer是多大，是全局復用的，還是每個連接上獨享的，還是動態申請的。另外是否全雙工也決定buffer怎麼開。不同的策略，可能在不同情況的測試中表現不一樣。第三個重要指標：每秒消息下發量這一點上，也要看我們對消息到達的QoS級別(回復ack策略區別），另外看架構策略，每種策略有其更適用的場景，是純粹推？還是推拉結合？甚至是否開啟了消息日誌？日誌庫的實現機制、以及緩衝開多大？flush策略……這些都影響整個系統的吞吐量。另外為了HA，增加了內部通信成本，為了避免一些小概率事件，提供閃斷補償策略，這些都要考慮進去。如果所有的都去掉，那就是比較基礎庫的性能了。所以我只能給出大概數據，24核，64G的伺服器上，在QoS為message at least，純粹推，消息體256B~1kB情況下，單個實例100w實際用戶（200w+）協程，峰值可以達到2~5w的QPS…內存可以穩定在25G左右，gc時間在200~800ms左右（還有優化空間）。我們正常線上單實例用戶控制在80w以內，單機最多兩個實例。事實上，整個系統在推送的需求上，對高峰的輸出不是提速，往往是進行限速，以防push系統瞬時的高吞吐量，轉化成對接入方業務伺服器的ddos攻擊所以對於性能上，我感覺大家可以放心使用，至少在我們這個量級上，經受過考驗，go1.5到來後，確實有之前投資又增值了的感覺。消息系統架構介紹下面是對消息系統的大概介紹，之前一些同學可能在gopher china上可以看到分享，這裡簡單講解下架構和各個組件功能，額外補充一些當時遺漏的信息：架構圖如下，所有的service都 written by golang.幾個大概重要組件介紹如下：dispatcher service根據客戶端請求信息，將應網路和區域的長連接伺服器的，一組IP傳送給客戶端。客戶端根據返回的IP，建立長連接，連接Room service.room Service，長連接網關，hold用戶連接，並將用戶註冊進register service，本身也做一些接入安全策略、白名單、IP限制等。register service是我們全局session存儲組件，存儲和索引用戶的相關信息，以供獲取和查詢。coordinator service用來轉發用戶的上行數據，包括接入方訂閱的用戶狀態信息的回調，另外做需要協調各個組件的非同步操作，比如kick用戶操作,需要從register拿出其他用戶做非同步操作.saver service是存儲訪問層，承擔了對redis和mysql的操作，另外也提供部分業務邏輯相關的內存緩存，比如廣播信息的載入可以在saver中進行緩存。另外一些策略，比如客戶端sdk由於被惡意或者意外修改，每次載入了消息，不回復ack，那服務端就不會刪除消息，消息就會被反覆載入，形成死循環，可以通過在saver中做策略和判斷。（客戶端總是不可信的）。center service提供給接入方的內部api伺服器，比如單播或者廣播介面，狀態查詢介面等一系列api,包括運維和管理的api。舉兩個常見例子，了解工作機制：比如發一條單播給一個用戶，center先請求Register獲取這個用戶之前註冊的連接通道標識、room實例地址，通過room service下發給長連接 Center Service比較重的工作如全網廣播，需要把所有的任務分解成一系列的子任務，分發給所有center，然後在所有的子任務里，分別獲取在線和離線的所有用戶，再批量推到Room Service。通常整個集群在那一瞬間壓力很大。deployd/agent service用於部署管理各個進程，收集各組件的狀態和信息,zookeeper和keeper用於整個系統的配置文件管理和簡單調度關於推送的服務端架構常見的推送模型有長輪訓拉取，服務端直接推送（360消息系統目前主要是這種），推拉結合（推送只發通知，推送後根據通知去拉取消息）.拉取的方式不說了，現在並不常用了，早期很多是nginx+lua+redis，長輪訓，主要問題是開銷比較大，時效性也不好，能做的優化策略不多。直接推送的系統，目前就是360消息系統這種，消息類型是消耗型的，並且對於同一個用戶並不允許重複消耗,如果需要多終端重複消耗，需要抽象成不同用戶。推的好處是實時性好，開銷小，直接將消息下發給客戶端，不需要客戶端走從接入層到存儲層主動拉取.但純推送模型，有個很大問題，由於系統是非同步的，他的時序性無法精確保證。這對於push需求來說是夠用的，但如果復用推送系統做im類型通信，可能並不合適。對於嚴格要求時序性，消息可以重複消耗的系統，目前也都是走推拉結合的模型，就是只使用我們的推送系統發通知，並附帶id等給客戶端做拉取的判斷策略，客戶端根據推送的key，主動從業務伺服器拉取消息。並且當主從同步延遲的時候，跟進推送的key做延遲拉取策略。同時也可以通過消息本身的QoS，做純粹的推送策略，比如一些「正在打字的」低優先順序消息，不需要主動拉取了，通過推送直接消耗掉。哪些因素決定推送系統的效果？首先是sdk的完善程度，sdk策略和細節完善度，往往決定了弱網路環境下最終推送質量.SDK選路策略,最基本的一些策略如下：有些開源服務可能會針對用戶hash一個該接入區域的固定ip，實際上在國內環境下不可行，最好分配器（dispatcher）是返回散列的一組，而且埠也要參開，必要時候，客戶端告知是retry多組都連不上，返回不同idc的伺服器。因為我們會經常檢測到一些case，同一地區的不同用戶，可能對同一idc內的不同ip連通性都不一樣，也出現過同一ip不同埠連通性不同，所以用戶的選路策略一定要靈活，策略要足夠完善.另外在選路過程中，客戶端要對不同網路情況下的長連接ip做緩存，當網路環境切換時候（wifi、2G、3G)，重新請求分配器，緩存不同網路環境的長連接ip。客戶端對於數據心跳和讀寫超時設置,完善斷線檢測重連機制針對不同網路環境，或者客戶端本身消息的活躍程度，心跳要自適應的進行調整並與服務端協商，來保證鏈路的連通性。並且在弱網路環境下，除了網路切換（wifi切3G）或者讀寫出錯情況，什麼時候重新建立鏈路也是一個問題。客戶端發出的ping包，不同網路下，多久沒有得到響應，認為網路出現問題，重新建立鏈路需要有個權衡。另外對於不同網路環境下，讀取不同的消息長度，也要有不同的容忍時間，不能一刀切。好的心跳和讀寫超時設置，可以讓客戶端最快的檢測到網路問題，重新建立鏈路，同時在網路抖動情況下也能完成大數據傳輸。結合服務端做策略另外系統可能結合服務端做一些特殊的策略，比如我們在選路時候，我們會將同一個用戶盡量映射到同一個room service實例上。斷線時，客戶端盡量對上次連接成功的地址進行重試。主要是方便服務端做閃斷情況下策略，會暫存用戶閃斷時實例上的信息，重新連入的 時候，做單實例內的遷移，減少延時與載入開銷.客戶端保活策略很多創業公司願意重新搭建一套push系統，確實不難實現，其實在協議完備情況下（最簡單就是客戶端不回ack不清數據），服務端會保證消息是不丟的。但問題是為什麼在消息有效期內,到達率上不去？往往因為自己app的push service存活能力不高。選用雲平台或者大廠的，往往sdk會做一些保活策略，比如和其他app共生，互相喚醒，這也是雲平台的push service更有保障原因。我相信很多雲平台旗下的sdk，多個使用同樣sdk的app，為了實現服務存活，是可以互相喚醒和保證活躍的。另外現在push sdk本身是單連接，多app復用的，這為sdk實現，增加了新的挑戰。綜上，對我來說，選擇推送平台，優先會考慮客戶端sdk的完善程度。對於服務端，選擇條件稍微簡單，要求部署接入點（IDC）越要多，配合精細的選路策略，效果越有保證，至於想知道哪些雲服務有多少點，這個群里來自各地的小夥伴們，可以合夥測測。go語言開發問題與解決方案下面講下，go開發過程中遇到挑戰和優化策略，給大家看下當年的一張圖，在第一版優化方案上線前一天截圖~可以看到，內存最高佔用69G，GC時間單實例最高時候高達3~6s.這種情況下，試想一次悲劇的請求，經過了幾個正在執行gc的組件，後果必然是超時… gc照成的接入方重試，又加重了系統的負擔。遇到這種情況當時整個系統最差情況每隔2，3天就需要重啟一次~當時出現問題，現在總結起來，大概以下幾點1.散落在協程里的I/O，Buffer和對象不復用。當時（12年）由於對go的gc效率理解有限，比較奔放，程序里大量short live的協程，對內通信的很多io操作，由於不想阻塞主循環邏輯或者需要及時響應的邏輯，通過單獨go協程來實現非同步。這回會gc帶來很多負擔。針對這個問題，應盡量控制協程創建，對於長連接這種應用，本身已經有幾百萬並發協程情況下，很多情況沒必要在各個並發協程內部做非同步io，因為程序的並行度是有限，理論上做協程內做阻塞操作是沒問題。如果有些需要非同步執行，比如如果不非同步執行，影響對用戶心跳或者等待response無法響應，最好通過一個任務池，和一組常駐協程，來消耗，處理結果，通過channel再傳回調用方。使用任務池還有額外的好處，可以對請求進行打包處理，提高吞吐量，並且可以加入控量策略.2.網路環境不好引起激增go協程相比較以往高並發程序，如果做不好流控，會引起協程數量激增。早期的時候也會發現，時不時有部分主機內存會遠遠大於其他伺服器，但發現時候，所有主要profiling參數都正常了。後來發現，通信較多系統中，網路抖動阻塞是不可免的(即使是內網)，對外不停accept接受新請求，但執行過程中，由於對內通信阻塞，大量協程被 創建，業務協程等待通信結果沒有釋放，往往瞬時會迎來協程暴漲。但這些內存在系統穩定後，virt和res都並沒能徹底釋放，下降後，維持高位。處理這種情況，需要增加一些流控策略，流控策略可以選擇在rpc庫來做，或者上面說的任務池來做，其實我感覺放在任務池裡做更合理些，畢竟rpc通信庫可以做讀寫數據的限流，但它並不清楚具體的限流策略，到底是重試還是日誌還是緩存到指定隊列。任務池本身就是業務邏輯相關的，它清楚針對不同的介面需要的流控限制策略。3.低效和開銷大的rpc框架早期rpc通信框架比較簡單，對內通信時候使用的也是短連接。這本來短連接開銷和性能瓶頸超出我們預期，短連接io效率是低一些，但埠資源夠，本身吞吐可以滿足需要，用是沒問題的，很多分層的系統，也有http短連接對內進行請求的但早期go版本，這樣寫程序，在一定量級情況，是支撐不住的。短連接大量臨時對象和臨時buffer創建，在本已經百萬協程的程序中，是無法承受的。所以後續我們對我們的rpc框架作了兩次調整。第二版的rpc框架，使用了連接池，通過長連接對內進行通信（復用的資源包括client和server的：編解碼Buffer、Request/response），大大改善了性能。但這種在一次request和response還是佔用連接的，如果網路狀況ok情況下，這不是問題，足夠滿足需要了，但試想一個room實例要與後面的數百個的register，coordinator，saver，center，keeper實例進行通信，需要建立大量的常駐連接，每個目標機幾十個連接，也有數千個連接被佔用。非持續抖動時候（持續逗開多少無解），或者有延遲較高的請求時候，如果針對目標ip連接開少了，會有瞬時大量請求阻塞，連接無法得到充分利用。第三版增加了Pipeline操作，Pipeline會帶來一些額外的開銷，利用tcp的全雙特性，以盡量少的連接完成對各個服務集群的rpc調用。4.Gc時間過長Go的Gc仍舊在持續改善中，大量對象和buffer創建，仍舊會給gc帶來很大負擔，尤其一個佔用了25G左右的程序。之前go team的大咖郵件也告知我們，未來會讓使用協程的成本更低，理論上不需要在應用層做更多的策略來緩解gc.改善方式，一種是多實例的拆分，如果公司沒有埠限制，可以很快部署大量實例，減少gc時長，最直接方法。不過對於360來說，外網通常只能使用80和433。因此常規上只能開啟兩個實例。當然很多人給我建議能否使用SO_REUSEPORT，不過我們內核版本確實比較低，並沒有實踐過。另外能否模仿nginx，fork多個進程監控同樣埠，至少我們目前沒有這樣做，主要對於我們目前進程管理上，還是獨立的運行的，對外監聽不同埠程序，還有配套的內部通信和管理埠，實例管理和升級上要做調整。解決gc的另兩個手段，是內存池和對象池,不過最好做仔細評估和測試，內存池、對象池使用，也需要對於代碼可讀性與整體效率進行權衡。這種程序一定情況下會降低並行度，因為用池內資源一定要加互斥鎖或者原子操作做CAS，通常原子操作實測要更快一些。CAS可以理解為可操作的更細行為粒度的鎖（可以做更多CAS策略，放棄運行，防止忙等）。這種方式帶來的問題是，程序的可讀性會越來越像C語言，每次要malloc，各地方用完後要free，對於對象池free之前要reset，我曾經在應用層嘗試做了一個分層次結構的「無鎖隊列」上圖左邊的數組實際上是一個列表，這個列表按大小將內存分塊，然後使用atomic操作進行CAS。但實際要看測試數據了，池技術可以明顯減少臨時對象和內存的申請和釋放，gc時間會減少，但加鎖帶來的並行度的降低，是否能給一段時間內的整體吞吐量帶來提升，要做測試和權衡…在我們消息系統，實際上後續去除了部分這種黑科技，試想在百萬個協程裡面做自旋操作申請復用的buffer和對象，開銷會很大，尤其在協程對線程多對多模型情況下，更依賴於golang本身調度策略，除非我對池增加更多的策略處理，減少忙等，感覺是在把runtime做的事情，在應用層非常不優雅的實現。普遍使用開銷理論就大於收益。但對於rpc庫或者codec庫，任務池內部，這些開定量協程，集中處理數據的區域，可以嘗試改造~對於有些固定對象復用，比如固定的心跳包什麼的，可以考慮使用全局一些對象，進行復用，針對應用層數據，具體設計對象池，在部分環節去復用，可能比這種無差別的設計一個通用池更能進行效果評估.消息系統的運維及測試下面介紹消息系統的架構迭代和一些迭代經驗，由於之前在其他地方有過分享，後面的會給出相關鏈接，下面實際做個簡單介紹，感興趣可以去鏈接裡面看架構迭代~根據業務和集群的拆分，能解決部分灰度部署上線測試，減少點對點通信和廣播通信不同產品的相互影響，針對特定的功能做獨立的優化.消息系統架構和集群拆分，最基本的是拆分多實例，其次是按照業務類型對資源佔用情況分類，按用戶接入網路和對idc布點要求分類（目前沒有條件，所有的產品都部署到全部idc）系統的測試go語言在並發測試上有獨特優勢。對於壓力測試，目前主要針對指定的伺服器，選定線上空閑的伺服器做長連接壓測。然後結合可視化，分析壓測過程中的系統狀態。但壓測早期用的比較多，但實現的統計報表功能和我理想有一定差距。我覺得最近出的golang開源產品都符合這種場景，go寫網路並發程序給大家帶來的便利，讓大家把以往為了降低複雜度，拆解或者分層協作的組件，又組合在了一起。QAQ1:協議棧大小，超時時間定製原則？移動網路下超時時間按產品需求通常2g，3G情況下是5分鐘，wifi情況下5~8分鐘。但對於個別場景，要求響應非常迅速的場景，如果連接idle超過1分鐘，都會有ping，pong，來校驗是否斷線檢測，儘快做到重新連接。Q2:消息是否持久化？消息持久化，通常是先存後發，存儲用的redis，但落地用的mysql。mysql只做故障恢復使用。Q3:消息風暴怎麼解決的？如果是發送情況下，普通產品是不需要限速的，對於較大產品是有發送隊列做控速度，按人數，按秒進行控速度發放，發送成功再發送下一條。Q4:golang的工具鏈支持怎麼樣？我自己寫過一些小程序千把行之內，確實很不錯，但不知道代碼量上去之後，配套的debug工具和profiling工具如何，我看上邊有分享說golang自帶的profiling工具還不錯，那debug呢怎麼樣呢，官方一直沒有出debug工具，gdb支持也不完善，不知你們用的什麼？是這樣的，我們正常就是println，我感覺基本上可以定位我所有問題，但也不排除由於並行性通過println無法復現的問題，目前來看只能靠經驗了。只要常見並發嘗試，經過分析是可以找到的。go很快會推出調試工具的~Q5:協議棧是基於tcp嗎？是否有協議拓展功能？協議棧是tcp，整個系統tcp長連接，沒有考慮擴展其功能~如果有好的經驗，可以分享~Q6:問個問題，這個系統是接收上行數據的吧，系統接收上行數據後是轉發給相應系統做處理么，是怎麼轉發呢，如果需要給客戶端返回調用結果又是怎麼處理呢？系統上行數據是根據協議頭進行轉發，協議頭裡面標記了產品和轉發類型，在coordinator裡面跟進產品和轉發類型，回調用戶，如果用戶需要阻塞等待回復才能後續操作，那通過再發送消息，路由回用戶。因為整個系統是全非同步的。Q7:問個pushsdk的問題。pushsdk的單連接，多app復用方式，這樣的情況下以下幾個問題是如何解決的：1）系統流量統計會把所有流量都算到啟動連接的應用吧？而啟動應用的連接是不固定的吧？2）同一個pushsdk在不同的應用中的版本號可能不一樣，這樣暴露出來的介面可能有版本問題，如果用單連接模式怎麼解決？流量只能算在啟動的app上了，但一般這種安裝率很高的app承擔可能性大，常用app本身被檢測和殺死可能性較少，另外消息下發量是有嚴格控制 的。整體上用戶還是省電和省流量的。我們pushsdk盡量向上兼容，出於這個目的，push sdk本身做的工作非常有限，抽象出來一些常見的功能，純推的系統，客戶端策略目前做的很少，也有這個原因。Q8:生產系統的profiling是一直打開的么？不是一直打開，每個集群都有採樣，但需要開啟哪個可以後台控制。這個profling是通過介面調用。Q9:面前系統中的消息消費者可不可以分組？類似於Kafka。客戶端可以訂閱不同產品的消息，接受不同的分組。接入的時候進行bind或者unbind操作Q10:為什麼放棄erlang,而選擇go，有什麼特別原因嗎？我們現在用的erlang？erlang沒有問題，原因是我們上線後，其他團隊才做出來，經過qa一個部門對比測試，在沒有顯著性能提升下，選擇繼續使用go版本的push，作為公司基礎服務。Q11:流控問題有排查過網卡配置導致的idle問題嗎？流控是業務級別的流控，我們上線前對於內網的極限通信量做了測試，後續將請求在rpc庫內，控制在小於內部通信開銷的上限以下.在到達上限前作流控。Q12:服務的協調調度為什麼選擇zk有考慮過raft實現嗎？golang的raft實現很多啊，比如Consul和ectd之類的。3年前，還沒有後兩者或者後兩者沒聽過應該。zk當時公司內部成熟方案，不過目前來看，我們不準備用zk作結合系統的定製開發，準備用自己寫的keeper代替zk，完成配置文件自動轉數據結構，數據結構自動同步指定進程，同時裡面可以完成很多自定義的發現和控制策略，客戶端包含keeper的sdk就可以實現以上的所有監控數據，profling數據收集，配置文件更新，啟動關閉等回調。完全抽象成語keeper通信sdk，keeper之間考慮用raft。Q13:負載策略是否同時在服務側與CLIENT側同時做的 (DISPATCHER 會返回一組IP)？另外，ROOM SERVER/REGISTER SERVER連接狀態的一致性可用性如何保證? 服務側保活有無特別關注的地方? 安全性方面是基於TLS再加上應用層加密?會在server端做，比如重啟操作前，會下髮指令類型消息，讓客戶端進行主動行為。部分消息使用了加密策略，自定義的rsa+des，另外滿足我們安全公司的需要，也定製開發很多安全加密策略。一致性是通過冷備解決的，早期考慮雙寫，但實時狀態雙寫同步代價太高而且容易有臟數據，比如register掛了，調用所有room，通過重新刷入指定register來解決。Q14:這個keeper有開源打算嗎？還在寫，如果沒耦合我們系統太多功能，一定會開源的，主要這意味著，我們所有的bind在sdk的庫也需要開源~Q15:比較好奇lisence是哪個如果開源？
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/157958.html
微信掃一掃 
支付寶掃一掃 