golang分享功能實現,golang共享內存通信

本文目錄一覽：

• 1、Go語言HTTPServer開發的六種實現
• 2、六星教育：Python和go語言都很火，我要怎麼選？
• 3、如何實現支持數億用戶的長連消息系統
• 4、怎麼學習golang
• 5、組件分享之後端組件——一款基於Golang的認證全套模塊Casdoor

Go語言HTTPServer開發的六種實現

學完了 net/http 和 fasthttp 兩個HTTP協議接口的客戶端實現，接下來就要開始Server的開發，不學不知道一學嚇一跳，居然這兩個庫還支持Server的開發，太方便了。

相比於Java的HTTPServer開發基本上都是使用Spring或者Springboot框架，總是要配置各種配置類，各種 handle 對象。Golang的Server開發顯得非常簡單，就是因為特別簡單，或者說沒有形成特別統一的規範或者框架，我發現了很多實現方式，HTTP協議基於還是 net/http 和 fasthttp ，但是 handle 語法就多種多樣了。

先複習一下： Golang語言HTTP客戶端實踐 、 Golang fasthttp實踐 。

在Golang語言方面，實現某個功能的庫可能會比較多，有機會還是要多跟同行交流，指不定就發現了更好用的庫。下面我分享我學到的六種Server開發的實現Demo。

基於 net/http 實現，這是一種比較基礎的，對於接口和 handle 映射關係處理並不優雅，不推薦使用。

第二種也是基於 net/http ，這種編寫語法可以很好地解決第一種的問題，handle和path有了類似配置的語法，可讀性提高了很多。

第三個基於 net/http 和 github.com/labstack/echo ，後者主要提供了 Echo 對象用來處理各類配置包括接口和handle映射，功能很豐富，可讀性最佳。

第四種依然基於 net/http 實現，引入了 github.com/gin-gonic/gin 的路由，看起來接口和 handle 映射關係比較明晰了。

第五種基於 fasthttp 開發，使用都是 fasthttp 提供的API，可讀性尚可，handle配置倒是更像Java了。

第六種依然基於 fasthttp ，用到了 github.com/buaazp/fasthttprouter ，有點奇怪兩個居然不在一個GitHub倉庫里。使用語法跟第三種方式有點類似，比較有條理，有利於閱讀。

六星教育：Python和go語言都很火，我要怎麼選？

python和go語言有區別：1、Python語法使用縮進來指示代碼塊；Go語法基於打開和關閉括號；2、Python是基於面向對象編程的多範式語言；Go是基於並發編程範式的過程編程語言。3、Python是動態類型語言，Go是靜態類型語言。

Go語言（又稱 Golang）是 Google 的 Robert Griesemer，Rob Pike 及 Ken Thompson 開發的一種靜態強類型、編譯型語言。Go 語言語法與 C 相近，但功能上有：內存安全，GC（垃圾回收），結構形態以及 CSP-style 並發計算。

python是一種廣泛使用的具有動態語義的解釋型，面向對象的高級編程語言。

Python是一種面向對象的高級編程語言，具有集成的動態語義，主要用於Web和應用程序開發。它在快速應用程序開發領域極具吸引力，因為它提供動態類型和動態綁定選項。

Python是一種解釋型語言，這意味着用Python編寫的程序不需要事先編譯就可以運行，從而可以輕鬆地測試小段代碼並使用Python編寫的代碼更容易在平台之間移動。

python和go語言的區別：

1、語法

Python的語法使用縮進來指示代碼塊。Go的語法基於打開和關閉括號。

2、範例

Python是一種基於面向對象編程的多範式，命令式和函數式編程語言。它堅持這樣一種觀點，即如果一種語言在某些情境中表現出某種特定的方式，理想情況下它應該在所有情境中都有相似的作用。但是，它又不是純粹的OOP語言，它不支持強封裝，這是OOP的主要原則之一。

Go是一種基於並發編程範式的過程編程語言，它與C具有表面相似性。實際上，Go更像是C的更新版本。

3、並發

Python沒有提供內置的並發機制，而Go有內置的並發機制。

4、類型化

Python是動態類型語言，而Go是一種靜態類型語言，它實際上有助於在編譯時捕獲錯誤，這可以進一步減少生產後期的嚴重錯誤。

5、安全性

Python是一種強類型語言，它是經過編譯的，因此增加了一層安全性。Go具有分配給每個變量的類型，因此，它提供了安全性。但是，如果發生任何錯誤，用戶需要自己運行整個代碼。

6、管理內存

Go允許程序員在很大程度上管理內存。而，Python中的內存管理完全自動化並由Python VM管理；它不允許程序員對內存管理負責。

7、庫

與Go相比，Python提供的庫數量要大得多。然而，Go仍然是新的，並且還沒有取得很大進展。

8、速度：

Go的速度遠遠超過Python。

Python與Golang對比：

1、特點：

Golang

①靜態強類型、編譯型、並髮型

靜態類型語言，但是有動態語言的感覺。(靜態類型的語言就是可以在編譯的時候檢查出來隱藏的大多數問題，動態語言的感覺就是有很多的包可以使用，寫起來的效率很高)

可直接編譯成機器碼，不依賴其他庫，glibc的版本有一定要求，部署就是扔一個文件上去就完成了。

語言層面支持並發，這個就是Go最大的特色，天生的支持並發。Go就是基因裡面支持的並發，可以充分地利用多核，很容易地使用並發。

②垃圾回收機制

內置runtime，支持垃圾回收，這屬於動態語言的特性之一吧，雖然目前來說GC(內存垃圾回收機制)不算完美，但是足以應付我們所能遇到的大多數情況，特別是Go1.1之後的GC。

③支持面向對象編程

有接口類型和實現類型的概念，但是用嵌入替代了繼承。

④豐富的標準庫

Go目前已經內置了大量的庫，特別是網絡庫非常強大。

⑤內嵌C支持

Go裡面也可以直接包含C代碼，利用現有的豐富的C庫

Python

①解釋型語言

程序不需要在運行前編譯，在運行程序的時候才翻譯，專門的解釋器負責在每個語句執行的時候解釋程序代碼。這樣解釋型語言每執行一次就要翻譯一次，效率比較低。

②動態數據類型　

支持重載運算符，也支持泛型設計。（運算符重載，就是對已有的運算符重新進行定義，賦予其另一種功能，以適應不同的數據類型。泛型設計就是定義的時候不需要指定類型，在客戶端使用的時候再去指定類型）

③完全面向對象的語言

函數，模塊，數字，字符串都是對象，在Python中，一切接對象

完全支持繼承，重載，多重繼承　

④擁有強大的標準庫

Python語言的核心只包含數字，字符串，列表，元祖，字典，集合，文件等常見類型和函數，而由Python標準庫提供了系統管理，網絡通信，文本處理，數據庫接口，圖形系統，XML處理等額外的功能。

⑤社區提供了大量第三方庫

Python 社區提供了大量的第三方模塊，使用方式與標準庫類似。它們的功能覆蓋 科學計算、人工智能、機器學習、Web 開發、數據庫接口、圖形系統 多個領域。

2、應用

Python

①網絡編程

web應用，網絡爬蟲

②數據分析和機器學習

③自動化測試

④自動化運維

Golang

①服務器編程

處理日誌、數據打包、虛擬機處理、文件系統等。

②分布式系統，數據庫代理器等

③網絡編程

這一塊目前應用最廣，包括Web應用、API應用、下載應用。

④內存數據庫

如google開發的groupcache，couchbase的部分組件。

⑥雲平台

Go語言和Python學哪個好?

Python 可以很好地集成到企業級應用中，可用於機器語言和 AI 應用。Go 語言的特點表明它具備輕量級線程實現(Goroutine)、智能標準庫、強大的內置安全性，且可使用最簡語法進行編程。Go 在大部分案例中領先，被認為是 Python 的有效替代方案。開發者在選擇編程語言時，應考慮開發項目的性質和規模，以及所需的技能組合。

放下個人偏見和喜好，從優點和功能的角度來評價兩種語言。不管選擇了哪種語言，Go 和 Python 都在持續演進。儘管在大多數情況下 Golang 可能是更好的選擇，但Python語言也是不斷更新迭代的。以上就是本次分享的全部內容，如果你也想學習一門編程語言，可以考慮下 六星教育 ，這裡的課程體系，師資團隊以及售後服務，一定不會讓你失望!

如何實現支持數億用戶的長連消息系統

此文是根據周洋在【高可用架構群】中的分享內容整理而成，轉發請註明出處。周洋，360手機助手技術經理及架構師，負責360長連接消息系統，360手機助手架構的開發與維護。不知道咱們群名什麼時候改為“Python高可用架構群”了，所以不得不說，很榮幸能在接下來的一個小時里在Python群里討論golang….360消息系統介紹360消息系統更確切的說是長連接push系統，目前服務於360內部多個產品，開發平台數千款app，也支持部分聊天業務場景，單通道多app復用，支持上行數據，提供接入方不同粒度的上行數據和用戶狀態回調服務。目前整個系統按不同業務分成9個功能完整的集群，部署在多個idc上（每個集群覆蓋不同的idc），實時在線數億量級。通常情況下，pc，手機，甚至是智能硬件上的360產品的push消息，基本上是從我們系統發出的。關於push系統對比與性能指標的討論很多同行比較關心go語言在實現push系統上的性能問題，單機性能究竟如何，能否和其他語言實現的類似系統做對比么？甚至問如果是創業,第三方雲推送平台，推薦哪個?其實各大廠都有類似的push系統，市場上也有類似功能的雲服務。包括我們公司早期也有erlang，nodejs實現的類似系統，也一度被公司要求做類似的對比測試。我感覺在討論對比數據的時候，很難保證大家環境和需求的統一，我只能說下我這裡的體會，數據是有的，但這個數據前面估計會有很多定語~第一個重要指標：單機的連接數指標做過長連接的同行，應該有體會，如果在穩定連接情況下，連接數這個指標，在沒有網絡吞吐情況下對比，其實意義往往不大，維持連接消耗cpu資源很小，每條連接tcp協議棧會佔約4k的內存開銷，系統參數調整後，我們單機測試數據，最高也是可以達到單實例300w長連接。但做更高的測試，我個人感覺意義不大。因為實際網絡環境下，單實例300w長連接，從理論上算壓力就很大：實際弱網絡環境下，移動客戶端的斷線率很高，假設每秒有1000分之一的用戶斷線重連。300w長連接，每秒新建連接達到3w，這同時連入的3w用戶，要進行註冊，加載離線存儲等對內rpc調用，另外300w長連接的用戶心跳需要維持,假設心跳300s一次，心跳包每秒需要1w tps。單播和多播數據的轉發，廣播數據的轉發，本身也要響應內部的rpc調用，300w長連接情況下，gc帶來的壓力，內部接口的響應延遲能否穩定保障。這些集中在一個實例中，可用性是一個挑戰。所以線上單實例不會hold很高的長連接,實際情況也要根據接入客戶端網絡狀況來決定。第二個重要指標:消息系統的內存使用量指標這一點上，使用go語言情況下，由於協程的原因，會有一部分額外開銷。但是要做兩個推送系統的對比，也有些需要確定問題。比如系統從設計上是否需要全雙工（即讀寫是否需要同時進行）如果半雙工，理論上對一個用戶的連接只需要使用一個協程即可（這種情況下，對用戶的斷線檢測可能會有延時），如果是全雙工，那讀/寫各一個協程。兩種場景內存開銷是有區別的。另外測試數據的大小往往決定我們對連接上設置的讀寫buffer是多大，是全局復用的，還是每個連接上獨享的，還是動態申請的。另外是否全雙工也決定buffer怎麼開。不同的策略，可能在不同情況的測試中表現不一樣。第三個重要指標：每秒消息下發量這一點上，也要看我們對消息到達的QoS級別(回復ack策略區別），另外看架構策略，每種策略有其更適用的場景，是純粹推？還是推拉結合？甚至是否開啟了消息日誌？日誌庫的實現機制、以及緩衝開多大？flush策略……這些都影響整個系統的吞吐量。另外為了HA，增加了內部通信成本，為了避免一些小概率事件，提供閃斷補償策略，這些都要考慮進去。如果所有的都去掉，那就是比較基礎庫的性能了。所以我只能給出大概數據，24核，64G的服務器上，在QoS為message at least，純粹推，消息體256B~1kB情況下，單個實例100w實際用戶（200w+）協程，峰值可以達到2~5w的QPS…內存可以穩定在25G左右，gc時間在200~800ms左右（還有優化空間）。我們正常線上單實例用戶控制在80w以內，單機最多兩個實例。事實上，整個系統在推送的需求上，對高峰的輸出不是提速，往往是進行限速，以防push系統瞬時的高吞吐量，轉化成對接入方業務服務器的ddos攻擊所以對於性能上，我感覺大家可以放心使用，至少在我們這個量級上，經受過考驗，go1.5到來後，確實有之前投資又增值了的感覺。消息系統架構介紹下面是對消息系統的大概介紹，之前一些同學可能在gopher china上可以看到分享，這裡簡單講解下架構和各個組件功能，額外補充一些當時遺漏的信息：架構圖如下，所有的service都 written by golang.幾個大概重要組件介紹如下：dispatcher service根據客戶端請求信息，將應網絡和區域的長連接服務器的，一組IP傳送給客戶端。客戶端根據返回的IP，建立長連接，連接Room service.room Service，長連接網關，hold用戶連接，並將用戶註冊進register service，本身也做一些接入安全策略、白名單、IP限制等。register service是我們全局session存儲組件，存儲和索引用戶的相關信息，以供獲取和查詢。coordinator service用來轉發用戶的上行數據，包括接入方訂閱的用戶狀態信息的回調，另外做需要協調各個組件的異步操作，比如kick用戶操作,需要從register拿出其他用戶做異步操作.saver service是存儲訪問層，承擔了對redis和mysql的操作，另外也提供部分業務邏輯相關的內存緩存，比如廣播信息的加載可以在saver中進行緩存。另外一些策略，比如客戶端sdk由於被惡意或者意外修改，每次加載了消息，不回復ack，那服務端就不會刪除消息，消息就會被反覆加載，形成死循環，可以通過在saver中做策略和判斷。（客戶端總是不可信的）。center service提供給接入方的內部api服務器，比如單播或者廣播接口，狀態查詢接口等一系列api,包括運維和管理的api。舉兩個常見例子，了解工作機制：比如發一條單播給一個用戶，center先請求Register獲取這個用戶之前註冊的連接通道標識、room實例地址，通過room service下發給長連接 Center Service比較重的工作如全網廣播，需要把所有的任務分解成一系列的子任務，分發給所有center，然後在所有的子任務里，分別獲取在線和離線的所有用戶，再批量推到Room Service。通常整個集群在那一瞬間壓力很大。deployd/agent service用於部署管理各個進程，收集各組件的狀態和信息,zookeeper和keeper用於整個系統的配置文件管理和簡單調度關於推送的服務端架構常見的推送模型有長輪訓拉取，服務端直接推送（360消息系統目前主要是這種），推拉結合（推送只發通知，推送後根據通知去拉取消息）.拉取的方式不說了，現在並不常用了，早期很多是nginx+lua+redis，長輪訓，主要問題是開銷比較大，時效性也不好，能做的優化策略不多。直接推送的系統，目前就是360消息系統這種，消息類型是消耗型的，並且對於同一個用戶並不允許重複消耗,如果需要多終端重複消耗，需要抽象成不同用戶。推的好處是實時性好，開銷小，直接將消息下發給客戶端，不需要客戶端走從接入層到存儲層主動拉取.但純推送模型，有個很大問題，由於系統是異步的，他的時序性無法精確保證。這對於push需求來說是夠用的，但如果復用推送系統做im類型通信，可能並不合適。對於嚴格要求時序性，消息可以重複消耗的系統，目前也都是走推拉結合的模型，就是只使用我們的推送系統發通知，並附帶id等給客戶端做拉取的判斷策略，客戶端根據推送的key，主動從業務服務器拉取消息。並且當主從同步延遲的時候，跟進推送的key做延遲拉取策略。同時也可以通過消息本身的QoS，做純粹的推送策略，比如一些“正在打字的”低優先級消息，不需要主動拉取了，通過推送直接消耗掉。哪些因素決定推送系統的效果？首先是sdk的完善程度，sdk策略和細節完善度，往往決定了弱網絡環境下最終推送質量.SDK選路策略,最基本的一些策略如下：有些開源服務可能會針對用戶hash一個該接入區域的固定ip，實際上在國內環境下不可行，最好分配器（dispatcher）是返回散列的一組，而且端口也要參開，必要時候，客戶端告知是retry多組都連不上，返回不同idc的服務器。因為我們會經常檢測到一些case，同一地區的不同用戶，可能對同一idc內的不同ip連通性都不一樣，也出現過同一ip不同端口連通性不同，所以用戶的選路策略一定要靈活，策略要足夠完善.另外在選路過程中，客戶端要對不同網絡情況下的長連接ip做緩存，當網絡環境切換時候（wifi、2G、3G)，重新請求分配器，緩存不同網絡環境的長連接ip。客戶端對於數據心跳和讀寫超時設置,完善斷線檢測重連機制針對不同網絡環境，或者客戶端本身消息的活躍程度，心跳要自適應的進行調整並與服務端協商，來保證鏈路的連通性。並且在弱網絡環境下，除了網絡切換（wifi切3G）或者讀寫出錯情況，什麼時候重新建立鏈路也是一個問題。客戶端發出的ping包，不同網絡下，多久沒有得到響應，認為網絡出現問題，重新建立鏈路需要有個權衡。另外對於不同網絡環境下，讀取不同的消息長度，也要有不同的容忍時間，不能一刀切。好的心跳和讀寫超時設置，可以讓客戶端最快的檢測到網絡問題，重新建立鏈路，同時在網絡抖動情況下也能完成大數據傳輸。結合服務端做策略另外系統可能結合服務端做一些特殊的策略，比如我們在選路時候，我們會將同一個用戶盡量映射到同一個room service實例上。斷線時，客戶端盡量對上次連接成功的地址進行重試。主要是方便服務端做閃斷情況下策略，會暫存用戶閃斷時實例上的信息，重新連入的 時候，做單實例內的遷移，減少延時與加載開銷.客戶端保活策略很多創業公司願意重新搭建一套push系統，確實不難實現，其實在協議完備情況下（最簡單就是客戶端不回ack不清數據），服務端會保證消息是不丟的。但問題是為什麼在消息有效期內,到達率上不去？往往因為自己app的push service存活能力不高。選用雲平台或者大廠的，往往sdk會做一些保活策略，比如和其他app共生，互相喚醒，這也是雲平台的push service更有保障原因。我相信很多雲平台旗下的sdk，多個使用同樣sdk的app，為了實現服務存活，是可以互相喚醒和保證活躍的。另外現在push sdk本身是單連接，多app復用的，這為sdk實現，增加了新的挑戰。綜上，對我來說，選擇推送平台，優先會考慮客戶端sdk的完善程度。對於服務端，選擇條件稍微簡單，要求部署接入點（IDC）越要多，配合精細的選路策略，效果越有保證，至於想知道哪些雲服務有多少點，這個群里來自各地的小夥伴們，可以合夥測測。go語言開發問題與解決方案下面講下，go開發過程中遇到挑戰和優化策略，給大家看下當年的一張圖，在第一版優化方案上線前一天截圖~可以看到，內存最高佔用69G，GC時間單實例最高時候高達3~6s.這種情況下，試想一次悲劇的請求，經過了幾個正在執行gc的組件，後果必然是超時… gc照成的接入方重試，又加重了系統的負擔。遇到這種情況當時整個系統最差情況每隔2，3天就需要重啟一次~當時出現問題，現在總結起來，大概以下幾點1.散落在協程里的I/O，Buffer和對象不復用。當時（12年）由於對go的gc效率理解有限，比較奔放，程序里大量short live的協程，對內通信的很多io操作，由於不想阻塞主循環邏輯或者需要及時響應的邏輯，通過單獨go協程來實現異步。這回會gc帶來很多負擔。針對這個問題，應盡量控制協程創建，對於長連接這種應用，本身已經有幾百萬並發協程情況下，很多情況沒必要在各個並發協程內部做異步io，因為程序的並行度是有限，理論上做協程內做阻塞操作是沒問題。如果有些需要異步執行，比如如果不異步執行，影響對用戶心跳或者等待response無法響應，最好通過一個任務池，和一組常駐協程，來消耗，處理結果，通過channel再傳回調用方。使用任務池還有額外的好處，可以對請求進行打包處理，提高吞吐量，並且可以加入控量策略.2.網絡環境不好引起激增go協程相比較以往高並發程序，如果做不好流控，會引起協程數量激增。早期的時候也會發現，時不時有部分主機內存會遠遠大於其他服務器，但發現時候，所有主要profiling參數都正常了。後來發現，通信較多系統中，網絡抖動阻塞是不可免的(即使是內網)，對外不停accept接受新請求，但執行過程中，由於對內通信阻塞，大量協程被 創建，業務協程等待通信結果沒有釋放，往往瞬時會迎來協程暴漲。但這些內存在系統穩定後，virt和res都並沒能徹底釋放，下降後，維持高位。處理這種情況，需要增加一些流控策略，流控策略可以選擇在rpc庫來做，或者上面說的任務池來做，其實我感覺放在任務池裡做更合理些，畢竟rpc通信庫可以做讀寫數據的限流，但它並不清楚具體的限流策略，到底是重試還是日誌還是緩存到指定隊列。任務池本身就是業務邏輯相關的，它清楚針對不同的接口需要的流控限制策略。3.低效和開銷大的rpc框架早期rpc通信框架比較簡單，對內通信時候使用的也是短連接。這本來短連接開銷和性能瓶頸超出我們預期，短連接io效率是低一些，但端口資源夠，本身吞吐可以滿足需要，用是沒問題的，很多分層的系統，也有http短連接對內進行請求的但早期go版本，這樣寫程序，在一定量級情況，是支撐不住的。短連接大量臨時對象和臨時buffer創建，在本已經百萬協程的程序中，是無法承受的。所以後續我們對我們的rpc框架作了兩次調整。第二版的rpc框架，使用了連接池，通過長連接對內進行通信（復用的資源包括client和server的：編解碼Buffer、Request/response），大大改善了性能。但這種在一次request和response還是佔用連接的，如果網絡狀況ok情況下，這不是問題，足夠滿足需要了，但試想一個room實例要與後面的數百個的register，coordinator，saver，center，keeper實例進行通信，需要建立大量的常駐連接，每個目標機幾十個連接，也有數千個連接被佔用。非持續抖動時候（持續逗開多少無解），或者有延遲較高的請求時候，如果針對目標ip連接開少了，會有瞬時大量請求阻塞，連接無法得到充分利用。第三版增加了Pipeline操作，Pipeline會帶來一些額外的開銷，利用tcp的全雙特性，以盡量少的連接完成對各個服務集群的rpc調用。4.Gc時間過長Go的Gc仍舊在持續改善中，大量對象和buffer創建，仍舊會給gc帶來很大負擔，尤其一個佔用了25G左右的程序。之前go team的大咖郵件也告知我們，未來會讓使用協程的成本更低，理論上不需要在應用層做更多的策略來緩解gc.改善方式，一種是多實例的拆分，如果公司沒有端口限制，可以很快部署大量實例，減少gc時長，最直接方法。不過對於360來說，外網通常只能使用80和433。因此常規上只能開啟兩個實例。當然很多人給我建議能否使用SO_REUSEPORT，不過我們內核版本確實比較低，並沒有實踐過。另外能否模仿nginx，fork多個進程監控同樣端口，至少我們目前沒有這樣做，主要對於我們目前進程管理上，還是獨立的運行的，對外監聽不同端口程序，還有配套的內部通信和管理端口，實例管理和升級上要做調整。解決gc的另兩個手段，是內存池和對象池,不過最好做仔細評估和測試，內存池、對象池使用，也需要對於代碼可讀性與整體效率進行權衡。這種程序一定情況下會降低並行度，因為用池內資源一定要加互斥鎖或者原子操作做CAS，通常原子操作實測要更快一些。CAS可以理解為可操作的更細行為粒度的鎖（可以做更多CAS策略，放棄運行，防止忙等）。這種方式帶來的問題是，程序的可讀性會越來越像C語言，每次要malloc，各地方用完後要free，對於對象池free之前要reset，我曾經在應用層嘗試做了一個分層次結構的“無鎖隊列”上圖左邊的數組實際上是一個列表，這個列表按大小將內存分塊，然後使用atomic操作進行CAS。但實際要看測試數據了，池技術可以明顯減少臨時對象和內存的申請和釋放，gc時間會減少，但加鎖帶來的並行度的降低，是否能給一段時間內的整體吞吐量帶來提升，要做測試和權衡…在我們消息系統，實際上後續去除了部分這種黑科技，試想在百萬個協程裡面做自旋操作申請復用的buffer和對象，開銷會很大，尤其在協程對線程多對多模型情況下，更依賴於golang本身調度策略，除非我對池增加更多的策略處理，減少忙等，感覺是在把runtime做的事情，在應用層非常不優雅的實現。普遍使用開銷理論就大於收益。但對於rpc庫或者codec庫，任務池內部，這些開定量協程，集中處理數據的區域，可以嘗試改造~對於有些固定對象復用，比如固定的心跳包什麼的，可以考慮使用全局一些對象，進行復用，針對應用層數據，具體設計對象池，在部分環節去復用，可能比這種無差別的設計一個通用池更能進行效果評估.消息系統的運維及測試下面介紹消息系統的架構迭代和一些迭代經驗，由於之前在其他地方有過分享，後面的會給出相關鏈接，下面實際做個簡單介紹，感興趣可以去鏈接裡面看架構迭代~根據業務和集群的拆分，能解決部分灰度部署上線測試，減少點對點通信和廣播通信不同產品的相互影響，針對特定的功能做獨立的優化.消息系統架構和集群拆分，最基本的是拆分多實例，其次是按照業務類型對資源佔用情況分類，按用戶接入網絡和對idc布點要求分類（目前沒有條件，所有的產品都部署到全部idc）系統的測試go語言在並發測試上有獨特優勢。對於壓力測試，目前主要針對指定的服務器，選定線上空閑的服務器做長連接壓測。然後結合可視化，分析壓測過程中的系統狀態。但壓測早期用的比較多，但實現的統計報表功能和我理想有一定差距。我覺得最近出的golang開源產品都符合這種場景，go寫網絡並發程序給大家帶來的便利，讓大家把以往為了降低複雜度，拆解或者分層協作的組件，又組合在了一起。QAQ1:協議棧大小，超時時間定製原則？移動網絡下超時時間按產品需求通常2g，3G情況下是5分鐘，wifi情況下5~8分鐘。但對於個別場景，要求響應非常迅速的場景，如果連接idle超過1分鐘，都會有ping，pong，來校驗是否斷線檢測，儘快做到重新連接。Q2:消息是否持久化？消息持久化，通常是先存後發，存儲用的redis，但落地用的mysql。mysql只做故障恢復使用。Q3:消息風暴怎麼解決的？如果是發送情況下，普通產品是不需要限速的，對於較大產品是有發送隊列做控速度，按人數，按秒進行控速度發放，發送成功再發送下一條。Q4:golang的工具鏈支持怎麼樣？我自己寫過一些小程序千把行之內，確實很不錯，但不知道代碼量上去之後，配套的debug工具和profiling工具如何，我看上邊有分享說golang自帶的profiling工具還不錯，那debug呢怎麼樣呢，官方一直沒有出debug工具，gdb支持也不完善，不知你們用的什麼？是這樣的，我們正常就是println，我感覺基本上可以定位我所有問題，但也不排除由於並行性通過println無法復現的問題，目前來看只能靠經驗了。只要常見並發嘗試，經過分析是可以找到的。go很快會推出調試工具的~Q5:協議棧是基於tcp嗎？是否有協議拓展功能？協議棧是tcp，整個系統tcp長連接，沒有考慮擴展其功能~如果有好的經驗，可以分享~Q6:問個問題，這個系統是接收上行數據的吧，系統接收上行數據後是轉發給相應系統做處理么，是怎麼轉發呢，如果需要給客戶端返回調用結果又是怎麼處理呢？系統上行數據是根據協議頭進行轉發，協議頭裡面標記了產品和轉發類型，在coordinator裡面跟進產品和轉發類型，回調用戶，如果用戶需要阻塞等待回復才能後續操作，那通過再發送消息，路由回用戶。因為整個系統是全異步的。Q7:問個pushsdk的問題。pushsdk的單連接，多app復用方式，這樣的情況下以下幾個問題是如何解決的：1）系統流量統計會把所有流量都算到啟動連接的應用吧？而啟動應用的連接是不固定的吧？2）同一個pushsdk在不同的應用中的版本號可能不一樣，這樣暴露出來的接口可能有版本問題，如果用單連接模式怎麼解決？流量只能算在啟動的app上了，但一般這種安裝率很高的app承擔可能性大，常用app本身被檢測和殺死可能性較少，另外消息下發量是有嚴格控制 的。整體上用戶還是省電和省流量的。我們pushsdk盡量向上兼容，出於這個目的，push sdk本身做的工作非常有限，抽象出來一些常見的功能，純推的系統，客戶端策略目前做的很少，也有這個原因。Q8:生產系統的profiling是一直打開的么？不是一直打開，每個集群都有採樣，但需要開啟哪個可以後台控制。這個profling是通過接口調用。Q9:面前系統中的消息消費者可不可以分組？類似於Kafka。客戶端可以訂閱不同產品的消息，接受不同的分組。接入的時候進行bind或者unbind操作Q10:為什麼放棄erlang,而選擇go，有什麼特別原因嗎？我們現在用的erlang？erlang沒有問題，原因是我們上線後，其他團隊才做出來，經過qa一個部門對比測試，在沒有顯著性能提升下，選擇繼續使用go版本的push，作為公司基礎服務。Q11:流控問題有排查過網卡配置導致的idle問題嗎？流控是業務級別的流控，我們上線前對於內網的極限通信量做了測試，後續將請求在rpc庫內，控制在小於內部通信開銷的上限以下.在到達上限前作流控。Q12:服務的協調調度為什麼選擇zk有考慮過raft實現嗎？golang的raft實現很多啊，比如Consul和ectd之類的。3年前，還沒有後兩者或者後兩者沒聽過應該。zk當時公司內部成熟方案，不過目前來看，我們不準備用zk作結合系統的定製開發，準備用自己寫的keeper代替zk，完成配置文件自動轉數據結構，數據結構自動同步指定進程，同時裡面可以完成很多自定義的發現和控制策略，客戶端包含keeper的sdk就可以實現以上的所有監控數據，profling數據收集，配置文件更新，啟動關閉等回調。完全抽象成語keeper通信sdk，keeper之間考慮用raft。Q13:負載策略是否同時在服務側與CLIENT側同時做的 (DISPATCHER 會返回一組IP)？另外，ROOM SERVER/REGISTER SERVER連接狀態的一致性可用性如何保證? 服務側保活有無特別關注的地方? 安全性方面是基於TLS再加上應用層加密?會在server端做，比如重啟操作前，會下髮指令類型消息，讓客戶端進行主動行為。部分消息使用了加密策略，自定義的rsa+des，另外滿足我們安全公司的需要，也定製開發很多安全加密策略。一致性是通過冷備解決的，早期考慮雙寫，但實時狀態雙寫同步代價太高而且容易有臟數據，比如register掛了，調用所有room，通過重新刷入指定register來解決。Q14:這個keeper有開源打算嗎？還在寫，如果沒耦合我們系統太多功能，一定會開源的，主要這意味着，我們所有的bind在sdk的庫也需要開源~Q15:比較好奇lisence是哪個如果開源？

怎麼學習golang

隨着 PHP 有着越來越深入的了解，以及遇到越來越多的不同業務時，使用 PHP 總會讓我有一種莫名的無力感。當然，並不是我一個人在使用 PHP 的時候遇到了問題。事實上，每個略微有一些經驗，接觸過一些需求的人都會有同樣的困惑。各種配合 LAMP（或者LNMP？）架構的後端技術也因此被發明或被發現，進而整合到 PHP 的開發的技術體系中。從簡單的 Memcached作為數據中轉，cron 後端定時處理；到 Gearman、RabbitMQ 這些隊列神器；最近 Laruence 甚至封裝了利用 libcurl 的異步特性實現並發 RPC 調用的 yar 擴展。幾乎整個社區都在尋找 PHP 的摩西之路。好吧，說了一大堆，回歸主題。之前我寫了一篇英文練筆《Why you PHP guys should learn Golang》，獲得不少國際友人的關注。排除拼寫和語法被他們詬病外，主要是有許多朋友覺得我沒把事情說清楚。所以這裡我用母語重新聊聊這個事情，只是這些國際友人什麼時候能學會閱讀中文呢？；）Go 或者 Golang，是由 Google 支持的快速、一致、穩定的，有活躍的社區支持的開源編程語言。越來越多的應用選擇使用 Golang 進行構建。雖然 Rob Pike 說“… 我們希望 C++ 程序員來了解 Go 並作為一個可選的語言 …”，不過我真得認為：PHPer 應當學習 Golang！ 接下來我們就來談談原因。容易學習PHP 相當容易學習。Golang 也是！在這點上，一群大老外對我的觀點進行了猛烈的抨擊。他們認為我羞辱了 PHPer，說得好像只有簡單的東西 PHPer 才能學會一樣。但是，這難道不是事實嗎？或者換個說法：像我一樣的喜歡 PHP 的人，或多或少都會更喜歡簡單的東西。PHP 的語法接近 C 族編程語言（C/C++/Java等等）。如果有這些語言的經驗，在第一次遇到 PHP 的時候立刻就能開始上手編寫代碼。在我看來，編寫 PHP 代碼或許更加考驗程序員的記憶力，而不是智力（當你面對各種不同風格的函數定義、各種擴展的特殊約定時，你一定會相當認同我的觀點）。Golang 同樣是一個 C 族編程語言。呃，或者有一些不同吧。例如關鍵字 “for”，功能上和 PHP 的接近，但是沒有括號。條件語句 “if” 同樣無需括號。可以閱讀 Effective Go 了解更多內容。Golang 只有 3025 個關鍵字和 47 個操作符號、分隔符號或其他特殊標記。記住這些標記確實不需要什麼特別的努力。精巧的類型系統相當容易使用。實用的，具有方法的結構體類型代替了笨重的對象系統。接口的設計是 Golang 中我最喜歡的部分。當完成了《Go 指南》的學習之後，利用 PHP 積累的經驗，立刻就可以開始使用 Golang 處理一些簡單的任務。容易使用PHP 腳本是由 SAPI 組件進行解析執行的，如 Web 服務器模塊、PHP-FPM 或者 CLI。部署 PHP 所需要的全部東西就是一個 SAPI 環境。配置這個環境對於新手來說可能是學習 PHP 過程中最為困難的部分。所有的 Golang 代碼會編譯和鏈接為本地碼。所以除了編譯環境，執行時無需再為其進行任何特別的部署。對比 PHP 環境的配置，這要簡單很多。你真得認為配置 PHP 環境很複雜嗎？我不覺得，真的！而配置 Golang 編譯環境比那還要簡單點。我確信已經有大量的 Golang 相關的書籍、文章介紹過如何進行編譯環境的配置了。為了更加清晰，我這裡梳理一下思路。

有三個步驟需要處理：下載Golang 的源代碼；根據《[翻譯]Go 環境設置》的提示設置環境變量；運行源代碼 src 目錄中的 all.bash。或者一步到位：使用二進制包進行安裝。然後就會得到一個叫做“go”的工具集合。使用“go”工具和使用 PHP 的 CLI 工具一樣簡單。《[翻譯]go 工具》對此進行了詳細的解釋。PHP 的迷思如果一個編程語言容易學習和使用，我們是不是就應當學習它呢？有許多容易學習和使用的編程語言。難道要把它們都學一遍？答案是顯然的：NO!但是 呢？只是因為它很酷！是的，我在開玩笑，但是這是真的。無論如何先從 PHP 自身談起吧。PHP “原本是為了開發動態的 Web 頁面而設計的服務器端通用語言(Wikipedia)”。PHP 一個重要的特性就是可以嵌入到 HMTL 中。代碼編寫在“?php … ?”標籤內；HTML 寫在標籤外。它有一個強大的擴展系統。擴展使用 C 調用 Zend API 編寫。數據的處理實際上要利用這些擴展完成。在我看來，PHP 是世界上最好的模板語言。但是當積累了一些 PHP 的經驗，並且開始面對一些更加複雜的 Web 應用時，你一定會對 PHP 產生一種無力的感覺。它沒有內建的並行機制，沒有線程、進程（你真得認為那個簡陋的進程控制可以不加改造的用在高並發的生產環境？），或者其他某“程”。一個慢數據源可以阻塞整個頁面的處理。消息隊列、緩存、代理……系統開始不僅僅是 PHP 這麼單純，還包括了許多服務和系統組件。這時，PHP 只處理很少的業務邏輯，成為真正的模板語言了。PHPer 們總是在尋找解決這一問題的辦法，如“PHP multithread”或者PHP RPC 並發框架。我很難說哪種會更好一些。不過我肯定你會需要選擇一些編程語言用於後端工作的開發。就我自己的經驗，我嘗試過 C（一直在和 malloc/free 進行搏鬥）/Java（陷入到了 jar 地獄中）/Python（從來沒能做到 Pythonic 不說，還總是在錯誤的類型中打轉）……如果想要獲得性能，就得同內存管理進行搏鬥；如果用 GC，就得部署和調優 VM；當獲得便利性的時候，同時也是走在刀尖上，一個小錯誤就引起巨大的災難……每個都有優勢，同樣每個都有問題。好吧！現在回到 Golang！Golang 有 GC，無需關心內存管理（或者可以用較少的精力去關注它）。代碼被編譯為本地碼，因此“cp”和“mv”就是部署 Golang 編寫的應用所需要的全部工具。噢，我剛才已經說過了，Golang 是一個具有靜態類型系統的編譯語言。所以你沒有機會弄亂變量的類型。當然，PHPer 應該學習 Golang 的一個重要原因是“轉到Go 是因為他們並未放棄太多的表達能力，但是獲得了性能，並且與並發共舞（Rob Pike）”。《Why Not Go?（英文）》對此進行了深入的分析。我可以分享一些我的經驗：有一個 Gearman 的worker 用於處理後端數據。PHP 通過其 API 連接到 Gearman 的 Job Server 向 worker 發起請求。最初 worker 是使用 python 編寫的（還有更加原始的版本，PHP 的，但是你能想像它工作起來……唉，不說了……）。這個版本有許多的問題（是我們自己的問題，不關 Python 的事），但是至少它能工作。後來用 Golang 重寫了這個 worker。為此我開發了 Golang 的 Gearman API，並使用 Zend API 編寫了一個在 Golang 中執行 PHP 腳本的包。然後將它們放在一起：一個可以執行 PHP 的 Gearman worker。它已經工作了一段時間了，看起來還不錯！哦，受到 Yar 的啟發，這裡還有一個 Golang 編寫的 RPC 合併器，用來合併 PHP 腳本中的 RPC 調用。現在還是個玩具，不過或許日後能用得着。這其實是將 Golang 的 channel 當作消息隊列來用。我在《Golang：有趣的 channel 應用》中對此有一些說明。世界真美好啊。謝謝 Golang！無論如何，大多數 PHPer 在進行後端開發的時候都會需要學習一些其他語言。如果你正在尋找，或者已經嘗試了一些其他語言。為什麼不來試試 Golang？它真得可以讓你的生活更加輕鬆和快樂。讓你可以有更多的時間陪伴你的家人和朋友，吃你愛吃的東西，去你想去的地方。貌似我還是沒說清楚啊？好吧，沒關係，在下個月的中國軟件開發者大會上再跟大家就這個話題做一個探討吧。

組件分享之後端組件——一款基於Golang的認證全套模塊Casdoor

近期正在探索前端、後端、系統端各類常用組件與工具，對其一些常見的組件進行再次整理一下，形成標準化組件專題，後續該專題將包含各類語言中的一些常用組件。歡迎大家進行持續關注。

如果你正在進行編寫一個項目，但是缺少一個認證模塊，這時就可以使用本節中分享的組件 casdoor 了，它支持OAuth 2.0、OIDC 和 SAML 的 UI 優先集中式身份驗證/單點登錄 (SSO) 平台，與 Casbin RBAC 和 ABAC 權限管理集成。能讓我們的系統快速集成一套完整的認證體系，同時它支持第三方應用程序登錄，包括國內國外常見的平台，具體可查看 官方 描述，這裡就不具體說明了。

以下是官方說明的一些特點：

這個認證模塊是基於Golang語言，OAuth2協議基礎上提供相關功能的，不熟悉OAuth2協議的先去了解一下，防止使用過程中難於理解。