golang語言識別,go語言圖像識別

本文目錄一覽:

從PHP 到Golang 的筆記 ( 轉 )

———文章來源 YamiOdymel/PHP-to-Golang

PHP和模塊之間的關係令人感到煩躁,假設你要讀取 yaml 檔案,你需要有一個 yaml 的模塊,為此,你還需要將其編譯然後將編譯後的模塊擺放至指定位置,之後換了一台伺服器你還要重新編譯,這點到現在還是沒有改善;順帶一提之後出了PHP 7效能確實提升了許多(比Python 3快了些),但PHP仍令我感到臃腫,我覺得是時候

(轉行)了。

PHP 和Golang 的效能我想毋庸置疑是後者比較快(而且是以倍數來算),也許有的人會認為兩種不應該被放在一起比較,但Golang 本身就是偏向Web 開發的,所以這也是為什麼我考慮轉用Golang 的原因,起初我的考慮有幾個:Node.js 和Rust 還有最終被選定的Golang;先談談Node.js 吧。

Node.js的效能可以說是快上PHP 3.5倍至6倍左右 ,而且撰寫的語言還是JavaScript,蒸蚌,如此一來就不需要學習新語言了!搭配Babel更可以說是萬能,不過那跟「跳跳虎」一樣的Async邏輯還有那恐怖的Callback Hell,有人認為前者是種優點,這點我不否認,但是對學習PHP的我來說太過於”Mind Fuck”,至於後者的Callback Hell雖然有Promise,但是那又是另一個「Then Hell」的故事了。相較於Golang之下,Node.js似乎就沒有那麼吸引我了。你確實可以用Node.js寫出很多東西,不過那V8引擎的效能仍然有限,而且要學習新的事物,不就應該是「全新」的嗎;)?

題外話: 為什麼Node.js不適合大型和商業專案?

在拋棄改用Node.js 之後我曾經花了一天的時間嘗試Rust 和Iron 框架,嗯⋯⋯Rust 太強大了,強大到讓我覺得Rust 不應該用在這裡,這想法也許很蠢,但Rust 讓我覺得適合更應該拿來用在系統或者是部分底層的地方,而不應該是網路服務。

Golang是我最終的選擇,主要在於我花了一天的時間來研究的時候意外地發現Golang夭壽簡潔( 關鍵字只有25個 ),相較之下Rust太過於「強大」令我怯步;而且Golang帶有許多工具,例如 go fmt 會自動幫你整理程式碼、 go doc 會自動幫你生產文件、 go test 可以自動單元測試並生產覆蓋率報表、也有 go get 套件管理工具(雖然沒有版本功能),不過都很實用,而且也不需要加上分號( ; ),真要說不好的地方⋯⋯大概就是強迫你花括號不能換行放吧(沒錯,我就是花括號會換行放的人)。

當我在撰寫這份文件的時候 我會先假設你有一定的基礎 ,你可以先閱讀下列的手冊,他們都很不錯。

你能夠在PHP 裡面想建立一個變數的時候就直接建立,夭壽贊,是嗎?

蒸蚌!那麼Golang 呢?在Golang 中變數分為幾類:「新定義」、「預先定義」、「自動新定義」、「覆蓋」。讓我們來看看範例:

在PHP中你會很常用到 echo 來顯示文字,像這樣。

然而在Golang中你會需要 fmt 套件,關於「什麼是套件」的說明你可以在文章下述了解。

這很簡單,而且兩個語言的用法相差甚少,下面這是PHP:

只是Golang 稍微聒噪了一點,你必須在函式後面宣告他最後會回傳什麼資料型別。

在PHP 中你要回傳多個資料你就會用上陣列,然後將資料放入陣列裡面,像這樣。

然而在Golang 中你可以不必用到一個陣列,函式可以一次回傳多個值:

兩個語言的撰寫方式不盡相同。

主要是PHP 的陣列能做太多事情了,所以在PHP 裡面要儲存什麼用陣列就好了。

在Golang里⋯⋯沒有這麼萬能的東西,首先要先了解Golang中有這些型態: array , slice , map , interface ,

你他媽的我到底看了三洨,首先你要知道Golang是個強型別語言,意思是你的陣列中 只能有一種型態 ,什麼意思?當你決定這個陣列是用來擺放字串資料的時候,你就只能在裡面放字串。沒有數值、沒有布林值,就像你沒有女朋友一樣。

先撇開PHP 的「萬能陣列」不管,Golang 中的陣列既單純卻又十分腦殘,在定義一個陣列的時候,你必須給他一個長度還有其內容存放的資料型態,你的陣列內容不一定要填滿其長度,但是你的陣列內容不能超過你當初定義的長度。

切片⋯⋯這聽起來也許很奇怪,但是你確實可以「切」他,讓我們先談談「切片」比起「陣列」要好在哪裡:「你不用定義其最大長度,而且你可以直接賦予值」,沒了。

我們剛才有提到你可以「切」他,記得嗎?這有點像是PHP中的 array_slice() ,但是Golang直接讓Slice「內建」了這個用法,其用法是: slice[開始:結束] 。

在PHP中倒是沒有那麼方便,在下列PHP範例中你需要不斷地使用 array_slice() 。

你可以把「映照」看成是一個有鍵名和鍵值的陣列,但是記住:「你需要事先定義其鍵名、鍵值的資料型態」,這仍限制你沒辦法在映照中存放多種不同型態的資料。

在Golang里可就沒這麼簡單了,你需要先用 make() 宣告 map 。

也許你不喜歡「接口」這個詞,但用「介面」我怕會誤導大眾,所以,是的,接下來我會繼續稱其為「接口」。還記得你可以在PHP 的關聯陣列裡面存放任何型態的資料嗎,像下面這樣?

現在你有福了!正因為Golang中的 interface{} 可以接受任何內容,所以你可以把它拿來存放任何型態的資料。

有時候你也許會有個不定值的變數,在PHP 里你可以直接將一個變數定義成字串、數值、空值、就像你那變心的女友一樣隨時都在變。

在Golang中你必須給予變數一個指定的資料型別,不過還記得剛才提到的:「Golang中有個 interface{} 能夠 存放任何事物 」嗎( 雖然也不是真的任何事物啦⋯⋯ )?

當我們程式中不需要繼續使用到某個資源或是發生錯誤的時候,我們索性會將其關閉或是拋棄來節省資源開銷,例如PHP 里的讀取檔案:

在Golang中,你可以使用 defer 來在函式結束的時候自動執行某些程式(其執行方向為反向)。所以你就不需要在函式最後面結束最前面的資源。

defer 可以被稱為「推遲執行」,實際上就是在函式結束後會「反序」執行的東西,例如你按照了這樣的順序定義 defer : A-B-C-D ,那麼執行的順序其實會是 D-C-B-A ,這用在程式結束時還蠻有用的,讓我們看看Golang如何改善上述範例。

這東西很邪惡,不是嗎?又不是在寫BASIC,不過也許有時候你會在PHP 用上呢。但是拜託,不要。

Golang中僅有 for 一種迴圈但卻能夠達成 foreach 、 while 、 for 多種用法。普通 for 迴圈寫法在兩個語言中都十分相近。

在Golang請記得:如果你的 i 先前並不存在,那麼你就需要定義它,所以下面這個範例你會看見 i := 0 。

在PHP里, foreach() 能夠直接給你值和鍵名,用起來十分簡單。

Golang裡面雖然僅有 for() 但卻可以使用 range 達成和PHP一樣的 foreach 方式。

一個 while(條件) 迴圈在PHP裡面可以不斷地執行區塊中的程式,直到 條件 為 false 為止。

在Golang里也有相同的做法,但仍是透過 for 迴圈,請注意這個 for 迴圈並沒有任何的分號( ; ),而且一個沒有條件的 for 迴圈會一直被執行。

PHP中有 do .. while() 迴圈可以先做區塊中的動作。

在Golang中則沒有相關函式,但是你可以透過一個無止盡的 for 迴圈加上條件式來讓他結束迴圈。

要是你真的希望完全符合像是PHP那樣的設計方式,或者你可以在Golang中使用很邪惡的 goto 。

在PHP中我們可以透過 date() 像這樣取得目前的日期。

在Golang就稍微有趣點了,因為Golang中並不是以 Y-m-d 這種格式做為定義,而是 1 、 2 、 3 ,這令你需要去翻閱文件,才能夠知道 1 的定義是代表什麼。

俗話說:「爆炸就是藝術」,可愛的PHP用詞真的很大膽,像是: explode() (爆炸)、 die() (死掉),回歸正傳,如果你想在PHP裡面將字串切割成陣列,你可以這麼做。

簡單的就讓一個字串給「爆炸」了,那麼Golang 呢?

對了,記得引用 strings 套件。

這真的是很常用到的功能,就像物件一樣有着鍵名和鍵值,在PHP 裡面你很簡單的就能靠陣列(Array)辦到。

真是太棒了,那麼Golang呢?用 map 是差不多啦。如果有必要的話,你可以稍微複習一下先前提到的「多資料儲存型態-Stores」。

你很常會在PHP裡面用 isset() 檢查一個索引是否存在,不是嗎?

在Golang裡面很簡單的能夠這樣辦到(僅適用於 map )。

指針(有時也做參照)是一個像是「變數別名」的方法,這種方法讓你不用整天覆蓋舊的變數,讓我們假設 A = 1; B = A; 這個時候 B 會複製一份 A 且兩者不相干,倘若你希望修改 B 的時候實際上也會修改到 A 的值,就會需要指針。

指針比起複制一個變數,他會建立一個指向到某個變數的記憶體位置,這也就是為什麼你改變指針,實際上是在改變某個變數。

在Golang你需要用上 * 還有 符號。

有些時候你會回傳一個陣列,這個陣列裡面可能有資料還有錯誤代號,而你會用條件式判斷錯誤代號是否非空值。

在Golang中函式可以一次回傳多個值。為此,你不需要真的回傳一個陣列,不過要注意的是你將會回傳一個屬於 error 資料型態的錯誤,所以你需要引用 errors 套件來幫助你做這件事。

該注意的是Golang沒有 try .. catch ,因為 Golang推薦這種錯誤處理方式 ,你應該在每一次執行可能會發生錯誤的程式時就處理錯誤,而非後來用 try 到處包覆你的程式。

在 if 條件式里宣告變數會讓你只能在 if 內部使用這個變數,而不會污染到全域範圍。

也許你在PHP中更常用的會是 try .. catch ,在大型商業邏輯時經常看見如此地用法,實際上這種用法令人感到聒噪(因為你會需要一堆 try 區塊):

Golang中並沒有 try .. catch ,實際上Golang也 不鼓勵這種行為 (Golang推薦逐一處理錯誤的方式),倘若你真想辦倒像是捕捉異常這樣的方式,你確實可以使用Golang中另類處理錯誤的方式(可以的話盡量避免使用這種方式): panic() , recover() , defer 。

你可以把 panic() 當作是 throw (丟出錯誤),而這跟PHP的 exit() 有87%像,一但你執行了 panic() 你的程式就會宣告而終,但是別擔心,因為程式結束的時候會呼叫 defer ,所以我們接下來要在 defer 停止 panic() 。

關於 defer 上述已經有提到了,他是一個反向執行的宣告,會在函式結束後被執行,當你呼叫了 panic() 結束程式的時候,也就會開始執行 defer ,所以我們要在 defer 內使用 recover() 讓程式不再繼續進行結束動作,這就像是捕捉異常。

recover() 可以看作 catch (捕捉),我們要在 defer 裡面用 recover() 解決 panic() ,如此一來程式就會回歸正常而不會被結束。

還記得在PHP里要引用一堆檔案的日子嗎?到處可見的 require() 或是 include() ?到了Golang這些都不見了,取而代之的是「套件(Package)」。現在讓我們來用PHP解釋一下。

這看起來很正常對吧?但假設你有一堆檔案,這馬上就成了 Include Hell ,讓我們看看Golang怎麼透過「套件」解決這個問題。

「 蛤???殺小??? 」你可能如此地說道。是的, main.go 中除了引用 fmt 套件( 為了要輸出結果用的套件 )之外完全沒有引用到 a.go 。

「 蛤???殺小?????? 」你彷彿回到了幾秒鐘前的自己。

既然沒有引用其他檔案,為什麼 main.go 可以輸出 foo 呢?注意到了嗎, 兩者都是屬於 main 套件 ,因此 他們共享同一個區域 ,所以接下來要介紹的是什麼叫做「套件」。

套件是每一個 .go 檔案都必須聲明在Golang原始碼中最開端的東西,像下面這樣:

這意味着目前的檔案是屬於 main 套件( 你也可以依照你的喜好命名 ),那麼要如何讓同個套件之間的函式溝通呢?

接着是Golang;注意!你不需要引用任何檔案,因為下列兩個檔案同屬一個套件。

一個由「套件」所掌握的世界,比起PHP的 include() 和 require() 還要好太多了,對嗎?

在Golang 中沒有引用單獨檔案的方式,你必須匯入一整個套件,而且你要記住:「一定你匯入了,你就一定要使用它」,像下面這樣。

假如你不希望使用你匯入的套件,你只是為了要觸發那個套件的 main() 函式而引用的話⋯⋯,那麼你可以在前面加上一個底線( _ )。

如果你的套件出現了名稱衝突,你可以在套件來源前面給他一個新的名稱。

現在你知道可以匯入套件了,那麼什麼是「匯出」?同個套件內的函式還有共享變數確實可以直接用,但那 並不表示可以給其他套件使用 ,其方法取決於 函式/變數的「開頭大小寫」 。

是的。 Golang依照一個函式/變數的開頭大小寫決定這個東西是否可供「匯出」 。

這用在區別函式的時候格外有用,因為小寫開頭的任何事物都是不供匯出的,反之,大寫開頭的任何事物都是用來匯出供其他套件使用的。

一開始可能會覺得這是什麼奇異的規定,但寫久之後,你就能發現比起JavaScript和Python以「底線為開頭的命名方式」還要來得更好;比起成天宣告 public 、 private 、 protected 還要來得更快。

在Golang 中沒有類別,但有所謂的「建構體(Struct)」和「接口(Interface)」,這就能夠滿足幾乎所有的需求了,這也是為什麼我認為Golang 很簡潔卻又很強大的原因。

讓我們先用PHP 建立一個類別,然後看看Golang 怎麼解決這個問題。

雖然Golang沒有類別,但是「建構體(Struct)」就十分地堪用了,首先你要知道在Golang中「類別」的成員還有方法都是在「類別」外面所定義的,這跟PHP在類別內定義的方式有所不同,在Golang中還有一點,那就是他們沒有 public 、 private 、 protected 的種類。

在PHP中,當有一個類別被 new 的時候會自動執行該類別內的建構子( __construct() ),通常你會用這個來初始化一些類別內部的值。

但是在Golang 里因為沒有類別,也就沒有建構子,不巧的是建構體本身也不帶有建構子的特性,這個時候你只能自己在外部建立一個建構用函式。

讓我們假設你有兩個類別,你會把其中一個類別傳入到另一個類別裡面使用,廢話不多說!先上個PHP 範例(為了簡短篇幅我省去了換行)。

在Golang中你也有相同的用法,但是請記得:「 任何東西都是在「類別」外完成建構的 」。

在PHP 中沒有相關的範例,這部分會以剛才「嵌入」章節中的Golang 範例作為解說對象。

你可以看見Golang在進行 Foo 嵌入 Bar 的時候,會自動將 Foo 的成員暴露在 Bar 底下,那麼假設「雙方之間有相同的成員名稱」呢?

這個時候被嵌入的成員就會被「遮蔽」,下面是個實際範例,還有你如何解決遮蔽問題:

雖然都是呼叫同一個函式,但是這個函式可以針對不同的資料來源做出不同的舉動,這就是多形。你也能夠把這看作是:「訊息的意義由接收者定義,而不是傳送者」。

目前PHP 中沒有真正的「多形」,不過你仍可以做出同樣的東西。

嗯⋯⋯那麼Golang呢?實際上更簡單而且更有條理了,在Golang中有 interface 可以幫忙完成這個工作。

如果你對Interface還不熟悉,可以試着查看「 解釋Golang中的Interface到底是什麼 」文章。

謝謝你看到這裡,可惜這篇文章卻沒有說出Golang 最重要的賣點:「Goroutine」和「Channel」

golangci-line 工具介紹

在 ci 過程中,經常有一些可以通過靜態分析或者白盒檢測去避免一些問題以及規範代碼格式!使用Go語言一般是使用 golangci-line 作為代碼檢測工具!

參考官網:

安裝: curl-sSfL | sh -s — -b $(go env GOPATH)/bin v1.43.0

版本信息: golangci-lint–version

目前我司是自己二開的 golangci-line,所以這裡使用的開源版本,其實大同小異,就是開發了一些插件!

這個就是一個工具,集成了各類自動檢測代碼的工具,所以不需要本地安裝太多的工具,只需要這個工具即可!

由於它需要一個go的項目,這裡以我自己的項目去介紹, 項目地址:,如果有同學想自己嘗試下可以直接下載我這個項目!項目也比較規範!

其實執行 golangci-lint run-h 就可以獲取以下幫助

例如我經常使用的: 我日常就是開啟format功能!

1、默認使用的插件

2、默認沒用的

3、presets 分類:

具體可以參考我的:

主要是做一些 無用代碼檢測,簡化代碼,格式化代碼!然後執行 golangci-lint run –fix 即可

怎麼學習golang

已經有好多程序員都把Go語言描述為是一種所見即所得(WYSIWYG)的編程語言。這是說,代碼要做的事和它在字面上表達的意思是完全一致的。 在這些新語言中,包含D,Go,Rust和Vala語言,Go曾一度出現在TIOBE的排行榜上面。與其他新語言相比,Go的魅力明顯要大很多。Go的成熟特徵會得到許多開發者的欣賞,而不僅僅是因為其誇大其詞的曝光度。下面我們來一起探討一下谷歌開發的Go語言以及談談Go為什麼會吸引眾多開發者: 快速簡單的編譯 Go編譯速度很快,如此快速的編譯使它很容易作為腳本語言使用。關於編譯速度快主要有以下幾個原因:首先,Go不使用頭文件;其次如果一個模塊是依賴A的,這反過來又取決於B,在A裡面的需求改變只需重新編譯原始模塊和與A相依賴的地方;最後,對象模塊裡面包含了足夠的依賴關係信息,所以編譯器不需要重新創建文件。你只需要簡單地編譯主模塊,項目中需要的其他部分就會自動編譯,很酷,是不是? 通過返回數值列表來處理錯誤信息 目前,在本地語言裡面處理錯誤的方式主要有兩種:直接返回代碼或者拋異常。這兩種都不是最理想的處理方式。其中返回代碼是非常令人沮喪的,因為返回的錯誤代碼經常與從函數中返回的數據相衝突。Go允許函數返回多個值來解決這個問題。這個從函數裡面返回的值,可以用來檢查定義的類型是否正確並且可以隨時隨地對函數的返回值進行檢查。如果你對錯誤值不關心,你可以不必檢查。在這兩種情況下,常規的返回值都是可用的。 簡化的成分(優先於繼承) 通過使用接口,類型是有資格成為對象中一員的,就像Java指定行為一樣。例如在標準庫裡面的IO包,定義一個Writer來指定一個方法,一個Writer函數,其中輸入參數是字節數組並且返回整數類型值或者錯誤類型。任何類型實現一個帶有相同簽名的Writer方法是對IO的完全實現,Writer接口。這種是解耦代碼而不是優雅。它還簡化了模擬對象來進行單元測試。例如你想在數據庫對象中測試一個方法,在標準語言中,你通常需要創建一個數據庫對象,並且需要進行大量的初始化和協議來模擬對象。在Go裡面,如果該方法需要實現一個接口,你可以創建任何對該接口有用的對象,所以,你創建了MockDatabase,這是很小的對象,只實現了幾個需要運行和模擬的接口——沒有構造函數,沒有附件功能,只是一些方法。 簡化的並發性 相對於其他語言,並發性在Go裡面顯得更加容易。把‘go’關鍵字放在任意函數前面然後那個函數就會在其go-routine自動運行(一個很輕的線程)。go-routines是通過通道進行交流並且基本上封鎖了所有的隊列消息。普通工具對相互排斥是有用,但是Go通過使用通道來踢掉並發性任務和坐標更加容易。 優秀的錯誤消息 所有與Go相似的語言,自身作出的診斷都是無法與Go相媲美的。例如,一個死鎖程序,在Go運行時會通知你目前哪個線程導致了這種死鎖。編譯的錯誤信息是非常詳細全面和有用的。 其他 這裡還有許多其他吸引人的地方,下面就一概而過的介紹一下,比如高階函數、垃圾回收、哈希映射和可擴展的數組內置語言(部分語言語法,而不是作為一個庫)等等。 當然,Go並不是完美無瑕。在工具方面還有些不成熟的地方和用戶社區較小等,但是隨着谷歌語言的不斷發展,肯定會有整治措施出來。儘管許多語言,尤其是D、Rust和Vala旨在簡化C++並且對其進行簡化,但它們給人的感覺仍是“C++看上去要更好”。

【Go語言的優勢】

可直接編譯成機器碼,不依賴其他庫,glibc的版本有一定要求,部署就是扔一個文件上去就完成了。

靜態類型語言,但是有動態語言的感覺,靜態類型的語言就是可以在編譯的時候檢查出來隱藏的大多數問題,動態語言的感覺就是有很多的包可以使用,寫起來的效率很高。

語言層面支持並發,這個就是Go最大的特色,天生的支持並發,我曾經說過一句話,天生的基因和整容是有區別的,大家一樣美麗,但是你喜歡整容的還是天生基因的美麗呢?Go就是基因裡面支持的並發,可以充分的利用多核,很容易的使用並發。

內置runtime,支持垃圾回收,這屬於動態語言的特性之一吧,雖然目前來說GC不算完美,但是足以應付我們所能遇到的大多數情況,特別是Go1.1之後的GC。

簡單易學,Go語言的作者都有C的基因,那麼Go自然而然就有了C的基因,那麼Go關鍵字是25個,但是表達能力很強大,幾乎支持大多數你在其他語言見過的特性:繼承、重載、對象等。

豐富的標準庫,Go目前已經內置了大量的庫,特別是網絡庫非常強大,我最愛的也是這部分。

內置強大的工具,Go語言裡面內置了很多工具鏈,最好的應該是gofmt工具,自動化格式化代碼,能夠讓團隊review變得如此的簡單,代碼格式一模一樣,想不一樣都很困難。

跨編譯,如果你寫的Go代碼不包含cgo,那麼就可以做到window系統編譯linux的應用,如何做到的呢?Go引用了plan9的代碼,這就是不依賴系統的信息。

內嵌C支持,前面說了作者是C的作者,所以Go裡面也可以直接包含c代碼,利用現有的豐富的C庫。

徹底理解Golang Map

本文目錄如下,閱讀本文後,將一網打盡下面Golang Map相關面試題

Go中的map是一個指針,佔用8個字節,指向hmap結構體; 源碼 src/runtime/map.go 中可以看到map的底層結構

每個map的底層結構是hmap,hmap包含若干個結構為bmap的bucket數組。每個bucket底層都採用鏈表結構。接下來,我們來詳細看下map的結構

bmap 就是我們常說的“桶”,一個桶裡面會最多裝 8 個 key,這些 key 之所以會落入同一個桶,是因為它們經過哈希計算後,哈希結果是“一類”的,關於key的定位我們在map的查詢和插入中詳細說明。在桶內,又會根據 key 計算出來的 hash 值的高 8 位來決定 key 到底落入桶內的哪個位置(一個桶內最多有8個位置)。

bucket內存數據結構可視化如下:

注意到 key 和 value 是各自放在一起的,並不是 key/value/key/value/… 這樣的形式。源碼里說明這樣的好處是在某些情況下可以省略掉 padding字段,節省內存空間。

當 map 的 key 和 value 都不是指針,並且 size 都小於 128 字節的情況下,會把 bmap 標記為不含指針,這樣可以避免 gc 時掃描整個 hmap。但是,我們看 bmap 其實有一個 overflow 的字段,是指針類型的,破壞了 bmap 不含指針的設想,這時會把 overflow 移動到 extra 字段來。

map是個指針,底層指向hmap,所以是個引用類型

golang 有三個常用的高級類型 slice 、map、channel, 它們都是 引用類型 ,當引用類型作為函數參數時,可能會修改原內容數據。

golang 中沒有引用傳遞,只有值和指針傳遞。所以 map 作為函數實參傳遞時本質上也是值傳遞,只不過因為 map 底層數據結構是通過指針指向實際的元素存儲空間,在被調函數中修改 map,對調用者同樣可見,所以 map 作為函數實參傳遞時表現出了引用傳遞的效果。

因此,傳遞 map 時,如果想修改map的內容而不是map本身,函數形參無需使用指針

map 底層數據結構是通過指針指向實際的元素 存儲空間 ,這種情況下,對其中一個map的更改,會影響到其他map

map 在沒有被修改的情況下,使用 range 多次遍歷 map 時輸出的 key 和 value 的順序可能不同。這是 Go 語言的設計者們有意為之,在每次 range 時的順序被隨機化,旨在提示開發者們,Go 底層實現並不保證 map 遍歷順序穩定,請大家不要依賴 range 遍歷結果順序。

map 本身是無序的,且遍歷時順序還會被隨機化,如果想順序遍歷 map,需要對 map key 先排序,再按照 key 的順序遍歷 map。

map默認是並發不安全的,原因如下:

Go 官方在經過了長時間的討論後,認為 Go map 更應適配典型使用場景(不需要從多個 goroutine 中進行安全訪問),而不是為了小部分情況(並發訪問),導致大部分程序付出加鎖代價(性能),決定了不支持。

場景: 2個協程同時讀和寫,以下程序會出現致命錯誤:fatal error: concurrent map writes

如果想實現map線程安全,有兩種方式:

方式一:使用讀寫鎖 map + sync.RWMutex

方式二:使用golang提供的 sync.Map

sync.map是用讀寫分離實現的,其思想是空間換時間。和map+RWLock的實現方式相比,它做了一些優化:可以無鎖訪問read map,而且會優先操作read map,倘若只操作read map就可以滿足要求(增刪改查遍歷),那就不用去操作write map(它的讀寫都要加鎖),所以在某些特定場景中它發生鎖競爭的頻率會遠遠小於map+RWLock的實現方式。

golang中map是一個kv對集合。底層使用hash table,用鏈表來解決衝突 ,出現衝突時,不是每一個key都申請一個結構通過鏈表串起來,而是以bmap為最小粒度掛載,一個bmap可以放8個kv。在哈希函數的選擇上,會在程序啟動時,檢測 cpu 是否支持 aes,如果支持,則使用 aes hash,否則使用 memhash。

map有3鍾初始化方式,一般通過make方式創建

map的創建通過生成彙編碼可以知道,make創建map時調用的底層函數是 runtime.makemap 。如果你的map初始容量小於等於8會發現走的是 runtime.fastrand 是因為容量小於8時不需要生成多個桶,一個桶的容量就可以滿足

makemap函數會通過 fastrand 創建一個隨機的哈希種子,然後根據傳入的 hint 計算出需要的最小需要的桶的數量,最後再使用 makeBucketArray 創建用於保存桶的數組,這個方法其實就是根據傳入的 B 計算出的需要創建的桶數量在內存中分配一片連續的空間用於存儲數據,在創建桶的過程中還會額外創建一些用於保存溢出數據的桶,數量是 2^(B-4) 個。初始化完成返回hmap指針。

找到一個 B,使得 map 的裝載因子在正常範圍內

Go 語言中讀取 map 有兩種語法:帶 comma 和 不帶 comma。當要查詢的 key 不在 map 里,帶 comma 的用法會返回一個 bool 型變量提示 key 是否在 map 中;而不帶 comma 的語句則會返回一個 value 類型的零值。如果 value 是 int 型就會返回 0,如果 value 是 string 類型,就會返回空字符串。

map的查找通過生成彙編碼可以知道,根據 key 的不同類型,編譯器會將查找函數用更具體的函數替換,以優化效率:

函數首先會檢查 map 的標誌位 flags。如果 flags 的寫標誌位此時被置 1 了,說明有其他協程在執行“寫”操作,進而導致程序 panic。這也說明了 map 對協程是不安全的。

key經過哈希函數計算後,得到的哈希值如下(主流64位機下共 64 個 bit 位):

m: 桶的個數

從buckets 通過 hash m 得到對應的bucket,如果bucket正在擴容,並且沒有擴容完成,則從oldbuckets得到對應的bucket

計算hash所在桶編號:

用上一步哈希值最後的 5 個 bit 位,也就是 01010 ,值為 10,也就是 10 號桶(範圍是0~31號桶)

計算hash所在的槽位:

用上一步哈希值哈希值的高8個bit 位,也就是 10010111 ,轉化為十進制,也就是151,在 10 號 bucket 中尋找** tophash 值(HOB hash)為 151* 的 槽位**,即為key所在位置,找到了 2 號槽位,這樣整個查找過程就結束了。

如果在 bucket 中沒找到,並且 overflow 不為空,還要繼續去 overflow bucket 中尋找,直到找到或是所有的 key 槽位都找遍了,包括所有的 overflow bucket。

通過上面找到了對應的槽位,這裡我們再詳細分析下key/value值是如何獲取的:

bucket 里 key 的起始地址就是 unsafe.Pointer(b)+dataOffset。第 i 個 key 的地址就要在此基礎上跨過 i 個 key 的大小;而我們又知道,value 的地址是在所有 key 之後,因此第 i 個 value 的地址還需要加上所有 key 的偏移。

通過彙編語言可以看到,向 map 中插入或者修改 key,最終調用的是 mapassign 函數。

實際上插入或修改 key 的語法是一樣的,只不過前者操作的 key 在 map 中不存在,而後者操作的 key 存在 map 中。

mapassign 有一個系列的函數,根據 key 類型的不同,編譯器會將其優化為相應的“快速函數”。

我們只用研究最一般的賦值函數 mapassign 。

map的賦值會附帶着map的擴容和遷移,map的擴容只是將底層數組擴大了一倍,並沒有進行數據的轉移,數據的轉移是在擴容後逐步進行的,在遷移的過程中每進行一次賦值(access或者delete)會至少做一次遷移工作。

1.判斷map是否為nil

每一次進行賦值/刪除操作時,只要oldbuckets != nil 則認為正在擴容,會做一次遷移工作,下面會詳細說下遷移過程

根據上面查找過程,查找key所在位置,如果找到則更新,沒找到則找空位插入即可

經過前面迭代尋找動作,若沒有找到可插入的位置,意味着需要擴容進行插入,下面會詳細說下擴容過程

通過彙編語言可以看到,向 map 中刪除 key,最終調用的是 mapdelete 函數

刪除的邏輯相對比較簡單,大多函數在賦值操作中已經用到過,核心還是找到 key 的具體位置。尋找過程都是類似的,在 bucket 中挨個 cell 尋找。找到對應位置後,對 key 或者 value 進行“清零”操作,將 count 值減 1,將對應位置的 tophash 值置成 Empty

再來說觸發 map 擴容的時機:在向 map 插入新 key 的時候,會進行條件檢測,符合下面這 2 個條件,就會觸發擴容:

1、裝載因子超過閾值

源碼里定義的閾值是 6.5 (loadFactorNum/loadFactorDen),是經過測試後取出的一個比較合理的因子

我們知道,每個 bucket 有 8 個空位,在沒有溢出,且所有的桶都裝滿了的情況下,裝載因子算出來的結果是 8。因此當裝載因子超過 6.5 時,表明很多 bucket 都快要裝滿了,查找效率和插入效率都變低了。在這個時候進行擴容是有必要的。

對於條件 1,元素太多,而 bucket 數量太少,很簡單:將 B 加 1,bucket 最大數量( 2^B )直接變成原來 bucket 數量的 2 倍。於是,就有新老 bucket 了。注意,這時候元素都在老 bucket 里,還沒遷移到新的 bucket 來。新 bucket 只是最大數量變為原來最大數量的 2 倍( 2^B * 2 ) 。

2、overflow 的 bucket 數量過多

在裝載因子比較小的情況下,這時候 map 的查找和插入效率也很低,而第 1 點識別不出來這種情況。表面現象就是計算裝載因子的分子比較小,即 map 里元素總數少,但是 bucket 數量多(真實分配的 bucket 數量多,包括大量的 overflow bucket)

不難想像造成這種情況的原因:不停地插入、刪除元素。先插入很多元素,導致創建了很多 bucket,但是裝載因子達不到第 1 點的臨界值,未觸發擴容來緩解這種情況。之後,刪除元素降低元素總數量,再插入很多元素,導致創建很多的 overflow bucket,但就是不會觸發第 1 點的規定,你能拿我怎麼辦?overflow bucket 數量太多,導致 key 會很分散,查找插入效率低得嚇人,因此出台第 2 點規定。這就像是一座空城,房子很多,但是住戶很少,都分散了,找起人來很困難

對於條件 2,其實元素沒那麼多,但是 overflow bucket 數特別多,說明很多 bucket 都沒裝滿。解決辦法就是開闢一個新 bucket 空間,將老 bucket 中的元素移動到新 bucket,使得同一個 bucket 中的 key 排列地更緊密。這樣,原來,在 overflow bucket 中的 key 可以移動到 bucket 中來。結果是節省空間,提高 bucket 利用率,map 的查找和插入效率自然就會提升。

由於 map 擴容需要將原有的 key/value 重新搬遷到新的內存地址,如果有大量的 key/value 需要搬遷,會非常影響性能。因此 Go map 的擴容採取了一種稱為“漸進式”的方式,原有的 key 並不會一次性搬遷完畢,每次最多只會搬遷 2 個 bucket。

上面說的 hashGrow() 函數實際上並沒有真正地“搬遷”,它只是分配好了新的 buckets,並將老的 buckets 掛到了 oldbuckets 字段上。真正搬遷 buckets 的動作在 growWork() 函數中,而調用 growWork() 函數的動作是在 mapassign 和 mapdelete 函數中。也就是插入或修改、刪除 key 的時候,都會嘗試進行搬遷 buckets 的工作。先檢查 oldbuckets 是否搬遷完畢,具體來說就是檢查 oldbuckets 是否為 nil。

如果未遷移完畢,賦值/刪除的時候,擴容完畢後(預分配內存),不會馬上就進行遷移。而是採取 增量擴容 的方式,當有訪問到具體 bukcet 時,才會逐漸的進行遷移(將 oldbucket 遷移到 bucket)

nevacuate 標識的是當前的進度,如果都搬遷完,應該和2^B的長度是一樣的

在evacuate 方法實現是把這個位置對應的bucket,以及其衝突鏈上的數據都轉移到新的buckets上。

轉移的判斷直接通過tophash 就可以,判斷tophash中第一個hash值即可

遍歷的過程,就是按順序遍歷 bucket,同時按順序遍歷 bucket 中的 key。

map遍歷是無序的,如果想實現有序遍歷,可以先對key進行排序

為什麼遍歷 map 是無序的?

如果發生過遷移,key 的位置發生了重大的變化,有些 key 飛上高枝,有些 key 則原地不動。這樣,遍歷 map 的結果就不可能按原來的順序了。

如果就一個寫死的 map,不會向 map 進行插入刪除的操作,按理說每次遍歷這樣的 map 都會返回一個固定順序的 key/value 序列吧。但是 Go 杜絕了這種做法,因為這樣會給新手程序員帶來誤解,以為這是一定會發生的事情,在某些情況下,可能會釀成大錯。

Go 做得更絕,當我們在遍歷 map 時,並不是固定地從 0 號 bucket 開始遍歷,每次都是從一個**隨機值序號的 bucket 開始遍歷,並且是從這個 bucket 的一個 隨機序號的 cell **開始遍歷。這樣,即使你是一個寫死的 map,僅僅只是遍歷它,也不太可能會返回一個固定序列的 key/value 對了。

golang是什麼意思

Go語言(又稱 Golang)是 Google 的 Robert Griesemer,Rob Pike 及 Ken Thompson 開發的一種靜態強類型、編譯型語言。Go 語言語法與 C 相近,但功能上有:內存安全,GC(垃圾回收),結構形態及 CSP-style 並發計算。 擴展資料

Go語言主要用作服務器端開發,其定位是用來開發“大型軟件”的,適合於很多程序員一起開發大型軟件,並且開發周期長,支持雲計算的網絡服務。Go語言能夠讓程序員快速開發,並且在軟件不斷的’增長過程中,它能讓程序員更容易地進行維護和修改。它融合了傳統編譯型語言的高效性和腳本語言的易用性和富於表達性。

Go語言作為服務器編程語言,很適合處理日誌、數據打包、虛擬機處理、文件系統、分布式系統、數據庫代理等;網絡編程方面,Go語言廣泛應用於Web應用、API應用、下載應用等;除此之外,Go語言還可用於內存數據庫和雲平台領域,目前國外很多雲平台都是採用Go開發。

golang屬於什麼類型的語言

編譯型,強類型:比如go,java

php那種就叫弱類型,解釋型語言

原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-hant/n/243756.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
小藍的頭像小藍
上一篇 2024-12-12 12:58
下一篇 2024-12-12 12:58

相關推薦

  • 運維Python和GO應用實踐指南

    本文將從多個角度詳細闡述運維Python和GO的實際應用,包括監控、管理、自動化、部署、持續集成等方面。 一、監控 運維中的監控是保證系統穩定性的重要手段。Python和GO都有強…

    編程 2025-04-29
  • 如何在Java中拼接OBJ格式的文件並生成完整的圖像

    OBJ格式是一種用於表示3D對象的標準格式,通常由一組頂點、面和紋理映射坐標組成。在本文中,我們將討論如何將多個OBJ文件拼接在一起,生成一個完整的3D模型。 一、讀取OBJ文件 …

    編程 2025-04-29
  • AES加密解密算法的C語言實現

    AES(Advanced Encryption Standard)是一種對稱加密算法,可用於對數據進行加密和解密。在本篇文章中,我們將介紹C語言中如何實現AES算法,並對實現過程進…

    編程 2025-04-29
  • 學習Python對學習C語言有幫助嗎?

    Python和C語言是兩種非常受歡迎的編程語言,在程序開發中都扮演着非常重要的角色。那麼,學習Python對學習C語言有幫助嗎?答案是肯定的。在本文中,我們將從多個角度探討Pyth…

    編程 2025-04-29
  • 如何實現圖像粘貼到蒙版

    本文將從多個方面介紹圖像粘貼到蒙版的實現方法。 一、創建蒙版 首先,在HTML中創建一個蒙版元素,用於接收要粘貼的圖片。 <div id=”mask” style=”widt…

    編程 2025-04-29
  • 使用Golang調用Python

    在現代軟件開發中,多種編程語言的協作是相當普遍的。其中一種使用場景是Golang調用Python,這使得在使用Python庫的同時,可以利用Golang的高性能和強大並發能力。這篇…

    編程 2025-04-29
  • Python被稱為膠水語言

    Python作為一種跨平台的解釋性高級語言,最大的特點是被稱為”膠水語言”。 一、簡單易學 Python的語法簡單易學,更加人性化,這使得它成為了初學者的入…

    編程 2025-04-29
  • go-chassis

    本文將深入探究go-chassis,包括它的基本概念,特性,以及如何使用它構建微服務應用程序。 一、微服務架構及其優勢 微服務架構是一種將應用程序拆分為小型、自治服務的體系結構。每…

    編程 2025-04-29
  • OpenJudge答案1.6的C語言實現

    本文將從多個方面詳細闡述OpenJudge答案1.6在C語言中的實現方法,幫助初學者更好地學習和理解。 一、需求概述 OpenJudge答案1.6的要求是,輸入兩個整數a和b,輸出…

    編程 2025-04-29
  • Python按位運算符和C語言

    本文將從多個方面詳細闡述Python按位運算符和C語言的相關內容,並給出相應的代碼示例。 一、概述 Python是一種動態的、面向對象的編程語言,其按位運算符是用於按位操作的運算符…

    編程 2025-04-29

發表回復

登錄後才能評論