golang隊列下載文件,gog獲取文件列表

本文目錄一覽：

• 1、【golang詳解】go語言GMP(GPM)原理和調度
• 2、[Delayq] golang延時隊列
• 3、怎麼學習golang
• 4、golang文件操作-讀操作的常見方式匯總
• 5、golang – channel

【golang詳解】go語言GMP(GPM)原理和調度

Goroutine調度是一個很複雜的機制，下面嘗試用簡單的語言描述一下Goroutine調度機制，想要對其有更深入的了解可以去研讀一下源碼。

首先介紹一下GMP什麼意思：

G ———– goroutine: 即Go協程，每個go關鍵字都會創建一個協程。

M ———- thread內核級線程，所有的G都要放在M上才能運行。

P ———– processor處理器，調度G到M上，其維護了一個隊列，存儲了所有需要它來調度的G。

Goroutine 調度器P和 OS 調度器是通過 M 結合起來的，每個 M 都代表了 1 個內核線程，OS 調度器負責把內核線程分配到 CPU 的核上執行

模型圖：

避免頻繁的創建、銷毀線程，而是對線程的復用。

1）work stealing機制

  當本線程無可運行的G時，嘗試從其他線程綁定的P偷取G，而不是銷毀線程。

2）hand off機制

  當本線程M0因為G0進行系統調用阻塞時，線程釋放綁定的P，把P轉移給其他空閑的線程執行。進而某個空閑的M1獲取P，繼續執行P隊列中剩下的G。而M0由於陷入系統調用而進被阻塞，M1接替M0的工作，只要P不空閑，就可以保證充分利用CPU。M1的來源有可能是M的緩存池，也可能是新建的。當G0系統調用結束後，根據M0是否能獲取到P，將會將G0做不同的處理：

如果有空閑的P，則獲取一個P，繼續執行G0。

如果沒有空閑的P，則將G0放入全局隊列，等待被其他的P調度。然後M0將進入緩存池睡眠。

如下圖

GOMAXPROCS設置P的數量，最多有GOMAXPROCS個線程分布在多個CPU上同時運行

在Go中一個goroutine最多佔用CPU 10ms，防止其他goroutine被餓死。

具體可以去看另一篇文章

【Golang詳解】go語言調度機制 搶佔式調度

當創建一個新的G之後優先加入本地隊列，如果本地隊列滿了，會將本地隊列的G移動到全局隊列裡面，當M執行work stealing從其他P偷不到G時，它可以從全局G隊列獲取G。

協程經歷過程

我們創建一個協程 go func()經歷過程如下圖：

說明：

這裡有兩個存儲G的隊列，一個是局部調度器P的本地隊列、一個是全局G隊列。新創建的G會先保存在P的本地隊列中，如果P的本地隊列已經滿了就會保存在全局的隊列中；處理器本地隊列是一個使用數組構成的環形鏈表，它最多可以存儲 256 個待執行任務。

G只能運行在M中，一個M必須持有一個P，M與P是1：1的關係。M會從P的本地隊列彈出一個可執行狀態的G來執行，如果P的本地隊列為空，就會想其他的MP組合偷取一個可執行的G來執行；

一個M調度G執行的過程是一個循環機制；會一直從本地隊列或全局隊列中獲取G

上面說到P的個數默認等於CPU核數，每個M必須持有一個P才可以執行G，一般情況下M的個數會略大於P的個數，這多出來的M將會在G產生系統調用時發揮作用。類似線程池，Go也提供一個M的池子，需要時從池子中獲取，用完放回池子，不夠用時就再創建一個。

work-stealing調度演算法：當M執行完了當前P的本地隊列隊列里的所有G後，P也不會就這麼在那躺屍啥都不幹，它會先嘗試從全局隊列隊列尋找G來執行，如果全局隊列為空，它會隨機挑選另外一個P，從它的隊列里中拿走一半的G到自己的隊列中執行。

如果一切正常，調度器會以上述的那種方式順暢地運行，但這個世界沒這麼美好，總有意外發生，以下分析goroutine在兩種例外情況下的行為。

Go runtime會在下面的goroutine被阻塞的情況下運行另外一個goroutine：

用戶態阻塞/喚醒

當goroutine因為channel操作或者network I/O而阻塞時（實際上golang已經用netpoller實現了goroutine網路I/O阻塞不會導致M被阻塞，僅阻塞G，這裡僅僅是舉個栗子），對應的G會被放置到某個wait隊列(如channel的waitq)，該G的狀態由_Gruning變為_Gwaitting，而M會跳過該G嘗試獲取並執行下一個G，如果此時沒有可運行的G供M運行，那麼M將解綁P，並進入sleep狀態；當阻塞的G被另一端的G2喚醒時（比如channel的可讀/寫通知），G被標記為，嘗試加入G2所在P的runnext（runnext是線程下一個需要執行的 Goroutine。）， 然後再是P的本地隊列和全局隊列。

系統調用阻塞

當M執行某一個G時候如果發生了阻塞操作，M會阻塞，如果當前有一些G在執行，調度器會把這個線程M從P中摘除，然後再創建一個新的操作系統的線程(如果有空閑的線程可用就復用空閑線程)來服務於這個P。當M系統調用結束時候，這個G會嘗試獲取一個空閑的P執行，並放入到這個P的本地隊列。如果獲取不到P，那麼這個線程M變成休眠狀態， 加入到空閑線程中，然後這個G會被放入全局隊列中。

隊列輪轉

可見每個P維護著一個包含G的隊列，不考慮G進入系統調用或IO操作的情況下，P周期性的將G調度到M中執行，執行一小段時間，將上下文保存下來，然後將G放到隊列尾部，然後從隊列中重新取出一個G進行調度。

除了每個P維護的G隊列以外，還有一個全局的隊列，每個P會周期性地查看全局隊列中是否有G待運行並將其調度到M中執行，全局隊列中G的來源，主要有從系統調用中恢復的G。之所以P會周期性地查看全局隊列，也是為了防止全局隊列中的G被餓死。

除了每個P維護的G隊列以外，還有一個全局的隊列，每個P會周期性地查看全局隊列中是否有G待運行並將其調度到M中執行，全局隊列中G的來源，主要有從系統調用中恢復的G。之所以P會周期性地查看全局隊列，也是為了防止全局隊列中的G被餓死。

M0

M0是啟動程序後的編號為0的主線程，這個M對應的實例會在全局變數rutime.m0中，不需要在heap上分配，M0負責執行初始化操作和啟動第一個G，在之後M0就和其他的M一樣了

G0

G0是每次啟動一個M都會第一個創建的goroutine，G0僅用於負責調度G，G0不指向任何可執行的函數，每個M都會有一個自己的G0，在調度或系統調用時會使用G0的棧空間，全局變數的G0是M0的G0

一個G由於調度被中斷，此後如何恢復？

中斷的時候將寄存器里的棧信息，保存到自己的G對象裡面。當再次輪到自己執行時，將自己保存的棧信息複製到寄存器裡面，這樣就接著上次之後運行了。

我這裡只是根據自己的理解進行了簡單的介紹，想要詳細了解有關GMP的底層原理可以去看Go調度器 G-P-M 模型的設計者的文檔或直接看源碼

參考： ()

()

[Delayq] golang延時隊列

delayq 分為：

go run delayq/main.go

配置文件 conf/delayq.conf ：

查看幫助：

啟動：

我們提供了以下幾種語言：

Apache License Version 2.0,

怎麼學習golang

隨著 PHP 有著越來越深入的了解，以及遇到越來越多的不同業務時，使用 PHP 總會讓我有一種莫名的無力感。當然，並不是我一個人在使用 PHP 的時候遇到了問題。事實上，每個略微有一些經驗，接觸過一些需求的人都會有同樣的困惑。各種配合 LAMP（或者LNMP？）架構的後端技術也因此被發明或被發現，進而整合到 PHP 的開發的技術體系中。從簡單的 Memcached作為數據中轉，cron 後端定時處理；到 Gearman、RabbitMQ 這些隊列神器；最近 Laruence 甚至封裝了利用 libcurl 的非同步特性實現並發 RPC 調用的 yar 擴展。幾乎整個社區都在尋找 PHP 的摩西之路。好吧，說了一大堆，回歸主題。之前我寫了一篇英文練筆《Why you PHP guys should learn Golang》，獲得不少國際友人的關注。排除拼寫和語法被他們詬病外，主要是有許多朋友覺得我沒把事情說清楚。所以這裡我用母語重新聊聊這個事情，只是這些國際友人什麼時候能學會閱讀中文呢？；）Go 或者 Golang，是由 Google 支持的快速、一致、穩定的，有活躍的社區支持的開源編程語言。越來越多的應用選擇使用 Golang 進行構建。雖然 Rob Pike 說「… 我們希望 C++ 程序員來了解 Go 並作為一個可選的語言 …」，不過我真得認為：PHPer 應當學習 Golang！ 接下來我們就來談談原因。容易學習PHP 相當容易學習。Golang 也是！在這點上，一群大老外對我的觀點進行了猛烈的抨擊。他們認為我羞辱了 PHPer，說得好像只有簡單的東西 PHPer 才能學會一樣。但是，這難道不是事實嗎？或者換個說法：像我一樣的喜歡 PHP 的人，或多或少都會更喜歡簡單的東西。PHP 的語法接近 C 族編程語言（C/C++/Java等等）。如果有這些語言的經驗，在第一次遇到 PHP 的時候立刻就能開始上手編寫代碼。在我看來，編寫 PHP 代碼或許更加考驗程序員的記憶力，而不是智力（當你面對各種不同風格的函數定義、各種擴展的特殊約定時，你一定會相當認同我的觀點）。Golang 同樣是一個 C 族編程語言。呃，或者有一些不同吧。例如關鍵字 「for」，功能上和 PHP 的接近，但是沒有括弧。條件語句 「if」 同樣無需括弧。可以閱讀 Effective Go 了解更多內容。Golang 只有 3025 個關鍵字和 47 個操作符號、分隔符號或其他特殊標記。記住這些標記確實不需要什麼特別的努力。精巧的類型系統相當容易使用。實用的，具有方法的結構體類型代替了笨重的對象系統。介面的設計是 Golang 中我最喜歡的部分。當完成了《Go 指南》的學習之後，利用 PHP 積累的經驗，立刻就可以開始使用 Golang 處理一些簡單的任務。容易使用PHP 腳本是由 SAPI 組件進行解析執行的，如 Web 伺服器模塊、PHP-FPM 或者 CLI。部署 PHP 所需要的全部東西就是一個 SAPI 環境。配置這個環境對於新手來說可能是學習 PHP 過程中最為困難的部分。所有的 Golang 代碼會編譯和鏈接為本地碼。所以除了編譯環境，執行時無需再為其進行任何特別的部署。對比 PHP 環境的配置，這要簡單很多。你真得認為配置 PHP 環境很複雜嗎？我不覺得，真的！而配置 Golang 編譯環境比那還要簡單點。我確信已經有大量的 Golang 相關的書籍、文章介紹過如何進行編譯環境的配置了。為了更加清晰，我這裡梳理一下思路。

有三個步驟需要處理：下載Golang 的源代碼；根據《[翻譯]Go 環境設置》的提示設置環境變數；運行源代碼 src 目錄中的 all.bash。或者一步到位：使用二進位包進行安裝。然後就會得到一個叫做「go」的工具集合。使用「go」工具和使用 PHP 的 CLI 工具一樣簡單。《[翻譯]go 工具》對此進行了詳細的解釋。PHP 的迷思如果一個編程語言容易學習和使用，我們是不是就應當學習它呢？有許多容易學習和使用的編程語言。難道要把它們都學一遍？答案是顯然的：NO!但是 呢？只是因為它很酷！是的，我在開玩笑，但是這是真的。無論如何先從 PHP 自身談起吧。PHP 「原本是為了開發動態的 Web 頁面而設計的伺服器端通用語言(Wikipedia)」。PHP 一個重要的特性就是可以嵌入到 HMTL 中。代碼編寫在「?php … ?」標籤內；HTML 寫在標籤外。它有一個強大的擴展系統。擴展使用 C 調用 Zend API 編寫。數據的處理實際上要利用這些擴展完成。在我看來，PHP 是世界上最好的模板語言。但是當積累了一些 PHP 的經驗，並且開始面對一些更加複雜的 Web 應用時，你一定會對 PHP 產生一種無力的感覺。它沒有內建的並行機制，沒有線程、進程（你真得認為那個簡陋的進程式控制制可以不加改造的用在高並發的生產環境？），或者其他某「程」。一個慢數據源可以阻塞整個頁面的處理。消息隊列、緩存、代理……系統開始不僅僅是 PHP 這麼單純，還包括了許多服務和系統組件。這時，PHP 只處理很少的業務邏輯，成為真正的模板語言了。PHPer 們總是在尋找解決這一問題的辦法，如「PHP multithread」或者PHP RPC 並發框架。我很難說哪種會更好一些。不過我肯定你會需要選擇一些編程語言用於後端工作的開發。就我自己的經驗，我嘗試過 C（一直在和 malloc/free 進行搏鬥）/Java（陷入到了 jar 地獄中）/Python（從來沒能做到 Pythonic 不說，還總是在錯誤的類型中打轉）……如果想要獲得性能，就得同內存管理進行搏鬥；如果用 GC，就得部署和調優 VM；當獲得便利性的時候，同時也是走在刀尖上，一個小錯誤就引起巨大的災難……每個都有優勢，同樣每個都有問題。好吧！現在回到 Golang！Golang 有 GC，無需關心內存管理（或者可以用較少的精力去關注它）。代碼被編譯為本地碼，因此「cp」和「mv」就是部署 Golang 編寫的應用所需要的全部工具。噢，我剛才已經說過了，Golang 是一個具有靜態類型系統的編譯語言。所以你沒有機會弄亂變數的類型。當然，PHPer 應該學習 Golang 的一個重要原因是「轉到Go 是因為他們並未放棄太多的表達能力，但是獲得了性能，並且與並發共舞（Rob Pike）」。《Why Not Go?（英文）》對此進行了深入的分析。我可以分享一些我的經驗：有一個 Gearman 的worker 用於處理後端數據。PHP 通過其 API 連接到 Gearman 的 Job Server 向 worker 發起請求。最初 worker 是使用 python 編寫的（還有更加原始的版本，PHP 的，但是你能想像它工作起來……唉，不說了……）。這個版本有許多的問題（是我們自己的問題，不關 Python 的事），但是至少它能工作。後來用 Golang 重寫了這個 worker。為此我開發了 Golang 的 Gearman API，並使用 Zend API 編寫了一個在 Golang 中執行 PHP 腳本的包。然後將它們放在一起：一個可以執行 PHP 的 Gearman worker。它已經工作了一段時間了，看起來還不錯！哦，受到 Yar 的啟發，這裡還有一個 Golang 編寫的 RPC 合併器，用來合併 PHP 腳本中的 RPC 調用。現在還是個玩具，不過或許日後能用得著。這其實是將 Golang 的 channel 當作消息隊列來用。我在《Golang：有趣的 channel 應用》中對此有一些說明。世界真美好啊。謝謝 Golang！無論如何，大多數 PHPer 在進行後端開發的時候都會需要學習一些其他語言。如果你正在尋找，或者已經嘗試了一些其他語言。為什麼不來試試 Golang？它真得可以讓你的生活更加輕鬆和快樂。讓你可以有更多的時間陪伴你的家人和朋友，吃你愛吃的東西，去你想去的地方。貌似我還是沒說清楚啊？好吧，沒關係，在下個月的中國軟體開發者大會上再跟大家就這個話題做一個探討吧。

golang文件操作-讀操作的常見方式匯總

ioutil的方式能夠讀取整個文件，只需傳入文件名，操作簡單。該操作方式需要把文件讀入內容，效率高，同樣佔用內存也高

該操作同樣可看作按行讀取，將數據讀入緩衝區

另外一種方式為ReadBytes，與readString的區別為返回格式為切片類型

golang – channel

通過var聲明或者make函數創建的channel變數是一個存儲在函數棧幀上的指針，佔用8個位元組，指向堆上的hchan結構體

源碼包中src/runtime/chan.go定義了hchan的數據結構如下：

hchan結構體的主要組成部分有四個：

用來保存goroutine之間傳遞數據的循環數組：buf

用來記錄此循環數組當前發送或接收數據的下標值：sendx和recvx

用於保存向該chan發送和從該chan接收數據被阻塞的goroutine隊列： sendq 和 recvq

保證channel寫入和讀取數據時線程安全的鎖：lock

環形數組作為channel 的緩衝區 數組的長度就是定義channnel 時channel 的緩衝大小

在hchan 中包括了讀/寫 等待隊列， waitq是一個雙向隊列，包括了一個頭結點和尾節點。 每個節點是一個sudog結構體變數

channel有2種類型：無緩衝、有緩衝， 在創建時 make(chan type cap) 通過cap 設定緩衝大小

channel有3種模式：寫操作模式（單向通道）、讀操作模式（單向通道）、讀寫操作模式（雙向通道）

channel有3種狀態：未初始化、正常、關閉

如下幾種狀態會引發panic

channel 是線程安全的，channel的底層實現中，hchan結構體中採用Mutex鎖來保證數據讀寫安全。在對循環數組buf中的數據進行入隊和出隊操作時，必須先獲取互斥鎖，才能操作channel數據