本文目錄一覽:
- 1、基礎知識 – Golang 中的格式化輸入輸出
- 2、golang命令行庫Cobra的使用
- 3、golang cookiejar 怎麼自己添加cookies
- 4、【golang】海量數據去重-布隆過濾器
- 5、Golang 中更好的錯誤處理:理論和實踐技巧
- 6、golang net/http包 http請求的位元組碼讀取與解析。
基礎知識 – Golang 中的格式化輸入輸出
【格式化輸出】
// 格式化輸出:將 arg 列表中的 arg 轉換為字元串輸出
// 使用動詞 v 格式化 arg 列表,非字元串元素之間添加空格
Print(arg列表)
// 使用動詞 v 格式化 arg 列表,所有元素之間添加空格,結尾添加換行符
Println(arg列表)
// 使用格式字元串格式化 arg 列表
Printf(格式字元串, arg列表)
// Print 類函數會返回已處理的 arg 數量和遇到的錯誤信息。
【格式字元串】
格式字元串由普通字元和佔位符組成,例如:
“abc%+ #8.3[3]vdef”
其中 abc 和 def 是普通字元,其它部分是佔位符,佔位符以 % 開頭(註:%% 將被轉義為一個普通的 % 符號,這個不算開頭),以動詞結尾,格式如下:
%[旗標][寬度][.精度][arg索引]動詞
方括弧中的內容可以省略。
【旗標】
旗標有以下幾種:
空格:對於數值類型的正數,保留一個空白的符號位(其它用法在動詞部分說明)。
0 :用 0 進行寬度填充而不用空格,對於數值類型,符號將被移到所有 0 的前面。
其中 “0” 和 “-” 不能同時使用,優先使用 “-” 而忽略 “0”。
【寬度和精度】
「寬度」和「精度」都可以寫成以下三種形式:
數值 | * | arg索引*
其中「數值」表示使用指定的數值作為寬度值或精度值,「 」表示使用當前正在處理的 arg 的值作為寬度值或精度值,如果這樣的話,要格式化的 arg 將自動跳轉到下一個。「arg索引 」表示使用指定 arg 的值作為寬度值或精度值,如果這樣的話,要格式化的 arg 將自動跳轉到指定 arg 的下一個。
寬度值:用於設置最小寬度。
精度值:對於浮點型,用於控制小數位數,對於字元串或位元組數組,用於控制字元數量(不是位元組數量)。
對於浮點型而言,動詞 g/G 的精度值比較特殊,在適當的情況下,g/G 會設置總有效數字,而不是小數位數。
【arg 索引】
「arg索引」由中括弧和 arg 序號組成(就像上面示例中的 [3]),用於指定當前要處理的 arg 的序號,序號從 1 開始:
‘[‘ + arg序號 + ‘]’
【動詞】
「動詞」不能省略,不同的數據類型支持的動詞不一樣。
[通用動詞]
v:默認格式,不同類型的默認格式如下:
布爾型:t
整 型:d
浮點型:g
複數型:g
字元串:s
通 道:p
指 針:p
無符號整型:x
T:輸出 arg 的類型而不是值(使用 Go 語法格式)。
[布爾型]
t:輸出 true 或 false 字元串。
[整型]
b/o/d:輸出 2/8/10 進位格式
x/X :輸出 16 進位格式(小寫/大寫)
c :輸出數值所表示的 Unicode 字元
q :輸出數值所表示的 Unicode 字元(帶單引號)。對於無法顯示的字元,將輸出其轉義字元。
U :輸出 Unicode 碼點(例如 U+1234,等同於字元串 “U+%04X” 的顯示結果)
對於 o/x/X:
如果使用 “#” 旗標,則會添加前導 0 或 0x。
對於 U:
如果使用 “#” 旗標,則會在 Unicode 碼點後面添加相應的 ‘字元’(前提是該字元必須可顯示)
[浮點型和複數型]
b :科學計數法(以 2 為底)
e/E:科學計數法(以 10 為底,小寫 e/大寫 E)
f/F:普通小數格式(兩者無區別)
g/G:大指數(指數 = 6)使用 %e/%E,其它情況使用 %f/%F
[字元串或位元組切片]
s :普通字元串
q :雙引號引起來的 Go 語法字元串
x/X:十六進位編碼(小寫/大寫,以位元組為元素進行編碼,而不是字元)
對於 q:
如果使用了 “+” 旗標,則將所有非 ASCII 字元都進行轉義處理。
如果使用了 “#” 旗標,則輸出反引號引起來的字元串(前提是
字元串中不包含任何製表符以外的控制字元,否則忽略 # 旗標)
對於 x/X:
如果使用了 ” ” 旗標,則在每個元素之間添加空格。
如果使用了 “#” 旗標,則在十六進位格式之前添加 0x 前綴。
[指針類型]
p :帶 0x 前綴的十六進位地址值。
[符合類型]
複合類型將使用不同的格式輸出,格式如下:
結 構 體:{欄位1 欄位2 …}
數組或切片:[元素0 元素1 …]
映 射:map[鍵1:值1 鍵2:值2 …]
指向符合元素的指針:{}, [], map[]
複合類型本身沒有動詞,動詞將應用到複合類型的元素上。
結構體可以使用 “+v” 同時輸出欄位名。
【注意】
1、如果 arg 是一個反射值,則該 arg 將被它所持有的具體值所取代。
2、如果 arg 實現了 Formatter 介面,將調用它的 Format 方法完成格式化。
3、如果 v 動詞使用了 # 旗標(%#v),並且 arg 實現了 GoStringer 介面,將調用它的 GoString 方法完成格式化。
如果格式化操作指定了字元串相關的動詞(比如 %s、%q、%v、%x、%X),接下來的兩條規則將適用:
4。如果 arg 實現了 error 介面,將調用它的 Error 方法完成格式化。
5。如果 arg 實現了 string 介面,將調用它的 String 方法完成格式化。
在實現格式化相關介面的時候,要避免無限遞歸的情況,比如:
type X string
func (x X) String() string {
return Sprintf(“%s”, x)
}
在格式化之前,要先轉換數據類型,這樣就可以避免無限遞歸:
func (x X) String() string {
return Sprintf(“%s”, string(x))
}
無限遞歸也可能發生在自引用數據類型上面,比如一個切片的元素引用了切片自身。這種情況比較罕見,比如:
a := make([]interface{}, 1)
a[0] = a
fmt.Println(a)
【格式化輸入】
// 格式化輸入:從輸入端讀取字元串(以空白分隔的值的序列),
// 並解析為具體的值存入相應的 arg 中,arg 必須是變數地址。
// 字元串中的連續空白視為單個空白,換行符根據不同情況處理。
// \r\n 被當做 \n 處理。
// 以動詞 v 解析字元串,換行視為空白
Scan(arg列表)
// 以動詞 v 解析字元串,換行結束解析
Scanln(arg列表)
// 根據格式字元串中指定的格式解析字元串
// 格式字元串中的換行符必須和輸入端的換行符相匹配。
Scanf(格式字元串, arg列表)
// Scan 類函數會返回已處理的 arg 數量和遇到的錯誤信息。
【格式字元串】
格式字元串類似於 Printf 中的格式字元串,但下面的動詞和旗標例外:
p :無效
T :無效
e/E/f/F/g/G:功能相同,都是掃描浮點數或複數
s/v :對字元串而言,掃描一個被空白分隔的子串
對於整型 arg 而言,v 動詞可以掃描帶有前導 0 或 0x 的八進位或十六進位數值。
寬度被用來指定最大掃描寬度(不會跨越空格),精度不被支持。
如果 arg 實現了 Scanner 介面,將調用它的 Scan 方法掃描相應數據。只有基礎類型和實現了 Scanner 介面的類型可以使用 Scan 類方法進行掃描。
【注意】
連續調用 FScan 可能會丟失數據,因為 FScan 中使用了 UnreadRune 對讀取的數據進行撤銷,而參數 io.Reader 只有 Read 方法,不支持撤銷。比如:
golang命令行庫Cobra的使用
寫了2次才寫完,內容很長,翻譯了很久,內容來源於Cobra github介紹。翻譯完也更全面的了解了Cobra,功能相當強大完善,各種使用的場景都考慮到了。另外也擴展了一些其它知識,比如 命令行玩法 , Levenshtein distance 等等。以下是正文:
Cobra提供簡單的介面來創建強大的現代化CLI介面,比如git與go工具。Cobra同時也是一個程序, 用於創建CLI程序
Cobra是建立在結構的命令、參數和標誌之上。
命令代表操作,參數和標誌是這些行動的修飾符。
最好的應用程序就像讀取句子。用戶會知道如何使用本機應用程序,因為他們將理解如何使用它。
比如下面的例子, server 是命令, port 是標誌:
在下面的命令,我們告訴Git克隆url地址bare
使用Cobra很簡單。首先,使用 go get 安裝最新版本
然後在你項目里引用Cobra
通常基於Cobra的應用程序將遵循下面的組織結構,當然你也可以遵循自己的介面:
在Cobra應用程序中,通常main.go文件非常空洞。它主要只干一件事:初始化Cobra。
Cobra提供自己的程序來創建你的程序並且添加你想要的命令。這是最簡單的方式把Cobra添加到你的程序里。
這裡 你能找到相關信息
使用Cobra,需要創建一個空的main.go文件和一個rootCmd文件。你可以選擇在合適的地方添加額外的命令。
Cobra不需要特殊的構造函數。簡單的就可以創建你的命令。
理想情況下你把這個放在在 app/cmd/root.go
你會另外定義標誌和處理配置init()函數。
比如 cmd/root.go
你需要在main函數里執行root命令。
通常main.go文件非常空洞。它主要只干一件事:初始化Cobra。
其它的命令通常定義在cmd/目錄下的自己文件內
如果你想創建一個version命令,你可以創建cmd/version.go文件,並在文件里這麼寫:
標誌提供修飾符控制動作命令如何操作
當標誌定義好了,我們需要定義一個變數來關聯標誌
‘持久’表示每個在那個命令下的命令都將能分配到這個標誌。對於全局標誌,’持久’的標誌綁定在root上。
Cobra默認只在目標命令上解析標誌,父命令忽略任何局部標誌。通過打開 Command.TraverseChildren Cobra將會在執行任意目標命令前解析標誌
你同樣可以通過 viper 綁定標誌:
在這個例子中,永久的標記 author 被 viper 綁定, 注意 , 當用戶沒有給 –author 提供值, author 不會被賦值。
標記默認是可選的,如果你希望當一個標記沒有設置時,命令行報錯,你可以標記它為必須的
驗證位置參數可以通過 Command 的 Args 欄位。
內置下列驗證方法
一個設置自定義驗證的例子
在下面的例子,我們定義了3個命令。2個在頂級,一個(cmdTimes)是其中一個頂級命令的子命令。在這個例子里,由於沒有給 rootCmd 提供 Run ,單獨的root是不能運行的,必須要有子命令。
我們僅為一個命令定義了標記。
更多關於flags的文檔可以在 找到
更完整大型程序的例子, 可以查看 Hugo .
當你的程序有子命令時,Cobra 會自動給你程序添加help命令。當你運行『app help』,會調用help命令。另外,help同樣支持其它輸入命令。例如,你有一個沒有任何其它配置的命令叫『create』,當你調用『app help create』 Corbra 將會起作用。
下面的輸入是 Cobra 自動生成的。除了命令和標誌的定義,其它不再需要。
help 就跟其它命令一樣,並沒有特殊的邏輯或行為。事實上,你也可以提供你自己help如果你想的話。
你能為默認的命令,提供你自己的help命令或模板。使用下面的方法:
後2個也將適用於任何子命令
當用戶提供無效的標記或命令,Cobra 將會返回 用法 。
你可能從上面的幫助意識到,默認的幫助將被嵌入到用法里然後作為輸出。
你能提供你自己的用法函數或模板給 Cobra 使用。
比如幫助,方法和模板都可以重寫。
如果Version欄位設置到了根命令,Cobra 會提供了一個頂層 『–version』標記。運行帶上『–version』標記的程序,將會按照模板版本信息。模板可以通過 cmd.SetVersionTemplate(s string) 方法修改
在命令運行前或運行後,再運行方法非常容易。 PersistentPreRun 和 PreRun 方法將會在 Run 之前執行。 PersistentPostRun 和 PostRun 方法將會在 Run 之後執行。 Persistent*Run 方法會被子命令繼承,如果它們自己沒有定義的話。這些方法將按照下面的屬性執行:
下面的例子,2個命令都使用了上面的特性。當子命令執行的時候,它將執行根命令的 PersistentPreRun ,但不會執行根命令的 PersistentPostRun :
輸出:
Cobra 會自動輸出建議,當遇到「unknown command」錯誤時。這使得當輸入錯誤時, Cobra 的行為類似 git 命令。例如:
建議會基於註冊的子命令自動生成。使用了 Levenshtein distance 的實現。每一個註冊的命令會匹配2個距離(忽略大小寫)來提供建議。
如果你希望在你的命令里,禁用建議或虛弱字元串的距離,使用:
或
你可以通過 SuggestFor 來給命令提供明確的名詞建議。這個特性允許當字元串不相近,但是意思與你的命令相近,別切你也不想給該命令設置別名。比如:
Cobra 可以基於子命令,標記,等生成文檔。以以下格式:
Cobra 可以生成一個bash-completion文件。如果你給命令添加更多信息,這些completions可以非常強大和靈活。更多介紹在 Bash Completions 。
golang cookiejar 怎麼自己添加cookies
用GO語言(golang)寫了一個簡單的Web服務,但是始終無法獲取Cookie的值
現象如下:
使用Chrome的開發者工具觀察Cookie可以看到設置的Cookie的值
使用r.Cookie(CookieName)無法取得Cookie內容,錯誤信息:http: named cookie not present
在伺服器端列印Requset結構,結果中沒有設置的Cookie值
最後Google了一下,在golang-nuts的論壇里找到了解決方法。
根本原因在於GO語言(golang)不能獲取值中帶有空格的Cookie
而且會將Cookie中的一些特殊字元替換為空格
//src/pkg/net/http.go
func (c *Cookie) String() string {
…
fmt.Fprintf(b, “%s=%s”, sanitizeName(c.Name), sanitizeValue(c.Value))
…
}
…
var cookieValueSanitizer = strings.NewReplacer(“\n”, ” “, “\r”, ” “, “;”, ” “)
…
func sanitizeValue(v string) string {
return cookieValueSanitizer.Replace(v)
}
俺就是使用了分號。。。
另外討論中提到的不要使用指針傳遞http.ResponseWriter的問題,
我試了一下,使用指針傳遞http.ResponseWriter不會對Cookie的設置和取得產生影響
不過很多函數需要的都是http.ResponseWriter的對象,如果傳指針,很多地方要寫*http.ResponseWriter著實也挺麻煩
【golang】海量數據去重-布隆過濾器
在做域名爆破中,遇到了把一個300G的子域名json文件進行去重,一開始是考慮使用字典進行去重,但是數據量大了,會造成內存泄露。看網上資料介紹了一種方案,就是使用布隆過濾器。
布隆過濾器是一種數據結構,概率型數據結構,特定是高效插入和查詢,可以用來告訴你「某一值一定不存在或者kennel存在」。
相比於傳統的map、set等數據結構,佔用空間更少,但其返回結果是概率型的,不確定。
布隆過濾器內部維護一個bitArray(位數組),開始所有數據為0,當一個元素過來時,能過多個哈希函數(hash1、hash2、hash3)計算不同的hash值,並通過hash值找到bitArray的下標,將裡面的值改為由0變為1。布隆過濾器有一個誤判率,誤判率越低,數組越長,所在空間越大,誤判率越高,數組越小,所佔空間越小。
這裡貼上一個技術大牛的博客地址,裡面對布隆過濾器用法以及在redis裡面處理緩存穿透問題的詳細介紹。
Golang 中更好的錯誤處理:理論和實踐技巧
雲和安全管理服務專家新鈦雲服 張春翻譯
這種方法有幾個缺點。首先,它可以對程序員隱藏錯誤處理路徑,特別是在捕獲異常不是強制性的情況下,例如在 Python 中。即使在具有必須處理的 Java 風格的檢查異常的語言中,如果在與原始調用不同的級別上處理錯誤,也並不總是很明顯錯誤是從哪裡引發的。
我們都見過長長的代碼塊包裝在一個 try-catch 塊中。在這種情況下,catch 塊實際上充當 goto 語句,這通常被認為是有害的(奇怪的是,C 中的關鍵字被認為可以接受的少數用例之一是錯誤後清理,因為該語言沒有 Golang- 樣式延遲語句)。
如果你確實從源頭捕獲異常,你會得到一個不太優雅的 Go 錯誤模式版本。這可能會解決混淆代碼的問題,但會遇到另一個問題:性能。在諸如 Java 之類的語言中,拋出異常可能比函數的常規返回慢數百倍。
Java 中最大的性能成本是由列印異常的堆棧跟蹤造成的,這是昂貴的,因為運行的程序必須檢查編譯它的源代碼 。僅僅進入一個 try 塊也不是空閑的,因為需要保存 CPU 內存寄存器的先前狀態,因為它們可能需要在拋出異常的情況下恢復。
如果您將異常視為通常不會發生的異常情況,那麼異常的缺點並不重要。這可能是傳統的單體應用程序的情況,其中大部分代碼庫不必進行網路調用——一個操作格式良好的數據的函數不太可能遇到錯誤(除了錯誤的情況)。一旦您在代碼中添加 I/O,無錯誤代碼的夢想就會破滅:您可以忽略錯誤,但不能假裝它們不存在!
try {
doSometing()
} catch (IOException e) {
// ignore it
}
與大多數其他編程語言不同,Golang 接受錯誤是不可避免的。 如果在單體架構時代還不是這樣,那麼在今天的模塊化後端服務中,服務通常和外部 API 調用、資料庫讀取和寫入以及與其他服務通信 。
以上所有方法都可能失敗,解析或驗證從它們接收到的數據(通常在無模式 JSON 中)也可能失敗。Golang 使可以從這些調用返回的錯誤顯式化,與普通返回值的等級相同。從函數調用返回多個值的能力支持這一點,這在大多數語言中通常是不可能的。Golang 的錯誤處理系統不僅僅是一種語言怪癖,它是一種將錯誤視為替代返回值的完全不同的方式!
重複 if err != nil
對 Go 錯誤處理的一個常見批評是被迫重複以下代碼塊:
res, err := doSomething()
if err != nil {
// Handle error
}
對於新用戶來說,這可能會覺得沒用而且浪費行數:在其他語言中需要 3 行的函數很可能會增長到 12 行 :
這麼多行代碼!這麼低效!如果您認為上述內容不優雅或浪費代碼,您可能忽略了我們檢查代碼中的錯誤的全部原因:我們需要能夠以不同的方式處理它們!對 API 或資料庫的調用可能會被重試。
有時事件的順序很重要:調用外部 API 之前發生的錯誤可能不是什麼大問題(因為數據從未通過發送),而 API 調用和寫入本地資料庫之間的錯誤可能需要立即注意,因為 這可能意味著系統最終處於不一致的狀態。即使我們只想將錯誤傳播給調用者,我們也可能希望用失敗的解釋來包裝它們,或者為每個錯誤返回一個自定義錯誤類型。
並非所有錯誤都是相同的,並且向調用者返回適當的錯誤是 API 設計的重要部分,無論是對於內部包還是 REST API 。
不必擔心在你的代碼中重複 if err != nil ——這就是 Go 中的代碼應該看起來的樣子。
自定義錯誤類型和錯誤包裝
從導出的方法返回錯誤時,請考慮指定自定義錯誤類型,而不是單獨使用錯誤字元串。字元串在意外代碼中是可以的,但在導出的函數中,它們成為函數公共 API 的一部分。更改錯誤字元串將是一項重大更改——如果沒有明確的錯誤類型,需要檢查返回錯誤類型的單元測試將不得不依賴原始字元串值!事實上,基於字元串的錯誤也使得在私有方法中測試不同的錯誤案例變得困難,因此您也應該考慮在包中使用它們。回到錯誤與異常的爭論,返回錯誤也使代碼比拋出異常更容易測試,因為錯誤只是要檢查的返回值。不需要測試框架或在測試中捕獲異常 。
可以在 database/sql 包中找到簡單自定義錯誤類型的一個很好的示例。它定義了一個導出常量列表,表示包可以返回的錯誤類型,最著名的是 sql.ErrNoRows。雖然從 API 設計的角度來看,這種特定的錯誤類型有點問題(您可能會爭辯說 API 應該返回一個空結構而不是錯誤),但任何需要檢查空行的應用程序都可以導入該常量並在代碼中使用它不必擔心錯誤消息本身會改變和破壞代碼。
對於更複雜的錯誤處理,您可以通過實現返回錯誤字元串的 Error() 方法來定義自定義錯誤類型。自定義錯誤可以包括元數據,例如錯誤代碼或原始請求參數。如果您想表示錯誤類別,它們很有用。DigitalOcean 的本教程展示了如何使用自定義錯誤類型來表示可以重試的一類臨時錯誤。
通常,錯誤會通過將低級錯誤與更高級別的解釋包裝起來,從而在程序的調用堆棧中傳播。例如,資料庫錯誤可能會以下列格式記錄在 API 調用處理程序中:調用 CreateUser 端點時出錯:查詢資料庫時出錯:pq:檢測到死鎖。這很有用,因為它可以幫助我們跟蹤錯誤在系統中傳播的過程,向我們展示根本原因(資料庫事務引擎中的死鎖)以及它對更廣泛系統的影響(調用者無法創建新用戶)。
自 Go 1.13 以來,此模式具有特殊的語言支持,並帶有錯誤包裝。通過在創建字元串錯誤時使用 %w 動詞,可以使用 Unwrap() 方法訪問底層錯誤。除了比較錯誤相等性的函數 errors.Is() 和 errors.As() 外,程序還可以獲取包裝錯誤的原始類型或標識。這在某些情況下可能很有用,儘管我認為在確定如何處理所述錯誤時最好使用頂級錯誤的類型。
Panics
不要 panic()!長時間運行的應用程序應該優雅地處理錯誤而不是panic。即使在無法恢復的情況下(例如在啟動時驗證配置),最好記錄一個錯誤並優雅地退出。panic比錯誤消息更難診斷,並且可能會跳過被推遲的重要關閉代碼。
Logging
我還想簡要介紹一下日誌記錄,因為它是處理錯誤的關鍵部分。通常你能做的最好的事情就是記錄收到的錯誤並繼續下一個請求。
除非您正在構建簡單的命令行工具或個人項目,否則您的應用程序應該使用結構化的日誌庫,該庫可以為日誌添加時間戳,並提供對日誌級別的控制。最後一部分特別重要,因為它將允許您突出顯示應用程序記錄的所有錯誤和警告。通過幫助將它們與信息級日誌分開,這將為您節省無數時間。
微服務架構還應該在日誌行中包含服務的名稱以及機器實例的名稱。默認情況下記錄這些時,程序代碼不必擔心包含它們。您也可以在日誌的結構化部分中記錄其他欄位,例如收到的錯誤(如果您不想將其嵌入日誌消息本身)或有問題的請求或響應。只需確保您的日誌沒有泄露任何敏感數據,例如密碼、API 密鑰或用戶的個人數據!
對於日誌庫,我過去使用過 logrus 和 zerolog,但您也可以選擇其他結構化日誌庫。如果您想了解更多信息,互聯網上有許多關於如何使用這些的指南。如果您將應用程序部署到雲中,您可能需要日誌庫上的適配器來根據您的雲平台的日誌 API 格式化日誌 – 沒有它,雲平台可能無法檢測到日誌級別等某些功能。
如果您在應用程序中使用調試級別日誌(默認情況下通常不記錄),請確保您的應用程序可以輕鬆更改日誌級別,而無需更改代碼。更改日誌級別還可以暫時使信息級別甚至警告級別的日誌靜音,以防它們突然變得過於嘈雜並開始淹沒錯誤。您可以使用在啟動時檢查以設置日誌級別的環境變數來實現這一點。
原文:
golang net/http包 http請求的位元組碼讀取與解析。
先配置Header最長讀取時間、req最長讀取時間、req最大讀取長度默認6M。
RFC7230禁止\r\n參數,Url中只允許包含英文字母(a-zA-Z)、數字(0-9)、-_.~4個特殊字元以及所有保留字元。但go net/http包放寬了這個要求。
先構建newTextprotoReader,由於緩衝區是對象復用的,用完後要defer put。共完以以下解析任務:
TextprotoReader數據結構,將位元組碼Reader轉成文本Reader。
第一步,從第一行解析出method uri prototype。
第二步解析URL。url.URL數據結構:
解析Scheme,協議前綴(小寫)。有查詢參數?,則配置url.ForceQuery url.RawQuery。有認證信息///…//,則解析url.User url.Host。最後配置url.Path和url.RawPath,如果Path==RawPath,則RawPath=””。
第三步解析MIMEHeader。
第四步readTransfer。重新配置如下參數:RequestMethod ProtoMajor ProtoMinor Header Trailer ContentLength Close。對於Body,如果encodings支持chunked,讀取流用chunkedReader包裹。默認情況用LimitedReader,無body賦空的struct{}。
以下情況返回非空err,示得到正確的請求:
最後配置req.ctx req.RemoteAddr req.TLS body.doEarlyClose = true。
構建Response:
其中closeNotifyCh必須在構建時初始化,沒有content所以先置contentLength為-1。
配置w.cw並被w.w包裹。w.cw緩衝默認大小2M。
獲取Request可能出現如下錯誤:
先上響應數據結構:
response欄位可以分類為:大對象、緩衝、KV對或bool型的狀態參數。
大對象有:
狀態欄位:
chunkWriter數據結構:
chunkWriter包裹了Response,功能之一是完成Header設置,包括Content-Type Content-Length chunk-header。bufio.Writer是chunkWriter是緩衝包裹。
handler將響應寫入到response.w。
調用w.w.Flush()將w寫入到cw,注意到Flush()操作,如果未刷空緩存並報錯,觸發拷貝操作。報錯不會退回已寫出的數據。
進而調用cw.Write(),根據cw.chunking參數。
putBufioWriter(w.w)清空resp.w緩衝,如果池化放回sync.pool。
根據chunkWriter的定義,w.cw.close()負責cw的結束工作:寫入換行符和resp.trailers數據。
最後刷新TCP緩衝w.conn.bufw.Flush(),完成響應包發送。並正確關閉request。
原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-tw/n/303196.html