關於golangwrite的信息

本文目錄一覽：

1、golang ioutil.WriteFile函數perm參數的用法
2、golang write 是覆蓋的嗎
3、golang中怎麼處理socket長連接
4、golang 結構體字節對齊是怎麼樣的
5、golang怎麼通過數據流直接生成excel上傳至oss
6、Golang的垃圾回收

golang ioutil.WriteFile函數perm參數的用法

ioutil.WriteFile(…, perm os.FileMode)

剛開始接觸golang的文件API的時候，總是納悶為什麼在創建文件的時候需要顯示的指定文件的perm屬性，難道不能從系統的umask裡面獲取嗎？

實際上ioutil.WriteFile在創建新文件時，並不是直接使用參數perm的值，而是要和umask的值做合併的。把函數參數的值合併到當前umask的值，才是最終創建出來文件的perm屬性。

例如

umask為空，所以ioutil.WriteFile的perm屬性就是最後的文件屬性

umask為0777，所以ioutil.WriteFile的perm屬性全被disable掉了

umask為0000，所以ioutil.WriteFile的perm屬性就是最後的文件屬性

umask為0640，而ioutil.WriteFile的perm屬性也是640，正好全部被關閉了，最後生成的文件沒有任何屬性。

即ioutil.WriteFile在寫文件時，如果目標文件已經存在，那麼目標文件的perm屬性不會被改動，即此時ioutil.WriteFile的參數perm會被忽略。

注意一點就明白了，touch命令使用的是0666的屬性，它並沒有給X(executable)屬性置值，所以不管在umask中對executable位是否置1，touch命令就不能生成一個具有executable的文件。

golang write 是覆蓋的嗎

Socket通信的原理還是比較簡單的，它大致分為以下幾個步驟。服務器端的步驟如下。（1）建立服務器端的Socket，開始偵聽整個網絡中的連接請求。（2）當檢測到來自客戶端的連接請求時，

golang中怎麼處理socket長連接

為每個client fd開兩個goroutine，一個recv，一個send。同時還有加2個channel，一個用於recv routine向邏輯主線程傳送收到的數據，一個用於邏輯主線程向send goroutine傳送待發送的數據，是這樣的么？

實際上需要 3 個 goroutine，一個 read，一個 send，還有一個 handle。

read goroutine 讀，然後寫入 recevice chan。

write goroutine 把 send chan 的東西寫。

handle goroutine 是 conn 的主要處理邏輯，負責把 recevice chan 的東西讀出來 call 業務邏輯。

業務邏輯中要寫數據就直接寫入 send chan。

這樣就可以保證，業務邏輯的讀寫都是在 handle goroutine 上處理，而避免 race 產生。

如果需要定時任務（比如心跳），就在 handle goroutine 上加上一個 timer.C；

如果需要 goroutine 下發任務，在 handle goroutine 增加一個 task chan，hanlde 收到 task 後處理業務；

如果需要輸出結果，那就增加 result chan，業務邏輯把數據輸出即可。

—————————-

還有，如果我開2個goroutine的話，client斷開連接了，假設recv goroutine先發生err並且close(fd)，那在send goroutine中該如何處理呢？有可能不應該這樣處理，那應該怎麼處理呢？

如果 net.Conn Close() 了，不論 Read() 阻塞還是 Write() 阻塞都會立即收到 err 返回。

一般來說，Write() 是不可能主動知道連接斷開的，除非是 SetDeadline() 猜測對方斷掉了，指定時間內沒有寫成功就認為是斷開。Read() 是可以主動收到對方發來的斷開（TCP FIN），但也沒辦法知道異常的斷開（當然也可以設置超時）。

無論是誰，是確實收到 FIN 還是 Deadline 猜測斷開，只要 Close() 大家就知道連接斷開了。

handle goroutine 還有一個用處就是：你的程序主動結束的時候，能正確的 close conn，讓對方知道你是真的斷開了，而不用去猜。

golang 結構體字節對齊是怎麼樣的

用golang解析二進制協議時，其實沒必要管結構體的字段的對齊規則，何況語言規範也沒有規定如何對齊，也就是沒有規則。用encoding/binary.Read函數直接讀入struct里就行，struct就像c那樣寫

type Data struct {

Size, MsgType uint16

Sequence uint32

// …

}

golang編譯器加不加padding，Read都能正常工作，runtime知道Data的布局的，不像C直接做cast所以要知道怎樣對齊。

用unsafe.Alignof可以知道每個field的對齊長度，但沒必要用到。

package main

#include stdint.h

#pragma pack(push, 1)

typedef struct {

uint16_t size;

uint16_t msgtype;

uint32_t sequnce;

uint8_t data1;

uint32_t data2;

uint16_t data3;

} mydata;

#pragma pack(pop)

mydata foo = {

1, 2, 3, 4, 5, 6,

};

int size() {

return sizeof(mydata);

}

import “C”

import (

“bytes”

“encoding/binary”

“fmt”

“log”

“unsafe”

)

func main() {

bs := C.GoBytes(unsafe.Pointer(C.foo), C.size())

fmt.Printf(“len %d data %v\n”, len(bs), bs)

var data struct {

Size, Msytype uint16

Sequence uint32

Data1 uint8

Data2 uint32

Data3 uint16

}

err := binary.Read(bytes.NewReader(bs), binary.LittleEndian, data)

if err != nil {

log.Fatal(err)

}

fmt.Printf(“%v\n”, data) // {1 2 3 4 5 6}

buf := new(bytes.Buffer)

binary.Write(buf, binary.BigEndian, data)

fmt.Printf(“%d %v\n”, buf.Len(), buf.Bytes()) // 15 [0 1 0 2 0 0 0 3 4 0 0 0 5 0 6]

}

golang怎麼通過數據流直接生成excel上傳至oss

import java.io.*; import jxl.*; … … … … try { //構建Workbook對象, 只讀Workbook對象 //直接從本地文件創建Workbook //從輸入流創建Workbook InputStream is = new FileInputStream(sourcefile); jxl.Workbook rwb = Workbook.getWorkbook(is); } catch (Exception e) { e.printStackTrace(); } 一旦創建了Workbook，我們就可以通過它來訪問Excel Sheet(術語：工作表)。參考下面的代碼片段： //獲取第一張Sheet表 Sheet rs = rwb.getSheet(0); 我們既可能通過Sheet的名稱來訪問它，也可以通過下標來訪問它。如果通過下標來訪問的話，要注意的一點是下標從0開始，就像數組一樣。一旦得到了Sheet，我們就可以通過它來訪問Excel Cell(術語：單元格)。參考下面的代碼片段： //獲取第一行，第一列的值 Cell c00 = rs.getCell(0, 0); String strc00 = c00.getContents(); //獲取第一行，第二列的值 Cell c10 = rs.getCell(1, 0); String strc10 = c10.getContents(); //獲取第二行，第二列的值 Cell c11 = rs.getCell(1, 1); String strc11 = c11.getContents(); System.out.println(“Cell(0, 0)” + ” value : ” + strc00 + “; type : ” + c00.getType()); System.out.println(“Cell(1, 0)” + ” value : ” + strc10 + “; type : ” + c10.getType()); System.out.println(“Cell(1, 1)” + ” value : ” + strc11 + “; type : ” + c11.getType()); 如果僅僅是取得Cell的值，我們可以方便地通過getContents()方法，它可以將任何類型的Cell值都作為一個字符串返回。示例代碼中Cell(0, 0)是文本型，Cell(1, 0)是數字型，Cell(1,1)是日期型，通過getContents()，三種類型的返回值都是字符型。如果有需要知道Cell內容的確切類型，API也提供了一系列的方法。參考下面的代碼片段： String strc00 = null; double strc10 = 0.00; Date strc11 = null; Cell c00 = rs.getCell(0, 0); Cell c10 = rs.getCell(1, 0); Cell c11 = rs.getCell(1, 1); if(c00.getType() == CellType.LABEL) { LabelCell labelc00 = (LabelCell)c00; strc00 = labelc00.getString(); } if(c10.getType() == CellType.NUMBER) { NmberCell numc10 = (NumberCell)c10; strc10 = numc10.getValue(); } if(c11.getType() == CellType.DATE) { DateCell datec11 = (DateCell)c11; strc11 = datec11.getDate(); } System.out.println(“Cell(0, 0)” + ” value : ” + strc00 + “; type : ” + c00.getType()); System.out.println(“Cell(1, 0)” + ” value : ” + strc10 + “; type : ” + c10.getType()); System.out.println(“Cell(1, 1)” + ” value : ” + strc11 + “; type : ” + c11.getType()); 在得到Cell對象後，通過getType()方法可以獲得該單元格的類型，然後與API提供的基本類型相匹配，強制轉換成相應的類型，最後調用相應的取值方法getXXX()，就可以得到確定類型的值。API提供了以下基本類型，與Excel的數據格式相對應，如下圖所示：每種類型的具體意義，請參見Java Excel API Document。當你完成對Excel電子表格數據的處理後，一定要使用close()方法來關閉先前創建的對象，以釋放讀取數據表的過程中所佔用的內存空間，在讀取大量數據時顯得尤為重要。參考如下代碼片段： //操作完成時，關閉對象，釋放佔用的內存空間 rwb.close(); Java Excel API提供了許多訪問Excel數據表的方法，在這裡我只簡要地介紹幾個常用的方法，其它的方法請參考附錄中的Java Excel API Document。 • Workbook類提供的方法 1. int getNumberOfSheets() 獲得工作薄（Workbook）中工作表（Sheet）的個數，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); int sheets = rwb.getNumberOfSheets(); 2. Sheet[] getSheets() 返回工作薄（Workbook）中工作表（Sheet）對象數組，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); Sheet[] sheets = rwb.getSheets(); 3. String getVersion() 返回正在使用的API的版本號，好像是沒什麼太大的作用。 jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); String apiVersion = rwb.getVersion(); • Sheet接口提供的方法 1. String getName() 獲取Sheet的名稱，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); String sheetName = rs.getName(); 2. int getColumns() 獲取Sheet表中所包含的總列數，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); int rsColumns = rs.getColumns(); 3. Cell[] getColumn(int column) 獲取某一列的所有單元格，返回的是單元格對象數組，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); Cell[] cell = rs.getColumn(0); 4. int getRows() 獲取Sheet表中所包含的總行數，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); int rsRows = rs.getRows(); 5. Cell[] getRow(int row) 獲取某一行的所有單元格，返回的是單元格對象數組，示例子： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); Cell[] cell = rs.getRow(0); 6. Cell getCell(int column, int row) 獲取指定單元格的對象引用，需要注意的是它的兩個參數，第一個是列數，第二個是行數，這與通常的行、列組合有些不同。 jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); Cell cell = rs.getCell(0, 0); 生成新的Excel工作薄下面的代碼主要是向大家介紹如何生成簡單的Excel工作表，在這裡單元格的內容是不帶任何修飾的(如：字體，顏色等等)，所有的內容都作為字符串寫入。(完整代碼見ExcelWriting.java) 與讀取Excel工作表相似，首先要使用Workbook類的工廠方法創建一個可寫入的工作薄(Workbook)對象，這裡要注意的是，只能通過API提供的工廠方法來創建Workbook，而不能使用WritableWorkbook的構造函數，因為類WritableWorkbook的構造函數為protected類型。示例代碼片段如下： import java.io.*; import jxl.*; import jxl.write.*; … … … … try { //構建Workbook對象, 只讀Workbook對象 //Method 1：創建可寫入的Excel工作薄 jxl.write.WritableWorkbook wwb = Workbook.createWorkbook(new File(targetfile)); //Method 2：將WritableWorkbook直接寫入到輸出流 /* OutputStream os = new FileOutputStream(targetfile); jxl.write.WritableWorkbook wwb = Workbook.createWorkbook(os); */ } catch (Exception e) { e.printStackTrace(); } API提供了兩種方式來處理可寫入的輸出流，一種是直接生成本地文件，如果文件名不帶全路徑的話，缺省的文件會定位在當前目錄，如果文件名帶有全路徑的話，則生成的Excel文件則會定位在相應的目錄；另外一種是將Excel對象直接寫入到輸出流，例如：用戶通過瀏覽器來訪問Web服務器，如果HTTP頭設置正確的話，瀏覽器自動調用客戶端的Excel應用程序，來顯示動態生成的Excel電子表格。接下來就是要創建工作表，創建工作表的方法與創建工作薄的方法幾乎一樣，同樣是通過工廠模式方法獲得相應的對象，該方法需要兩個參數，一個是工作表的名稱，另一個是工作表在工作薄中的位置，參考下面的代碼片段： //創建Excel工作表 jxl.write.WritableSheet ws = wwb.createSheet(“Test Sheet 1”, 0); “這鍋也支好了，材料也準備齊全了，可以開始下鍋了！”，現在要做的只是實例化API所提供的Excel基本數據類型，並將它們添加到工作表中就可以了，參考下面的代碼片段： //1.添加Label對象 jxl.write.Label labelC = new jxl.write.Label(0, 0, “This is a Label cell”); ws.addCell(labelC); //添加帶有字型Formatting的對象 jxl.write.WritableFont wf = new jxl.write.WritableFont(WritableFont.TIMES, 18, WritableFont.BOLD, true); jxl.write.WritableCellFormat wcfF = new jxl.write.WritableCellFormat(wf); jxl.write.Label labelCF = new jxl.write.Label(1, 0, “This is a Label Cell”, wcfF); ws.addCell(labelCF); //添加帶有字體顏色Formatting的對象 jxl.write.WritableFont wfc = new jxl.write.WritableFont(WritableFont.ARIAL, 10, WritableFont.NO_BOLD, false, UnderlineStyle.NO_UNDERLINE, jxl.format.Colour.RED); jxl.write.WritableCellFormat wcfFC = new jxl.write.WritableCellFormat(wfc); jxl.write.Label labelCFC = new jxl.write.Label(1, 0, “This is a Label Cell”, wcfFC); ws.addCell(labelCF); //2.添加Number對象 jxl.write.Number labelN = new jxl.write.Number(0, 1, 3.1415926); ws.addCell(labelN); //添加帶有formatting的Number對象 jxl.write.NumberFormat nf = new jxl.write.NumberFormat(“#.##”); jxl.write.WritableCellFormat wcfN = new jxl.write.WritableCellFormat(nf); jxl.write.Number labelNF = new jxl.write.Number(1, 1, 3.1415926, wcfN); ws.addCell(labelNF); //3.添加Boolean對象 jxl.write.Boolean labelB = new jxl.write.Boolean(0, 2, false); ws.addCell(labelB); //4.添加DateTime對象 jxl.write.DateTime labelDT = new jxl.write.DateTime(0, 3, new java.util.Date()); ws.addCell(labelDT); //添加帶有formatting的DateFormat對象 jxl.write.DateFormat df = new jxl.write.DateFormat(“dd MM yyyy hh:mm:ss”); jxl.write.WritableCellFormat wcfDF = new jxl.write.WritableCellFormat(df); jxl.write.DateTime labelDTF = new jxl.write.DateTime(1, 3, new java.util.Date(), wcfDF); ws.addCell(labelDTF); 這裡有兩點大家要引起大家的注意。第一點，在構造單元格時，單元格在工作表中的位置就已經確定了。一旦創建後，單元格的位置是不能夠變更的，儘管單元格的內容是可以改變的。第二點，單元格的定位是按照下面這樣的規律(column, row)，而且下標都是從0開始，例如，A1被存儲在(0, 0)，B1被存儲在(1, 0)。最後，不要忘記關閉打開的Excel工作薄對象，以釋放佔用的內存，參見下面的代碼片段： //寫入Exel工作表 wwb.write(); //關閉Excel工作薄對象 wwb.close(); 這可能與讀取Excel文件的操作有少少不同，在關閉Excel對象之前，你必須要先調用write()方法，因為先前的操作都是存儲在緩存中的，所以要通過該方法將操作的內容保存在文件中。如果你先關閉了Excel對象，那麼只能得到一張空的工作薄了。拷貝、更新Excel工作薄接下來簡要介紹一下如何更新一個已經存在的工作薄，主要是下面二步操作，第一步是構造只讀的Excel工作薄，第二步是利用已經創建的Excel工作薄創建新的可寫入的Excel工作薄，參考下面的代碼片段：(完整代碼見ExcelModifying.java) //創建只讀的Excel工作薄的對象 jxl.Workbook rw = jxl.Workbook.getWorkbook(new File(sourcefile)); //創建可寫入的Excel工作薄對象 jxl.write.WritableWorkbook wwb = Workbook.createWorkbook(new File(targetfile), rw); //讀取第一張工作表 jxl.write.WritableSheet ws = wwb.getSheet(0); //獲得第一個單元格對象 jxl.write.WritableCell wc = ws.getWritableCell(0, 0); //判斷單元格的類型, 做出相應的轉化 if(wc.getType() == CellType.LABEL) { Label l = (Label)wc; l.setString(“The value has been modified.”); } //寫入Excel對象 wwb.write(); //關閉可寫入的Excel對象 wwb.close(); //關閉只讀的Excel對象 rw.close(); 之所以使用這種方式構建Excel對象，完全是因為效率的原因，因為上面的示例才是API的主要應用。為了提高性能，在讀取工作表時，與數據相關的一些輸出信息，所有的格式信息，如：字體、顏色等等，是不被處理的，因為我們的目的是獲得行數據的值，既使沒有了修飾，也不會對行數據的值產生什麼影響。唯一的不利之處就是，在內存中會同時保存兩個同樣的工作表，這樣當工作表體積比較大時，會佔用相當大的內存，但現在好像內存的大小並不是什麼關鍵因素了。一旦獲得了可寫入的工作表對象，我們就可以對單元格對象進行更新的操作了，在這裡我們不必調用API提供的add()方法，因為單元格已經於工作表當中，所以我們只需要調用相應的setXXX()方法，就可以完成更新的操作了。盡單元格原有的格式化修飾是不能去掉的，我們還是可以將新的單元格修飾加上去，以使單元格的內容以不同的形式表現。新生成的工作表對象是可寫入的，我們除了更新原有的單元格外，還可以添加新的單元格到工作表中，這與示例2的操作是完全一樣的。最後，不要忘記調用write()方法，將更新的內容寫入到文件中，然後關閉工作薄對象，這裡有兩個工作薄對象要關閉，一個是只讀的，另外一個是可寫入的。小結本文只是對Java Excel API中常用的方法作了介紹，要想更詳盡地了解API，請大家參考API文檔，或源代碼。Java Excel API是一個開放源碼項目，請大家關注它的最新進展，有興趣的朋友也可以申請加入這個項目，或者是提出寶貴的意見。

Golang的垃圾回收

最近垃圾分類的話題熱度一下子就上去了，很多人因為垃圾分類的問題很頭痛。因為垃圾這個話題，那我就想來說說Golang裡面的垃圾，於是就有了這篇博客，golang中的垃圾回收。

現階段網上針對golang垃圾回收的解析已經很多了，所以我也沒有必要仔仔細細的一點點說，還是那個原則，用最直白的話告訴你，垃圾到底是怎麼收的。

首先本文後續都會使用 GC 代替垃圾回收這幾個字。

我們知道創建對象會給他分配內存資源，如果這個對象不使用了，而這個內存資源卻一直被佔用的話，那麼我們的電腦很快就會被放滿，所以需要將這些垃圾對象進行回收。

要回收，那麼我們必須知道什麼才是垃圾，什麼不是垃圾。

在我們看來，一個對象以後都不用了，就是垃圾。

在程序看來，一個對象沒有被引用了，就是垃圾。

首先說明一下，下面說的停，都是STW，stop the world，全世界暫停，所有運行的都停下來了。

先告訴所有人，停一下，我來記錄一下當前狀態。

告訴所有人，你們繼續，該幹嘛幹嘛，我標記一下要用的對象

一開始所有點是白色，首先從根節點出發，標記相連的點為灰色（相連證明有引用），並且將所有灰色的點存起來；

告訴所有人，再停一下，在第二個過程中，因為所有人繼續在工作，那麼就會產生新的垃圾，因為第一個過程記錄了狀態，所以需要標記一下新的垃圾；然後清除所有白色的點，因為白色的點是沒人引用的，也就是垃圾。

你一定會有這樣的疑問：

那麼既然會導致那麼多問題，為什麼不直接停下來，標記完回收完了再開始呢？

因為慢~

所以這樣GC的原因是既要保證GC正常執行，又要保證效率，不能停的時間太長。

其實第一次停的時候，啟動了一個寫屏障 (write barrier)它需要記錄後續過程中新創建的對象

這個過程稱為三色標記，有點類似廣度優先搜索。

這次是必須停，因為在第二個過程中引用會發生變化，從而需要停止後重新掃描一遍；然後關閉寫屏障，最後再清理。

開啟寫屏障時需要stw

關閉寫屏障前需要stw

開啟寫屏障之後的標記過程與其他程序並發執行

關閉寫屏障之後的清掃過程與其他程序並發執行

那畢竟GC還是需要STW的，雖然可能停止時間很短，但是對於程序來說，整個程序停止1秒那對於用戶來說就是致命打擊。所以GC肯定需要一個觸發的條件，不能想來就來。

這是一個觸發的條件，默認GC百分比設置的是100，意思是，如果這次回收之後總共佔用2M的內存，那麼下次觸發的條件時當超過4M的時候；同理，當這次回收之後總共佔用4M，那麼下次觸發條件就是8M。

這個簡單，當一定時間（2分鐘）沒有執行過GC就觸發GC

使用命令 runtime.GC() 手動觸發GC

以上就是在golang中垃圾回收的大致流程，總的來說使用三色標記法進行標記清除，並且標記時與程序運行並行，為了解決問題使用寫屏障來記錄標記過程中對象的變更。總來的來說也是為了提高垃圾回收的效率，並且儘可能的減少STW的時間。

了解下來，與java的分代回收相比，golang中的回收算法理解起來更加簡單一些。

原創文章，作者：DBVA，如若轉載，請註明出處：https://www.506064.com/zh-hant/n/144707.html