golang生成大文件,golang 文件傳輸

本文目錄一覽：

• 1、Golang常用包有哪些
• 2、如何讓golang 把變數解析為json，並輸出為文件。
• 3、【golang】小技巧-利用io.copy寫數據進文件
• 4、golang怎麼通過數據流直接生成excel上傳至oss

Golang常用包有哪些

⑴ Go Kit

它本身不是一個框架，而是一套微服務工具集，可以用於解決分散式系統開發中的大多數常見問題，所以使用者可以專註於你的業務邏輯中。

⑵ Gingko

是一個Go測試框架，目的是幫助我們使用行為驅動開發風格高效地編寫富有表現力和全面的測試，它有著非常良好的幫助文檔，任何人都可以輕鬆地在項目中集成使用它。

⑶ NSQ

實時分散式消息傳遞平台，提供高可用性和可靠的消息傳遞保證，可以水平擴展，支持負載均衡，安裝部署非常方便。

⑷ Goose

Golang中最佳的資料庫遷移包，通過創建增量SQL更改和Go函數來管理資料庫結構，在Go1.16版本以上，還支持了嵌入式sql遷移。

⑸ GORM

是一個功能齊全的Golang對象關係映射庫，是一種開發人員友好的工具，用於在不兼容的類型系統之間轉換數據，專門設計用於在類型系統之間切換時最大限度地減少重寫代碼。

⑹ Authboss

一個模塊化的身份驗證包，使用它你可以快速地在項目中進行身份驗證管理。它有幾個常見的身份驗證和授權模塊供開發人員選擇。

⑺ cli

是一個簡單快捷的命令行管理包，用於為Go語言構建命令行應用程序，允許開發人員開發自己的富有表現力的命令行應用程序，用於創建標誌、bash完成常式並生成幫助文本。

⑻ Vegeta

是一個用於HTTP負載測試的工具包，這個多功能工具專為測試具有恆定請求率的HTTP服務而設計。它可以有效地分析程序中的潛在問題，是一個始終貫穿以提高整體性能為目的的包。

如何讓golang 把變數解析為json，並輸出為文件。

1. 不管golang從json文件讀取數據，還是寫數據到json配置文件，都需要encoding/json包，如下：import (

“encoding/json”

)

2. 編碼JSON，輸出數據到json文件，有方法如下：

json.Marshal(xxx) 和 json.MarshalIndent(c, “”, ” “) ，兩個方法的區別是，MarshalIndent(c, “”, ” “)方法按照json格式 縮進，也就是美化了的 可讀性很高的 帶縮進的 Json數據。所以只要是json格式數據，當然用第二個方法啦。

3. 具體代碼如下：

c := make(map[string]interface{})

c[“name”] = “Gopher”

c[“title”] = “programmer”

c[“contact”] = map[string]interface{}{

“home”: “415.333.3333”,

“cell”: “415.555.5555”,

【golang】小技巧-利用io.copy寫數據進文件

io.copy是按默認的緩衝區32k循環操作的，不會將內容一次性全寫入內存中,這樣就能解決大文件的問題。

golang怎麼通過數據流直接生成excel上傳至oss

import java.io.*; import jxl.*; … … … … try { //構建Workbook對象, 只讀Workbook對象 //直接從本地文件創建Workbook //從輸入流創建Workbook InputStream is = new FileInputStream(sourcefile); jxl.Workbook rwb = Workbook.getWorkbook(is); } catch (Exception e) { e.printStackTrace(); } 一旦創建了Workbook，我們就可以通過它來訪問Excel Sheet(術語：工作表)。參考下面的代碼片段： //獲取第一張Sheet表 Sheet rs = rwb.getSheet(0); 我們既可能通過Sheet的名稱來訪問它，也可以通過下標來訪問它。如果通過下標來訪問的話，要注意的一點是下標從0開始，就像數組一樣。 一旦得到了Sheet，我們就可以通過它來訪問Excel Cell(術語：單元格)。參考下面的代碼片段： //獲取第一行，第一列的值 Cell c00 = rs.getCell(0, 0); String strc00 = c00.getContents(); //獲取第一行，第二列的值 Cell c10 = rs.getCell(1, 0); String strc10 = c10.getContents(); //獲取第二行，第二列的值 Cell c11 = rs.getCell(1, 1); String strc11 = c11.getContents(); System.out.println(“Cell(0, 0)” + ” value : ” + strc00 + “; type : ” + c00.getType()); System.out.println(“Cell(1, 0)” + ” value : ” + strc10 + “; type : ” + c10.getType()); System.out.println(“Cell(1, 1)” + ” value : ” + strc11 + “; type : ” + c11.getType()); 如果僅僅是取得Cell的值，我們可以方便地通過getContents()方法，它可以將任何類型的Cell值都作為一個字元串返回。示例代碼中Cell(0, 0)是文本型，Cell(1, 0)是數字型，Cell(1,1)是日期型，通過getContents()，三種類型的返回值都是字元型。 如果有需要知道Cell內容的確切類型，API也提供了一系列的方法。參考下面的代碼片段： String strc00 = null; double strc10 = 0.00; Date strc11 = null; Cell c00 = rs.getCell(0, 0); Cell c10 = rs.getCell(1, 0); Cell c11 = rs.getCell(1, 1); if(c00.getType() == CellType.LABEL) { LabelCell labelc00 = (LabelCell)c00; strc00 = labelc00.getString(); } if(c10.getType() == CellType.NUMBER) { NmberCell numc10 = (NumberCell)c10; strc10 = numc10.getValue(); } if(c11.getType() == CellType.DATE) { DateCell datec11 = (DateCell)c11; strc11 = datec11.getDate(); } System.out.println(“Cell(0, 0)” + ” value : ” + strc00 + “; type : ” + c00.getType()); System.out.println(“Cell(1, 0)” + ” value : ” + strc10 + “; type : ” + c10.getType()); System.out.println(“Cell(1, 1)” + ” value : ” + strc11 + “; type : ” + c11.getType()); 在得到Cell對象後，通過getType()方法可以獲得該單元格的類型，然後與API提供的基本類型相匹配，強制轉換成相應的類型，最後調用相應的取值方法getXXX()，就可以得到確定類型的值。API提供了以下基本類型，與Excel的數據格式相對應，如下圖所示： 每種類型的具體意義，請參見Java Excel API Document。 當你完成對Excel電子表格數據的處理後，一定要使用close()方法來關閉先前創建的對象，以釋放讀取數據表的過程中所佔用的內存空間，在讀取大量數據時顯得尤為重要。參考如下代碼片段： //操作完成時，關閉對象，釋放佔用的內存空間 rwb.close(); Java Excel API提供了許多訪問Excel數據表的方法，在這裡我只簡要地介紹幾個常用的方法，其它的方法請參考附錄中的Java Excel API Document。 • Workbook類提供的方法 1. int getNumberOfSheets() 獲得工作薄（Workbook）中工作表（Sheet）的個數，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); int sheets = rwb.getNumberOfSheets(); 2. Sheet[] getSheets() 返回工作薄（Workbook）中工作表（Sheet）對象數組，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); Sheet[] sheets = rwb.getSheets(); 3. String getVersion() 返回正在使用的API的版本號，好像是沒什麼太大的作用。 jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); String apiVersion = rwb.getVersion(); • Sheet介面提供的方法 1. String getName() 獲取Sheet的名稱，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); String sheetName = rs.getName(); 2. int getColumns() 獲取Sheet表中所包含的總列數，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); int rsColumns = rs.getColumns(); 3. Cell[] getColumn(int column) 獲取某一列的所有單元格，返回的是單元格對象數組，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); Cell[] cell = rs.getColumn(0); 4. int getRows() 獲取Sheet表中所包含的總行數，示例： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); int rsRows = rs.getRows(); 5. Cell[] getRow(int row) 獲取某一行的所有單元格，返回的是單元格對象數組，示例子： jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); Cell[] cell = rs.getRow(0); 6. Cell getCell(int column, int row) 獲取指定單元格的對象引用，需要注意的是它的兩個參數，第一個是列數，第二個是行數，這與通常的行、列組合有些不同。 jxl.Workbook rwb = jxl.Workbook.getWorkbook(new File(sourcefile)); jxl.Sheet rs = rwb.getSheet(0); Cell cell = rs.getCell(0, 0); 生成新的Excel工作薄 下面的代碼主要是向大家介紹如何生成簡單的Excel工作表，在這裡單元格的內容是不帶任何修飾的(如：字體，顏色等等)，所有的內容都作為字元串寫入。(完整代碼見ExcelWriting.java) 與讀取Excel工作表相似，首先要使用Workbook類的工廠方法創建一個可寫入的工作薄(Workbook)對象，這裡要注意的是，只能通過API提供的工廠方法來創建Workbook，而不能使用WritableWorkbook的構造函數，因為類WritableWorkbook的構造函數為protected類型。示例代碼片段如下： import java.io.*; import jxl.*; import jxl.write.*; … … … … try { //構建Workbook對象, 只讀Workbook對象 //Method 1：創建可寫入的Excel工作薄 jxl.write.WritableWorkbook wwb = Workbook.createWorkbook(new File(targetfile)); //Method 2：將WritableWorkbook直接寫入到輸出流 /* OutputStream os = new FileOutputStream(targetfile); jxl.write.WritableWorkbook wwb = Workbook.createWorkbook(os); */ } catch (Exception e) { e.printStackTrace(); } API提供了兩種方式來處理可寫入的輸出流，一種是直接生成本地文件，如果文件名不帶全路徑的話，預設的文件會定位在當前目錄，如果文件名帶有全路徑的話，則生成的Excel文件則會定位在相應的目錄；另外一種是將Excel對象直接寫入到輸出流，例如：用戶通過瀏覽器來訪問Web伺服器，如果HTTP頭設置正確的話，瀏覽器自動調用客戶端的Excel應用程序，來顯示動態生成的Excel電子表格。 接下來就是要創建工作表，創建工作表的方法與創建工作薄的方法幾乎一樣，同樣是通過工廠模式方法獲得相應的對象，該方法需要兩個參數，一個是工作表的名稱，另一個是工作表在工作薄中的位置，參考下面的代碼片段： //創建Excel工作表 jxl.write.WritableSheet ws = wwb.createSheet(“Test Sheet 1”, 0); “這鍋也支好了，材料也準備齊全了，可以開始下鍋了！”，現在要做的只是實例化API所提供的Excel基本數據類型，並將它們添加到工作表中就可以了，參考下面的代碼片段： //1.添加Label對象 jxl.write.Label labelC = new jxl.write.Label(0, 0, “This is a Label cell”); ws.addCell(labelC); //添加帶有字型Formatting的對象 jxl.write.WritableFont wf = new jxl.write.WritableFont(WritableFont.TIMES, 18, WritableFont.BOLD, true); jxl.write.WritableCellFormat wcfF = new jxl.write.WritableCellFormat(wf); jxl.write.Label labelCF = new jxl.write.Label(1, 0, “This is a Label Cell”, wcfF); ws.addCell(labelCF); //添加帶有字體顏色Formatting的對象 jxl.write.WritableFont wfc = new jxl.write.WritableFont(WritableFont.ARIAL, 10, WritableFont.NO_BOLD, false, UnderlineStyle.NO_UNDERLINE, jxl.format.Colour.RED); jxl.write.WritableCellFormat wcfFC = new jxl.write.WritableCellFormat(wfc); jxl.write.Label labelCFC = new jxl.write.Label(1, 0, “This is a Label Cell”, wcfFC); ws.addCell(labelCF); //2.添加Number對象 jxl.write.Number labelN = new jxl.write.Number(0, 1, 3.1415926); ws.addCell(labelN); //添加帶有formatting的Number對象 jxl.write.NumberFormat nf = new jxl.write.NumberFormat(“#.##”); jxl.write.WritableCellFormat wcfN = new jxl.write.WritableCellFormat(nf); jxl.write.Number labelNF = new jxl.write.Number(1, 1, 3.1415926, wcfN); ws.addCell(labelNF); //3.添加Boolean對象 jxl.write.Boolean labelB = new jxl.write.Boolean(0, 2, false); ws.addCell(labelB); //4.添加DateTime對象 jxl.write.DateTime labelDT = new jxl.write.DateTime(0, 3, new java.util.Date()); ws.addCell(labelDT); //添加帶有formatting的DateFormat對象 jxl.write.DateFormat df = new jxl.write.DateFormat(“dd MM yyyy hh:mm:ss”); jxl.write.WritableCellFormat wcfDF = new jxl.write.WritableCellFormat(df); jxl.write.DateTime labelDTF = new jxl.write.DateTime(1, 3, new java.util.Date(), wcfDF); ws.addCell(labelDTF); 這裡有兩點大家要引起大家的注意。第一點，在構造單元格時，單元格在工作表中的位置就已經確定了。一旦創建後，單元格的位置是不能夠變更的，儘管單元格的內容是可以改變的。第二點，單元格的定位是按照下面這樣的規律(column, row)，而且下標都是從0開始，例如，A1被存儲在(0, 0)，B1被存儲在(1, 0)。 最後，不要忘記關閉打開的Excel工作薄對象，以釋放佔用的內存，參見下面的代碼片段： //寫入Exel工作表 wwb.write(); //關閉Excel工作薄對象 wwb.close(); 這可能與讀取Excel文件的操作有少少不同，在關閉Excel對象之前，你必須要先調用write()方法，因為先前的操作都是存儲在緩存中的，所以要通過該方法將操作的內容保存在文件中。如果你先關閉了Excel對象，那麼只能得到一張空的工作薄了。 拷貝、更新Excel工作薄 接下來簡要介紹一下如何更新一個已經存在的工作薄，主要是下面二步操作，第一步是構造只讀的Excel工作薄，第二步是利用已經創建的Excel工作薄創建新的可寫入的Excel工作薄，參考下面的代碼片段：(完整代碼見ExcelModifying.java) //創建只讀的Excel工作薄的對象 jxl.Workbook rw = jxl.Workbook.getWorkbook(new File(sourcefile)); //創建可寫入的Excel工作薄對象 jxl.write.WritableWorkbook wwb = Workbook.createWorkbook(new File(targetfile), rw); //讀取第一張工作表 jxl.write.WritableSheet ws = wwb.getSheet(0); //獲得第一個單元格對象 jxl.write.WritableCell wc = ws.getWritableCell(0, 0); //判斷單元格的類型, 做出相應的轉化 if(wc.getType() == CellType.LABEL) { Label l = (Label)wc; l.setString(“The value has been modified.”); } //寫入Excel對象 wwb.write(); //關閉可寫入的Excel對象 wwb.close(); //關閉只讀的Excel對象 rw.close(); 之所以使用這種方式構建Excel對象，完全是因為效率的原因，因為上面的示例才是API的主要應用。為了提高性能，在讀取工作表時，與數據相關的一些輸出信息，所有的格式信息，如：字體、顏色等等，是不被處理的，因為我們的目的是獲得行數據的值，既使沒有了修飾，也不會對行數據的值產生什麼影響。唯一的不利之處就是，在內存中會同時保存兩個同樣的工作表，這樣當工作表體積比較大時，會佔用相當大的內存，但現在好像內存的大小並不是什麼關鍵因素了。 一旦獲得了可寫入的工作表對象，我們就可以對單元格對象進行更新的操作了，在這裡我們不必調用API提供的add()方法，因為單元格已經於工作表當中，所以我們只需要調用相應的setXXX()方法，就可以完成更新的操作了。 盡單元格原有的格式化修飾是不能去掉的，我們還是可以將新的單元格修飾加上去，以使單元格的內容以不同的形式表現。 新生成的工作表對象是可寫入的，我們除了更新原有的單元格外，還可以添加新的單元格到工作表中，這與示例2的操作是完全一樣的。 最後，不要忘記調用write()方法，將更新的內容寫入到文件中，然後關閉工作薄對象，這裡有兩個工作薄對象要關閉，一個是只讀的，另外一個是可寫入的。 小結 本文只是對Java Excel API中常用的方法作了介紹，要想更詳盡地了解API，請大家參考API文檔，或源代碼。Java Excel API是一個開放源碼項目，請大家關注它的最新進展，有興趣的朋友也可以申請加入這個項目，或者是提出寶貴的意見。