golang處理大數據,golang 大數據

本文目錄一覽：

• 1、golang適合做web開發嗎
• 2、Golang解析json的特殊情況處理
• 3、【golang】海量數據去重-布隆過濾器

golang適合做web開發嗎

golang適合做web開發

非常適合，可以不用任何框架，自帶的庫已經能做的很好了，並發效果也好，我們主要做一些大數據的前後端處理和展示，運維部署巨方便(這是大多數語言的弱點)，不用任何中間件，直接生成二進位執行，數據後台處理的瓶頸還是在資料庫上而非go語言。

開發效率也很高，就是上手比起動態語言稍難，不過與後期的維護和系統的執行效率比起來多學倆三周真是值得。

Golang解析json的特殊情況處理

Go解析json遇到了大數字、不定格式等特殊情況，在此做了一個整理。

選擇哪個要視輸入而定。

json.Unmarshal 操作對象是一個 []byte ，也就意味著被處理的JSON要全部載入到內存。如果有一個載入完的JSON使用 json.Unmarshal 會快一些。

json.Decoder 操作的是一個 stream ，或者其他實現了 io.Reader 介面的類型。意味著可以在接收或傳輸的同時對其進行解析。當處理一組較大數據時無需重新copy整個JSON到內存中。

最好的選擇辦法如下：

默認情況下，go對json解析過程中遇到的數字都會當做float64處理。如果數字過大會有精度丟失。可以使用json.Number來處理。

輸出結果：

使用 json.Decoder 只能操作 io.Reader 類型的JSON數據。

有時候遇到欄位不定的JSON，需要一邊判斷一邊解析。如：

可以先統一解組到interface{} 然後判斷關鍵欄位再進行後續處理。

結果

使用RawMessage便於分步Unmarshal

原文鏈接

【golang】海量數據去重-布隆過濾器

在做域名爆破中，遇到了把一個300G的子域名json文件進行去重，一開始是考慮使用字典進行去重，但是數據量大了，會造成內存泄露。看網上資料介紹了一種方案，就是使用布隆過濾器。

布隆過濾器是一種數據結構，概率型數據結構，特定是高效插入和查詢，可以用來告訴你「某一值一定不存在或者kennel存在」。

相比於傳統的map、set等數據結構，佔用空間更少，但其返回結果是概率型的，不確定。

布隆過濾器內部維護一個bitArray(位數組)，開始所有數據為0，當一個元素過來時，能過多個哈希函數（hash1、hash2、hash3）計算不同的hash值，並通過hash值找到bitArray的下標，將裡面的值改為由0變為1。布隆過濾器有一個誤判率，誤判率越低，數組越長，所在空間越大，誤判率越高，數組越小，所佔空間越小。

這裡貼上一個技術大牛的博客地址，裡面對布隆過濾器用法以及在redis裡面處理緩存穿透問題的詳細介紹。