go.js源碼（gojs開源）

本文目錄一覽：

• 1、在大數據行業工作兩年是怎樣一種體驗
• 2、js代碼問題，下面的代碼是什麼意思？怎麼調用？goURL是自定義的還是關鍵字？
• 3、go.js中怎麼去除節點點擊時的默認邊框
• 4、go.js go.Palette 取消響應

在大數據行業工作兩年是怎樣一種體驗

在大數據行業工作兩年是怎樣一種體驗

寫在前面

今年廣州的初夏在經歷了大雨的洗禮之後，一切都變得更加明朗起來，新的工作，新的人和事。懶惰讓我變得更焦慮，焦慮促使我進步，程序員的焦慮大家應該都有共同的感覺，時代的步伐太快了，在這個環境下的軟件開發一定會淘汰掉那些不懂得學習、懶惰的人。希望跟大家共勉。

在本文中，我主要回顧這兩年來，在大數據行業公司從事大數據類的前端開發的工作。最近剛剛換了一份工作，這裡把我的經驗稍作總結分享給大家。

本文主要從大數據開發的角度出發，到大數據治理的必要性，再到圖形化建模的暢想，最後在數據質量的把關，然後到大數據可視化的應用，總結兩年的見聞和我的學習成果，也不知理解有無偏差，希望大家能給出建議。

大數據開發

大數據開發，有幾個階段：

1.數據採集（原始數據)

2.數據匯聚（經過清洗合併的可用數據)

3.數據轉換和映射（經過分類、提取的專項主題數據)

4.數據應用（提供api 智能系統 、應用系統等)

數據採集

數據採集有線上和線下兩種方式，線上一般通過爬蟲，通過抓取或者通過已有應用系統的採集。

在這個階段，我們可以做一個大數據採集平台，依託自動爬蟲（使用Python或者Node.js製作爬蟲軟件），ETL工具、或者自定義的抽取轉換引擎，從文件中、數據庫中、網頁中專項爬取數據。如果這一步通過自動化系統來做的話，可以很方便的管理所有的原始數據，並且從數據的開始對數據進行標籤採集，可以規範開發人員的工作，同時目標數據源可以更方便的管理。

數據採集的難點在於多數據源，例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。還有本地文件、excel統計文檔、甚至是doc文件。如何將它們規整、有方案地整理進我們的大數據流程中也是必不可缺的一環。

數據匯聚

數據的匯聚是大數據流程最關鍵的一步，你可以在這裡加上數據標準化，你也可以在這裡做數據清洗，數據合併，還可以在這一步將數據存檔，將確認可用的數據經過可監控的流程進行整理歸類，這裡產出的所有數據就是整個公司的數據資產，到了一定的量就是一筆固定資產。

數據匯聚的難點在於如何標準化數據，例如表名標準化，表的標籤分類，表的用途，數據的量，是否有數據增量？數據是否可用？

這些需要在業務上下很大的功夫，必要時還要引入智能化處理，例如根據內容訓練結果自動打標籤，自動分配推薦表名、表字段名等，還有如何從原始數據中導入數據等。

數據轉換和映射

經過數據匯聚的數據資產如何提供給具體的使用方使用？在這一步，主要就是考慮數據如何應用，如何將兩、三個數據錶轉換成一張能夠提供服務的數據。然後定期更新增量。

經過前面的那幾步，在這一步難點並不太多了，如何轉換數據與如何清洗數據、標準數據無二，將兩個字段的值轉換成一個字段，或者根據多個可用表統計出一張圖表數據等等。

數據應用

數據的應用方式很多，有對外的、有對內的，如果擁有了前期的大量數據資產，是通過restful API提供給用戶？還是提供流式引擎 KAFKA 給應用消費? 或者直接組成專題數據，供自己的應用查詢？這裡對數據資產的要求比較高，所以前期的工作做好了，這裡的自由度很高。

大數據開發的難點

大數據開發的難點主要是監控，怎麼樣規劃開發人員的工作。開發人員隨隨便便採集了一堆垃圾數據，並且直連數據庫。 短期來看，這些問題比較小，可以矯正。 但是在資產的量不斷增加的時候，這就是一顆定時炸彈，隨時會引爆，然後引發一系列對數據資產的影響，例如數據混亂帶來的就是數據資產的價值下降，客戶信任度變低。

如何監控開發人員的開發流程？

答案只能是自動化平台，只有自動化平台能夠做到讓開發人員感到舒心的同時，接受新的事務，拋棄手動時代。

這就是前端開發工程師在大數據行業中所佔有的優勢點，如何製作交互良好的可視化操作界面？如何將現有的工作流程、工作需求變成一個個的可視化操作界面？ 可不可以使用智能化取代一些無腦的操作？

從一定意義上來說，大數據開發中，我個人認為前端開發工程師佔據着更重要的位置，僅次於大數據開發工程師。至於後台開發，系統開發是第三位的。

好的交互至關重要，如何轉換數據，如何抽取數據，一定程度上，都是有先人踩過的坑，例如kettle，再例如kafka，pipeline ，解決方案眾多。關鍵是如何交互？ 怎麼樣變現為可視化界面？ 這是一個重要的課題。

現有的各位朋友的側重點不同，認為前端的角色都是可有可無，我覺得是錯誤的，後台的確很重要，但是後台的解決方案多。 前端實際的地位更重要，但是基本無開源的解決方案，如果不夠重視前端開發， 面臨的問題就是交互很爛，界面爛，體驗差，導致開發人員的排斥，而可視化這塊的知識點眾多，對開發人員的素質要求更高。

大數據治理

大數據治理應該貫穿整個大數據開發流程，它有扮演着重要的角色，淺略的介紹幾點：

· 數據血緣

· 數據質量審查

· 全平台監控

數據血緣

從數據血緣說起，數據血緣應該是大數據治理的入口，通過一張表，能夠清晰看見它的來龍去脈，字段的拆分，清洗過程，表的流轉，數據的量的變化，都應該從數據血緣出發，我個人認為，大數據治理整個的目標就是這個數據血緣，從數據血緣能夠有監控全局的能力。

數據血緣是依託於大數據開發過程的，它包圍着整個大數據開發過程，每一步開發的歷史，數據導入的歷史，都應該有相應的記錄，數據血緣在數據資產有一定規模時，基本必不可少。

數據質量審查

數據開發中，每一個模型(表)創建的結束，都應該有一個數據質量審查的過程，在體系大的環境中，還應該在關鍵步驟添加審批。例如在數據轉換和映射這一步，涉及到客戶的數據提供，應該建立一個完善的數據質量審查制度，幫助企業第一時間發現數據存在的問題，在數據發生問題時也能第一時間看到問題的所在，並從根源解決問題，而不是盲目的通過連接數據庫一遍一遍的查詢SQL。

全平台監控

監控其實包含了很多的點，例如應用監控，數據監控，預警系統，工單系統等，對我們接管的每個數據源、數據表都需要做到實時監控，一旦發生殆機，或者發生停電，能夠第一時間電話或者短信通知到具體負責人，這裡可以借鑒一些自動化運維平台的經驗的，監控約等於運維，好的監控提供的數據資產的保護也是很重要的。

大數據可視化

大數據可視化不僅僅是圖表的展現，大數據可視化不僅僅是圖表的展現，大數據可視化不僅僅是圖表的展現。

重要的事說三遍，大數據可視化歸類的數據開發中，有一部分屬於應用類，有一部分屬於開發類。

在開發中，大數據可視化扮演的是可視化操作的角色， 如何通過可視化的模式建立模型？ 如何通過拖拉拽，或者立體操作來實現數據質量的可操作性？ 畫兩個表格加幾個按鈕實現複雜的操作流程是不現實的。

在可視化應用中，更多的也有如何轉換數據，如何展示數據，圖表是其中的一部分，平時更多的工作還是對數據的分析，怎麼樣更直觀的表達數據？這需要對數據有深刻的理解，對業務有深刻的理解，才能做出合適的可視化應用。

智能的可視化平台

可視化是可以被再可視化的，例如superset，通過操作SQL實現圖表，有一些產品甚至能做到根據數據的內容智能分類，推薦圖表類型，實時的進行可視化開發，這樣的功能才是可視化現有的發展方向，我們需要大量的可視化內容來對公司發生產出，例如服裝行業，銷售部門：進貨出貨，顏色搭配對用戶的影響，季節對選擇的影響 生產部門：布料價格走勢？ 產能和效率的數據統計？ 等等，每一個部門都可以有一個數據大屏，可以通過平台任意規劃自己的大屏，所有人每天能夠關注到自己的領域動向，這才是大數據可視化應用的具體意義。

結語

洋洋洒洒寫了很多，對我近兩年的所見所聞所學所想進行了一些總結。

有些童鞋會問，不是技術么？為什麼沒有代碼？我要說，代碼是要學的，要寫的，但是與工作無關，代碼是我個人的技能，個人傍身，實現個人想法的重要技能。 但是代碼與業務的關係不大，在工作中，懂業務的人代碼寫的更好，因為他知道公司想要什麼。 如果你業務很差，那也沒關係，你代碼好就行了呀，根據別人的交代幹活，也是很不錯的。技術和業務是相輔相成的，稍後博主總結代碼的精進。

寫完了，我的焦慮一絲未少，我的代碼規範性不夠，目前技術棧JS、Java、Node.js、Python 。

主業JS熟練度80%，正在研究阮一峰的es6（看的差不多）和vuejs的源碼（有點擱淺），vuejs算是中等，css和布局方面可以說還可以，另外d3.js，go.js都是處於會用，能幹活。 Node.js呢，express和koa無問題，看過一些express的源代碼，還寫過兩個中間件。

Java、Python都處於能做項目的程度，目前也不想抽很多精力去深入它們，就想要保持在想用能用的地步。

未來的幾年，我打算多學學人工智能、大數據開發的知識，未來這塊應該還有一些熱度的。

最後和大家共勉，三人行，必有我師焉。

js代碼問題，下面的代碼是什麼意思？怎麼調用？goURL是自定義的還是關鍵字？

應該是自定義的 據我所知，好像沒這個方法。。。。也可能是我太孤陋寡聞了。。。。你最好檢查一下這個頁面里引用的JS代碼 看看裡面有沒有這個函數

go.js中怎麼去除節點點擊時的默認邊框

webview中的html界面，點擊時產生的邊框，可以在js的代碼中給元素添加如下屬性：-webkit-tap-highlight-color即可去掉邊框。

1.webkit內核的瀏覽器，當用戶點擊一個鏈接或者通過js定義的可點擊元素的時候，會出現一個半透明的灰色背景或者紅色的邊框。

2.如果想要禁用高亮，可設置顏色的alpha值為0，也就是屬性值的最後一位設置為0就可以去除背景或者邊框。去除android鏈接觸摸時產生邊框的css代碼a,button,input{-webkit-tap-highlight-color:rgba(255,0,0,0);}/* 1.去除android a/button/input標籤被點擊時產生的邊框 2.去除ios a標籤被點擊時產生的半透明灰色背景 */

go.js go.Palette 取消響應

go.js go.Palette 取消響應 應該是因為網站的原因，網站需要進行維護了，所以才不響應的哦。

擴展：注意的點：

1、一個節點下可以有多個 panel ，一個panel下可以用多個 go.Picture、go.Shape 、 go.TextBlock ，他們每個下面都有固定的屬性值，可更改其樣式，具體參考 api。

2、當頁面新建了一些點和線後，選擇重新布局的話可調用 myDiagram.layoutDiagram(true)，然後圖譜會自動布局。