關於jstorm源碼下載的信息

本文目錄一覽：

• 1、作為程序員的你，常用的軟體有哪些？
• 2、storm基本概念
• 3、webstorm怎麼打包war
• 4、webstorm新建nodejs有什麼區別
• 5、發現公司里的大數據開發掙得很多，想轉行，
• 6、webstorm中ctrl加左鍵無法跳轉

作為程序員的你，常用的軟體有哪些？

這個就非常多了，下面我以常見的編程開發軟體和資料庫管理軟體為例，簡單介紹幾種，感興趣的朋友可以嘗試一下：

01 編程開發軟體

這個要看具體編程語言了，不同語言開發工具自然不同，這裡以常見的C/C++、Java和Python為例，簡單介紹3種比較常用的軟體：

這是Windows平台下一個非常專業的集成開發工具，號稱宇宙第一IDE環境，不僅僅只是C/C++，常見的C#、VB等編程語言，這個軟體都能很好支持，智能補全、代碼高亮、語法檢查等功能非常不錯，除此之外，還支持單元測試、代碼重構和分析等高級功能，因此非常適合大型項目開發和維護：

這是一個非常專業智能的Java開發工具，在企業和個人桌面中，有著非常高的使用率和歡迎度，自動補全、語法提示、代碼高亮等功能非常不錯，除此之外，還支持JUnit、CVS整合、代碼重構等高級功能，自帶有Maven和Gradle構建工具，因此更適合Java項目開發和維護，個人使用起來非常不錯：

這是一個非常專業的Python開發軟體，和IntelliJ IDEA一樣，Jetbrains公司的產品，在業界非常流行、受歡迎，智能補全、代碼高亮、語法提示等功能非常不錯，除此之外，還支持代碼重構和分析、單元測試等高級功能，因此更適合大型項目，個人使用來說，也非常簡單，很容易上手和掌握：

02 資料庫管理軟體

這個就非常多了，不同資料庫都有專門的管理軟體和工具，這裡簡單介紹3個比較通用的資料庫管理軟體，分別是HeidiSQL、DBeaver和DataGrip，對於日常使用來說，非常不錯：

這是Windows平台下一個非常輕巧靈活的資料庫管理軟體，基於Delphi開發而來，目前支持MySQL、MariaDB、MSSQL、PostgreSQL等主流資料庫，常見的建庫建表、視圖索引、觸發器等基本功能，這個軟體都能很好兼容，除此之外，還支持SQL腳本導入導出、數據備份恢復等功能，對於日常資料庫管理來說，非常不錯：

這是一個基於Java開發的資料庫管理軟體，免費、開源、跨平台，目前支持Oracle、MySQL、PostgreSQL、SQL Server等十幾種主流資料庫開發，建庫建表、視圖索引、觸發器、存儲過程等基本功能 都 可輕鬆查看和設計，資料庫導入導出、數據 恢復 備份等功能也都非常不錯，對於日常資料庫管理和維護來說，是一個非常不錯的工具：

這也是一個通用的資料庫管理軟體，Jetbrains公司的產品，支持跨平台，但原則上針對個人不免費，常見的PostgreSQL、MySQL、Oracle等資料庫，這個軟體都能很好支持， 數據導入導出（ 恢復備份 ）、 智能代碼填充、版本 集成 控制等功能非常不錯，對於日常資料庫管理來說，也是一個不錯的工具：

每天常用開發工具：

0.Git：分散式版本控制系統；

1.IntelliJ IDEA：java語言開發的集成環境，IntelliJ在業界被公認為最好的java開發工具之一；

2.Sublime Text：不只是代碼編輯器；

3.Postman：Http請求模擬工具和功能強大的網頁調試工具；

4.DataGrip：支持幾乎所有主流的關係資料庫、多功能的資料庫操作工具；

5.Vagrant：用於創建和部署虛擬化開發環境，配合虛擬機使用；

6.Gradle：自動化構建工具；

7.JIRA：項目與事務跟蹤工具；

8.iTerm2：Mac上的終端工具；

9.Jenkins：持續集成工具。

做了一個寫代碼用了十幾年的人，很多編程的習慣已經養成了，現在就羅列下每天必用的軟體：

直接安裝的linux系統，因為幾乎所有的代碼都是在linux下完成

java開發環境

C/C++代碼編輯工具

linux下虛擬windows系統virtualBox

軟體提交工具git

不同的開發語言，每天要用到的軟體可能不一樣。

我是開發java web的，電腦安裝了很多工具，但是說每天要用到的好像就幾個。

作為程序員使用最多的軟體，莫過於編程開發所用到的軟體編輯器，但是編輯器的種類有很多。我們需要做到的是，找到你最喜歡的編輯器然後熟練的使用它。

同時掌握常見的一些快捷鍵的操作方式，從而來提升我們的工作效率，而不是以軟體而論軟體，什麼都去接觸使用。畢竟軟體是工具是幫助我們提升開發效率。

下面我就列舉我們PHP經常使用的軟體

IDE工具類軟體

這一類是開發軟體編寫代碼用的。這一類的軟體非常多，我就推薦一個經常使用的PHPStorm，因為太多的話大家也用不到，也沒有那麼多的精力去熟練每一個編輯器。

PHPStorm是 JetBrains 公司開發的一款商業的 PHP 集成開發工具，旨在提高用戶效率，可深刻理解用戶的編碼，提供智能代碼補全，快速導航以及即時錯誤檢查。可以說是PHP開發程序員必備的神器。

常用快捷鍵如下：

1.複製快捷方式

F5 複製文件/文件夾

CTRL+C 複製

CTRL+V 粘貼

CTRL+X 剪 切,刪除行

CTRL+D 複製行

CTRL+SHIFT+V 可以複製多個文本

2.自動代碼

ALT+回車 導入包,自動修正

CTRL+ALT+L 格式化代

碼CTRL+ALT+I 自動縮進

CTRL+ALT+O 優化導入的類和包

CTRL+SHIFT+SPACE 切換窗口

CTRL+SPACE空格 代碼自動完成，代碼提示,一般與輸入法衝突

CTRL+ALT+SPACE 類 名或介面名提示（與系統衝突）

CTRL+P 方法參數提示，顯示默認參數

CTRL+J 自動代碼提示，自動補全

CTRL+ALT+T 把選中的代碼放在 TRY{} IF{} ELSE{} 里ALT+INSERT 生成代碼(如GET,SET方法,構造函數等)

3.運行

Alt + Shift + F10 選擇的配置和運行

Alt + Shift + F9 選擇配置和調試

Shift + F10 運行

Shift + F9調試

Ctrl + Shift + F10運行範圍內配置編輯器

Ctrl + Shift + X運行命令行

4.其他快捷方式

CTRL+Z 倒退(代碼後悔)

CTRL+SHIFT+Z 向前

CTRL+H 顯 示類結構圖

Ctrl +F12 文件結構彈出

CTRL+O 魔術方法

CTRL+/ 注釋//取消注釋

CTRL+SHIFT+/ 注釋/*…*/

ctrl + ‘.’: 摺疊選中的代碼的代碼

ALT+ / 切換代碼視圖，標籤切換

5.其他快捷方式

CTRL+Z 倒退(代碼後悔)

CTRL+SHIFT+Z 向前

CTRL+H 顯 示類結構圖

Ctrl +F12 文件結構彈出

CTRL+O 魔術方法CTRL+/ 注釋//取消注釋

CTRL+SHIFT+/ 注釋/*…*/

ctrl + ‘.’: 摺疊選中的代碼的代碼

ALT+ / 切換代碼視圖，

資料庫相關常用的工具

Navicat for MySQL是管理資料庫的操作工具，都是可以連接遠程的雲資料庫。方便簡化開發，還可以手動備份、可視化的sql分析。

常用快捷鍵：

ctrl+q 打開查詢窗口

ctrl+/ 注釋sql語句

ctrl+shift +/ 解除注釋

ctrl+r 運行查詢窗口的sql語句

ctrl+shift+r 只運行選中的sql語句

F6 打開一個mysql命令行窗口

ctrl+d （1）：查看錶結構詳情，包括索引 觸發器，存儲過程，外鍵，唯一鍵;（2）：複製一行

ctrl+l 刪除一行

ctrl+n 打開一個新的查詢窗口

ctrl+w 關閉一個查詢窗口

ctrl+tab 多窗口切換

伺服器連接軟體

XShell6是非常強大的SSH遠程終端客戶端，幫助我們連接遠程的Linux伺服器來進行操作。

粘貼：Shift+Insert

歷史 命令編輯ctrl + p 返回上一次輸入命令字元

alt + 返回上一次執行命令

其它

ctrl + s 鎖住終端

ctrl + q 解鎖終端

ctrl + l 清屏相當於命令clear

Tab鍵，快速補全命令

輕量級文本編輯器

Notepad++。這個很輕量，打開一下文本非常的方便。

常用快捷鍵

Ctrl+C 複製

Ctrl+X 剪切

Ctrl+V 粘貼

Ctrl+Z 撤消

Ctrl+Y 恢復

Ctrl+A 全選

Ctrl+F 鍵查找對話框啟動

Ctrl+H 查找/替換對話框

Ctrl+D 複製並粘貼當行

Ctrl+F2 切換書籤

F2 轉到下一個書籤Shift+F2 轉到上一個書籤

F11 全屏模式

綜上所述，軟體只是一個工具，我們需要找到自己喜歡使用的，然後熟練一些常用的快捷方式即可，而並不是在於數量多。

前端 ：

visual studio code

後端：

pycharm

IDEA

安卓：

android studio

瀏覽器：

谷歌

火狐

資料庫管理：

navicat

遠端鏈接：

fileZilla

xshell

electerm（mac上使用）

流程圖設計：

xmind

processOn

筆記：

為知筆記（付費一年60）

有道雲筆記

虛擬機（容器）

VMware Fusion（mac上）

docker

其他：

postman

jmeter

作為一個12年開發經驗的前端程序員，我來聊聊每天必用的幾個軟體。

寫代碼自然離不開 編輯器 。目前我主要使用的是微軟的 Visual Studio Code 。VS Code比較輕量，功能足夠應付日常開發所需，跨平台，而且完全免費 。因為之前長期使用Visual Studio在Windows平台上做開發，後來技術棧變化，經常需要在Linux和MacOS上做開發，VS Code就成了我順理成章的選擇。後來乾脆在Windows上也用VS Code了。目前整個團隊都已經被VS Code圈粉了。其它類似的如Sublime Text(需要付費)和Atom也有不少人使用。

因為是團隊開發， 源代碼管理工具 自然必不可少，而 git 是目前最熱門的一個。我們公司也不例外，幾年前從Perforce遷移到了 GitHub企業版 (和公眾版本UI完全相同)。平時的代碼審查也都是在GitHub企業版上完成的，不再使用單獨的代碼審查工具。有些不習慣使用命令行方式的同事使用 SourceTree 完成日常的代碼分支管理和提交，而我則比較熱衷於命令行方式。VS Code也提供了比較完善的git集成，但因為習慣的原因，除了直觀比較不同代碼版本的差異，我一般也不用VS Code執行git操作。

作為一個Web前端， 瀏覽器及前端調試工具 自然不可或缺， Google Chrome + Developer Tools (F12) 自然是首選。使用Developer Tools，可以對JavaScript進行調試，監控HTTP請求/響應，分析CSS計算問題和JS性能問題。 Chrome下還有很多功能強大的插件，個人比較常用的包括React Developer Tools、PostMan、Proxy SwitchOmega和AdBlock。當然，因為經常面對瀏覽器兼容性問題，Firefox、IE、Edge、Apple Safari以及各自的Developer Tools都是免不了要用的。

團隊目前使用Scrum模型，自然需要一個做 任務規劃和質量管理 的工具。我們採用了 JIRA , 每天的站會(daily standup meeting)都會對scrum看板(board)進行更新。

遇到技術問題，自然免不了要上網查找資料。 Google 的使用頻率非常高(需要科學上網)。大部分問題都能在 StackOveflow 上找到線索，但有時候也不得不跑到大名鼎鼎的同性交友網站 GitHub 上看源碼。 MDN （Mozilla Developer Network）對於前端開發也是不可或缺(此處鄙視一下w3cschool，上面到處是錯誤知識)。

其它如node.js/npm、docker等，因為和具體的技術棧相關，就不具體展開講了。

作為一個開發人員，你每天使用什麼軟體呢，歡迎說說看。

儘管我是後端出身的，不過也經常寫前端代碼，甚至還用C#/C++參與過一些客戶端開發，自認為也算是一個Web全棧工程師。隨著前端技術的不斷進步，現在的前端已經不再是寫寫頁面這麼簡單了，很多邏輯在前端就寫了，我建議每一個出色的開發者應該儘可能對前後端都能有不錯的掌握。

今天給大家推薦一些我認為前端和後端開發都需要經常用到的一些軟體，這裡面包括了查詢資料工具、原型工具、文本編輯器、版本管理工具。

原型工具

不管前端還是後端，尤其是前端程序員，在跟產品經歷溝通之後肯定會要查看原型的，方便自己在開發過程中使用，基本上大公司輸出的原型都比較規範，除非你遇到張小龍這種級別的大神，哥們兒直接盯著你做了。

目前主流的原型工具主要有Axure、MockPlus、墨刀等，其中Axure依然是應用最為廣泛的原型工具，大多數開發者也都應該用來看原型。

文本編輯器

不管是前端還是後端程序員，當然前端程序員就不說了，在WebStorm出現之前，沒有一款真正可以叫做IDE的前端開發工具，那麼基本上文本編輯器就是前端程序員最重要的編程工具。同樣後端程序員即使不需要寫前端代碼，文本編輯器也是必備的，您不需要每次看代碼都打開龐大的集成開發環境，像IDEA這種比較耗費資源的，平時查看代碼啥的完全沒有必要，何況你還經常要看一些前端代碼。

當然你比較習慣Linux/Unix下開發，Emacs/Vim可能是你用得比較多的文本編輯器，還有UltraEdit、Sublime Text、EditPlus、Atom這些老牌的文本編輯器，不過現在我覺得每個程序員都應該下載一個Visual Studio Code，支持的語言比較多，而且插件非常豐富，是微軟官方支持的開發者工具，開源免費而且顏值非常高。

查詢資料、版本管理工具

不用多說，每個程序員都要學會很好的使用Google、Stack Overflow兩個工具，可以說你日常開發當中可能遇到的問題，通過這兩個工具你全都能找到解決方案。

另外一個是Dash文檔管理工具，Dash是一個非常好的開發者幫助文檔工具，這個工具的好處是給所有的開發文檔做了一個整合，C/C++、Java、PHP、Python、Latex、Emacs Lisp、Haskell、JavaScript、Go語言等文檔都能夠在這個工具當中下載使用。

最後一個就是版本管理了，SVN和Git依然是目前使用最為廣泛的版本管理工具，不過就使用來說我還是推薦Git版本控制系統，可以說這個時代Git就是最好的版本管理工具了，尤其是開源時代、互聯網時代，Git已經成為了最重要的版本管理工具，不管是命令行管理還是使用Github等客戶端工具，堪稱完美。

入行十一年，現在主要做一些管理和架構方面的工作，也會做一些Coding，主要是一些新技術的研究和「踩坑」。

編輯器

首先是EditPlus，這是一個文本編輯器。最常用的兩個功能：正則表達式查詢和文件夾內所有文件內容搜索。

平時經常需要看一些系統日誌，甚至要從好幾天幾十個日誌文件中找到內容，這個軟體很好用。（原諒我們沒有上日誌平台）

然後就是IDE啦，我還是喜歡用Eclipse，有時候會用STS(Spring Tool Suite)，它也是一個被包裝過的Eclipse，方便做一些Spring框架的研究。

資料庫工具

一個是DbVisualizer，凡是具有JDBC資料庫介面的資料庫都可以管理，什麼資料庫都能連。

還有一個是SQLyog，這是一個快速而簡潔的圖形化管理MYSQL資料庫的工具，我只用裡面一個功能，就是數據的導入導出，效率非常高！

介面測試工具

大部分項目只對外提供介面服務，所以介面測試工具少不了，我一般使用SoapUI，WebService/Rest都可以進行測試。

其他

每天肯定會用的肯定不止上面幾個，還有版本控制工具svn和git，都會用到是因為單位svn現在開始往git遷移。

因為用的Scrum敏捷開發流程，所以JIRA、Sonar、Fisheye這些也是都會用到的。

Maven也不用說了，幾個項目基本都是基於Maven構建的。

必用的基本就是這些，只要電腦開著，這幾個軟體基本都是打開狀態。

storm基本概念

流式計算中，各個中間件產品對計算過程中的角色的抽象都不盡相同，實現方式也是千差萬別。本文針對storm中間件在進行流式計算中的幾個概念做個概括總結。

storm分散式計算結構稱為topology(拓撲)由stream,spout,bolt組成。

spout代表一個storm拓撲中的數據入口，連接到數據源，將數據轉化為一個個tuple，並發射tuple

stream是由無限制個tuple組成的序列。tuple為storm的核心數據結構，是包含了一個或多個鍵值對的列表。

bolt可以理解為計算程序中的運算或者函數，bolt的上游是輸入流，經過bolt實施運算後，可輸出一個或者多個輸出流。

bolt可以訂閱多個由spout或者其他bolt發射的數據流，用以構建複雜的數據流轉換網路。

上述即為storm最基本的組成元素，無論storm如何運行，都是以stream,spout,bolt做為最基本的運行單元。而這三者則是共同構成了一個storm拓撲topology。

首先需要明確一個概念，bolt,spout實例，都屬於任務，spout產生數據流，並發射，bolt消費數據流，進行計算，並進行落地或再發射，他們的存在以及運行過程都需要消耗資源，而storm集群是一個提供了資源的集群，我們要做的就是將spout/boult實例合理分配到storm集群提供的計算資源上，這樣就可以讓spout/bolt得以執行。

worker為JVM進程，一個topology會分配到一個或者多個worker上運行。

executor是worker內的java線程，是具體執行bolt/spout實例用的。下篇文章在介紹如何提供storm並行計算能力時會介紹worker以及executor的配置。

在storm中，worker是由supervisor進程創建，並進行監控的。storm集群遵循主從模式，主為nimbus，從為supervisor，storm集群由一個主節點（確實有單點問題），和多個工作節點（supervisor）組成，並使用zookeeper來協調集群中的狀態信息，比如任務分配情況，worker狀態，supervisor的拓撲度量。

通過配置可指定supervisor上可運行多少worker。一個worker代表一個slot。

nimbus守護進程的主要職責是管理，協調和監控在集群上運行的topology.包括topology的發布，任務指派，事件處理失敗時重新指派任務。

supervisor守護進程等待nimbus分配任務後生成並監控workers執行任務。supervosior和worker都是運行在不同的JVM進程上。

了解了集群模式下，storm大致的分布概念，下面結合筆者做的一個實例，了解一下如何發布計算資源到storm集群上。

筆者定義了一個spout,兩個bolt 運算過程如下:

其中streamMaking是一個不斷生成隨機數（5~30）的spout實例，Step1Bolt會過濾掉15以下的隨機數(過濾)，15以上的隨機數會乘以16(計算)，再將結果向後發射。Step2Bolt訂閱Step1Bolt發射的數據，接收數據後，列印輸出。流程結束。

筆者在定義spout/bolt實例時，配置了spout,bolt的並行執行數。其中

streamMaking:4   Step1Bolt:2  Step2Bolt 1

這樣，發布成功後，storm會根據我的配置，分配足夠的計算資源給予spout/bolt進行執行。

發布:

發布時，spout和bolt都是在一起以jar的形式發布到nimbus上的，分配後，內部定義的spout和bolt將以組件的形式被nimbus分配至worker進程中執行。

其中worker都是由supervisor創建的，創建出來的worker進程與supervisor是分開的不同進程。一個supervisor可創建多少worker可通過修改storm安裝目錄下的storm.yaml進行配置。

task是執行的最小單元。spout/bolt實例在定義中指定了，要起多少task，以及多少executor。也即一個topology發布之前已經定義了task總量，和需要多少資源來執行我的task總量。nimbus將根據已有的計算資源進行分配。

下圖中:  nimbus左邊代表著計算任務量，和所需計算配置

nimbus右邊代表著計算資源

nimbus將根據計算資源信息，合理的分發計算任務量。

發布成功後，通過storm自帶的UI功能，可以查看你發布的topology運行以及其中每個組件的分布執行情況。

監控圖像中清晰的顯示了，目前部署的topology，以及topology中每個組件所分配的計算資源所在host，以及每個組件發射了多少tuple，接收了多少tuple，以及有多少個executor在並行執行。

本文講述了storm內的基本元素以及基本概念，後續將講述storm的重點配置信息，以及如何提高並發計算能力，窗口概念等高級特性，後續會進行源碼分析，以及與其他實時計算中間件的比較。

webstorm怎麼打包war

這用的是nodewebkit，把源碼和package.json壓縮，

改名為package.nw，放在exe目錄下就可以運行，

也可以用copy -b合成一個文件，詳見nodewebkit的github頁面。

webstorm新建nodejs有什麼區別

開發環境的搭建，下面簡要說一下如何搭建一個開發環境並完成一個Demo實例

根據個人情況下載不同版本的安裝包，並安裝好Node.js環境。安裝步驟很簡單，不需要配置和修改什麼，一切都走默認路線即可。

在安裝完Node.js並沒有什麼異常提示之後，在cmd下敲入 node 命令，測試一下，看看node.js是否安裝成功。

安裝WebStorm軟體（注意要先下載），安裝成功之後，需要在其中配置一下Node.js：如下圖

1）點擊 [JS] 圖標，在彈出的配置框中默認檢索到本地安裝的Node.js，也可手動選擇到相應的文件目錄下。

2）Sources of Node.js Core Modules: 指的是配置源文件路徑，把Node.js源碼解壓後的路徑配置到此即可。

接下來，我們可以new project，創建一個HelloWorld Demo。在HelloWorld.js中輸出一個「HelloWorld」即可（console.log(“Hello World”)。

準備好js文件之後，需要再config 一下，才能出現我們在Eclipse中開發Java Project 時常見的綠色倒三角按鈕。

這樣配置之後，點擊綠色按鈕，就會調用node 命令行來解析當前project的主文件。

可以在IDE下側的Console tab中看到 輸出結果：

“C:\Program Files\nodejs\node.exe” HelloWorld.js

Hello World

到這裡，WebStorm+Node.js的開發環境就算搭建成功了。

發現公司里的大數據開發掙得很多，想轉行，

轉行這個辭彙，一直是職場上此起彼伏的一個熱門話題，相信很多朋友都想過或已經經歷過轉行。工作可謂是我們生存乃至生活的主要收入來源，誰都希望擁有一份高薪又穩定的工作，以此來改善自己的生活和實現自己的大大小小的夢想!但又擔心轉行後的工作待遇達不到自己的預期，顧慮重重……

不少想進入大數據分析行業的零基礎學員經常會有這樣一些疑問：大數據分析零基礎應該怎麼學習?自己適合學習大數據分析嗎?人生，就是在不斷地做選擇，然後在這個選擇過程中成長，讓自己從一棵小樹苗變成參天大樹。就是我們每個對大數據充滿幻想終於下定決心行動的學員的選擇，我們給了自己4個月的時間，想要在大數據分析這個領域汲取養分，讓自己壯大成長。

【明確方向】

通過國家的戰略規劃，看到BAT的大牛們都在大數據行業布局，新聞媒體追捧這大數據分析行業的項目和熱點，我想如果我還沒有能力獨立判斷的時候，跟著國家政策和互聯網大佬們的步調走，這應該是錯不了的。

【付諸行動】

明確了方向之後，我就整裝待發，剛開始是在網路上購買了很多的視頻教程，也買了很多書籍，但是最大的問題就在於，我不知道怎麼入手，沒關係，有信心有耐心肯定能戰勝困難，我堅持了一個月，學習的節奏越來越亂，陸陸續續出現了很多的問題，沒人指導，請教了幾個業內的朋友，但對方工作繁忙，問了幾次之後就不好意思了，自學陷入了死循環。

意識到我學習效率的低下，以及無人指導的問題想想未來的康庄大道，咬咬牙告訴自己，一定好好好學，不然就浪費太多時間最後還會是一無所獲。最後找到組織(AAA教育)一起學習進步!

大數據分析零基礎學習路線，有信心能堅持學習的話，那就當下開始行動吧!

一、大數據技術基礎

1、linux操作基礎

linux系統簡介與安裝

linux常用命令–文件操作

linux常用命令–用戶管理與許可權

linux常用命令–系統管理

linux常用命令–免密登陸配置與網路管理

linux上常用軟體安裝

linux本地yum源配置及yum軟體安裝

linux防火牆配置

linux高級文本處理命令cut、sed、awk

linux定時任務crontab

2、shell編程

shell編程–基本語法

shell編程–流程式控制制

shell編程–函數

shell編程–綜合案例–自動化部署腳本

3、內存資料庫redis

redis和nosql簡介

redis客戶端連接

redis的string類型數據結構操作及應用-對象緩存

redis的list類型數據結構操作及應用案例-任務調度隊列

redis的hash及set數據結構操作及應用案例-購物車

redis的sortedset數據結構操作及應用案例-排行榜

4、布式協調服務zookeeper

zookeeper簡介及應用場景

zookeeper集群安裝部署

zookeeper的數據節點與命令行操作

zookeeper的java客戶端基本操作及事件監聽

zookeeper核心機制及數據節點

zookeeper應用案例–分散式共享資源鎖

zookeeper應用案例–伺服器上下線動態感知

zookeeper的數據一致性原理及leader選舉機制

5、java高級特性增強

Java多線程基本知識

Java同步關鍵詞詳解

java並發包線程池及在開源軟體中的應用

Java並發包消息隊里及在開源軟體中的應用

Java JMS技術

Java動態代理反射

6、輕量級RPC框架開發

RPC原理學習

Nio原理學習

Netty常用API學習

輕量級RPC框架需求分析及原理分析

輕量級RPC框架開發

二、離線計算系統

1、hadoop快速入門

hadoop背景介紹

分散式系統概述

離線數據分析流程介紹

集群搭建

集群使用初步

2、HDFS增強

HDFS的概念和特性

HDFS的shell(命令行客戶端)操作

HDFS的工作機制

NAMENODE的工作機制

java的api操作

案例1：開發shell採集腳本

3、MAPREDUCE詳解

自定義hadoop的RPC框架

Mapreduce編程規範及示例編寫

Mapreduce程序運行模式及debug方法

mapreduce程序運行模式的內在機理

mapreduce運算框架的主體工作流程

自定義對象的序列化方法

MapReduce編程案例

4、MAPREDUCE增強

Mapreduce排序

自定義partitioner

Mapreduce的combiner

mapreduce工作機制詳解

5、MAPREDUCE實戰

maptask並行度機制-文件切片

maptask並行度設置

倒排索引

共同好友

6、federation介紹和hive使用

Hadoop的HA機制

HA集群的安裝部署

集群運維測試之Datanode動態上下線

集群運維測試之Namenode狀態切換管理

集群運維測試之數據塊的balance

HA下HDFS-API變化

hive簡介

hive架構

hive安裝部署

hvie初使用

7、hive增強和flume介紹

HQL-DDL基本語法

HQL-DML基本語法

HIVE的join

HIVE 參數配置

HIVE 自定義函數和Transform

HIVE 執行HQL的實例分析

HIVE最佳實踐注意點

HIVE優化策略

HIVE實戰案例

Flume介紹

Flume的安裝部署

案例：採集目錄到HDFS

案例：採集文件到HDFS

三、流式計算

1、Storm從入門到精通

Storm是什麼

Storm架構分析

Storm架構分析

Storm編程模型、Tuple源碼、並發度分析

Storm WordCount案例及常用Api分析

Storm集群部署實戰

Storm+Kafka+Redis業務指標計算

Storm源碼下載編譯

Strom集群啟動及源碼分析

Storm任務提交及源碼分析

Storm數據發送流程分析

Storm通信機制分析

Storm消息容錯機制及源碼分析

Storm多stream項目分析

編寫自己的流式任務執行框架

2、Storm上下游及架構集成

消息隊列是什麼

Kakfa核心組件

Kafka集群部署實戰及常用命令

Kafka配置文件梳理

Kakfa JavaApi學習

Kafka文件存儲機制分析

Redis基礎及單機環境部署

Redis數據結構及典型案例

Flume快速入門

Flume+Kafka+Storm+Redis整合

四、內存計算體系Spark

1、scala編程

scala編程介紹

scala相關軟體安裝

scala基礎語法

scala方法和函數

scala函數式編程特點

scala數組和集合

scala編程練習(單機版WordCount)

scala面向對象

scala模式匹配

actor編程介紹

option和偏函數

實戰：actor的並發WordCount

柯里化

隱式轉換

2、AKKA與RPC

Akka並發編程框架

實戰：RPC編程實戰

3、Spark快速入門

spark介紹

spark環境搭建

RDD簡介

RDD的轉換和動作

實戰：RDD綜合練習

RDD高級運算元

自定義Partitioner

實戰：網站訪問次數

廣播變數

實戰：根據IP計算歸屬地

自定義排序

利用JDBC RDD實現數據導入導出

WorldCount執行流程詳解

4、RDD詳解

RDD依賴關係

RDD緩存機制

RDD的Checkpoint檢查點機制

Spark任務執行過程分析

RDD的Stage劃分

5、Spark-Sql應用

Spark-SQL

Spark結合Hive

DataFrame

實戰：Spark-SQL和DataFrame案例

6、SparkStreaming應用實戰

Spark-Streaming簡介

Spark-Streaming編程

實戰：StageFulWordCount

Flume結合Spark Streaming

Kafka結合Spark Streaming

窗口函數

ELK技術棧介紹

ElasticSearch安裝和使用

Storm架構分析

Storm編程模型、Tuple源碼、並發度分析

Storm WordCount案例及常用Api分析

7、Spark核心源碼解析

Spark源碼編譯

Spark遠程debug

Spark任務提交行流程源碼分析

Spark通信流程源碼分析

SparkContext創建過程源碼分析

DriverActor和ClientActor通信過程源碼分析

Worker啟動Executor過程源碼分析

Executor向DriverActor註冊過程源碼分析

Executor向Driver註冊過程源碼分析

DAGScheduler和TaskScheduler源碼分析

Shuffle過程源碼分析

Task執行過程源碼分析

五、機器學習演算法

1、python及numpy庫

機器學習簡介

機器學習與python

python語言–快速入門

python語言–數據類型詳解

python語言–流程式控制制語句

python語言–函數使用

python語言–模塊和包

phthon語言–面向對象

python機器學習演算法庫–numpy

機器學習必備數學知識–概率論

2、常用演算法實現

knn分類演算法–演算法原理

knn分類演算法–代碼實現

knn分類演算法–手寫字識別案例

lineage回歸分類演算法–演算法原理

lineage回歸分類演算法–演算法實現及demo

樸素貝葉斯分類演算法–演算法原理

樸素貝葉斯分類演算法–演算法實現

樸素貝葉斯分類演算法–垃圾郵件識別應用案例

kmeans聚類演算法–演算法原理

kmeans聚類演算法–演算法實現

kmeans聚類演算法–地理位置聚類應用

決策樹分類演算法–演算法原理

決策樹分類演算法–演算法實現

時下的大數據分析時代與人工智慧熱潮，相信有許多對大數據分析師非常感興趣、躍躍欲試想著轉行的朋友，但面向整個社會，最不缺的其實就是人才，對於是否轉行大數據分析行列，對於能否勇敢一次跳出自己的舒適圈，不少人還是躊躇滿志啊!畢竟好多決定，一旦做出了就很難再回頭了。不過如果你已經轉行到大數據分析領域，就不要後悔，做到如何脫穎而出才是關鍵。因此本文給出一些建議，針對想要轉行大數據分析行列且是零基礎轉行的小夥伴們，希望對你們有所裨益，也希望你們將來學有所成，不後悔，更不灰心!

相關推薦：

《轉行大數據分析師後悔了》、《ui設計培訓四個月騙局大爆料》、《零基礎學大數據分析現實嗎》、《大數據分析十八般工具》

webstorm中ctrl加左鍵無法跳轉

近來在關注angular項目，源碼和最終的運行目錄是分開的，源碼是相對乾淨的，也沒有那些angular、package.json，這些自動會有工具幫忙在運行目錄中生成。發現一個有趣的現象，用webstorm（vscode可能也會遇到）打開源碼，用ctrl+左鍵點擊模板中的某個屬性（對應的ts文件中定義的），死活無法跳轉，折騰半天，現將折騰過得方案列舉如下：