大數據平台架構詳解「主流大數據架構圖」

大數據：顧名思義就是很大量的數據。不過如果只說到這裡的話，未免太敷衍了。大數據除了量大之外，還有其他幾個特點：借用5V的理論，量大，高速，多樣性、低價值密度、還有真實性。因為這五個詞的英文都是以V開頭的，所以叫5V。

但是在普通人的眼中，大數據就被理解偏了，很多人都把大數據理解成了用戶的隱私。比如我今天上午剛在網上搜了買房子的信息，下午就有中介給我打電話，向我推薦二手房。類似於這樣的事情比比皆是，我們幾乎每一個人，每天都被騷擾電話所困擾著。這些騷擾電話除了廣撒網之外，有很多的騷擾電話竟然非常精確地能夠匹配到你的需求。當你需要錢時，就有人給你打電話，向你推薦貸款；當你想買房子時，就有房產中介給你打電話，推薦二手房；當你想買車時，就有4S店的人給你打電話……總之，無論你想做什麼，總會有一個陌生人，突然給你打電話，向你推銷你剛剛想的事兒。

隱私數據滿天飛

這事兒確實很可怕，但是這個事兒不是我今天要講的。我今天要講的是大數據的技術。以上的是屬於個人隱私泄露，其中有一部分的確是受益於大數據技術的發展，但更多的更主要的原因，還是因為每個人和全社會對個人隱私數據的保護意識不夠強。不過好在的是我國的相關立法部門正在重點關照這個領域，我們每個人的隱私數據將來也會得到越來越好的保護。

扯遠了，說回大數據技術。大數據技術是因為近些年產業互聯網和工業互聯網產生了大量的數據，為了處理這些數據，準確的說是為了更方便快捷並且便宜的處理這些數據，大數據技術才應運而生的。工業互聯網離我們太遠，我們暫時先不說。先說說產業互聯網，更狹義的就是指我們的移動互聯網。由於4G的到來，手機越來越成為人們不可或缺的工具，人們每天花在手機上的時間是越來越多。隨之而來的自然就是人們留存在手機上的數據也會越來越多。購物的數據，吃飯的數據，騎車的數據，打車的數據，刷短視頻的數據，看新聞的數據，聊天兒的數據，工作的數據，學習的數據，看電影的數據，看綜藝的數據，打遊戲的數據……大家可以自行查看一下自己的手機上到底裝了多少個app。這麼多app，組成了每個人的基礎畫像。為了處理這些海量的數據，為了能夠讓這些海量的數據跟我們說話，告訴我們有價值的信息，告訴我們每一個人喜愛偏好，聰明的技術人員發明了大數據技術。

因為IT世界裡的開源概念，大數據相關的技術非常多。而其中最有名的便是Hadoop家族，同時也是全世界最流行的大數據框架。關於Hadoop的族譜見下圖：

Hadoop家族

以上便是大數據技術的通俗解釋。說白了，這玩意兒就是一門技術，處理海量數據的技術。為什麼要處理海量數據？因為數據只有處理了才是有價值的，不處理就是一堆沒用的、空占存儲資源的垃圾。這種處理包含了數據採集、數據存儲、數據清洗、數據集成、數據挖掘、數據探索、數據開發等等步驟，最終形成了我們想要的數據，對我們做出決策提供依據，這些決策往大了說可以是未來的商業策略，往小了說可以是手機端給用戶推薦什麼視頻什麼商品。幾乎所有的互聯網巨頭都是大數據技術運用的高手，而我們平時所見到的大數據開源框架幾乎也都是那些互聯網巨頭主導並開源的。這門技術，也只有互聯網這樣的土壤才能孕育，因為他們需要；傳統企業甚至於傳統IT企業都沒有辦法做這樣的研發，因為他們不需要。這就又應了句名言：技術的發展永遠都是為需求服務的。

再從具體的技術細節上來說，大數據不是一個系統，也不是一個軟體，而是一種技術，一種對數據的處理方法，或者是一個平台，這種平台裡面包括了很多的組件，就比如Hadoop平台那樣。這種平台可以是像上圖那樣組合，也可以根據實際情況自行組合，一切以實際需要為準。

數據中台架構圖

大數據技術是一門跨域技術，大數據平台是一種集成平台。你在市場上不可能買得到一款大數據軟體，但是你可以找到能提供大數據服務的公司，他們可以做諮詢，做實施，做服務，而在實施和服務的過程中，你就會發現，你所採購的不是一款軟體，甚至不是幾款軟體，而是一堆軟體的組合，同時和一系列的實施方法論，還有就是前人的經驗。

大數據技術就像積木，靈活，多變，但唯一不變的是，它是為每一個客戶、每一個使用者的需求來服務的。

未來，數據是每一家公司的核心資產，而大數據技術也會隨著大家對數據資產的重要性的認知提升而愈發重要。