一、Hadoop概述

1.1Hadoop是什麼

Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構。
主要解決，海量數據的存儲和海量數據的分析計算問題。
廣義上來說，Hadoop通常是指一個更廣泛的概念——Hadoop生態圈。
Google是Hadoop的思想之源（Google在大數據方面的三篇論文，GFS —>HDFS， Map-Reduce —>MR， BigTable —>HBase）
Hadoop 三大發行版本：Apache、Cloudera、Hortonworks。

1.2 Hadoop的優勢

高可靠性：Hadoop底層維護多個數據副本，所以即使Hadoop某個計算元素或存儲出現故障，也不會導致數據的丟失。
高擴展性：在集群間分配任務數據，可方便的擴展數以千計的節點。
高效性：在MapReduce的思想下，Hadoop是並行工作的，以加快任務處理速度。
高容錯性：能夠自動將失敗的任務重新分配。

1.3 Hadoop組成（面試重點）

在 Hadoop1.x 時代：Hadoop 由HDFS、MapReduce組成，MapReduce同時處理業務邏輯運算和資源的調度，耦合性較大
在Hadoop2.x時代，增加了Yarn，Yarn只負責資源的調度， MapReduce 只負責運算

Hadoop3.x在組成上沒有變化。

1.3.1 HDFS 架構概述

Hadoop Distributed File System，簡稱 HDFS，是一個分佈式文件系統。

NameNode（nn）：存儲文件的元數據，如文件名，文件目錄結構，文件屬性（生成時間、副本數、文件權限），以及每個文件的塊列表和塊所在的DataNode等。
DataNode(dn)：在本地文件系統存儲文件塊數據，以及塊數據的校驗和。
Secondary NameNode(2nn)：每隔一段時間對NameNode元數據備份。

1.3.2 YARN 架構概述

Yet Another Resource Negotiator 簡稱 YARN ，另一種資源協調者，是 Hadoop 的資源管理器。

YARN架構概述

ResourceManager（RM）：整個集群資源（內存、CPU等）的老大
NodeManager（N M）：單個節點服務器資源老大
ApplicationMaster（AM）：單個任務運行的老大
Container：容器，相當一台獨立的服務器，裏面封裝了任務運行所需要的資源，如內存、CPU、磁盤、網絡等。

說明：客戶端可以有多個，集群上可以運行多個ApplicationMaster，每個NodeManager上可以有多個Container

1.3.3 MapReduce 架構概述

MapReduce 將計算過程分為兩個階段：Map 和 Reduce ，Map 階段並行處理輸入數據，Reduce 階段對 Map 結果進行匯總

MapReduce架構概述

待分析數據10T => map階段 => (集群) => reduce階段 ==> 匯總處理數據

HDFS、YARN、MapReduce 三者關係

1.4 大數據技術生態體系

Sqoop：Sqoop 是一款開源的工具，主要用於在 Hadoop、Hive 與傳統的數據庫（MySQL）間進行數據的傳遞，可以將一個關係型數據庫（例如：MySQL，Oracle 等）中的數據導進到 Hadoop 的 HDFS 中，也可以將 HDFS 的數據導進到關係型數據庫中。
Flume：Flume 是一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統， Flume 支持在日誌系統中定製各類數據發送方，用於收集數據；
Kafka：Kafka 是一種高吞吐量的分佈式發佈訂閱消息系統；
Spark：Spark 是當前最流行的開源大數據內存計算框架。可以基於 Hadoop 上存儲的大數據進行計算。
Flink：Flink 是當前最流行的開源大數據內存計算框架。用於實時計算的場景較多。
Oozie：Oozie 是一個管理 Hadoop 作業（job）的工作流程調度管理系統。
Hbase：HBase 是一個分佈式的、面向列的開源數據庫。HBase 不同於一般的關係數據庫，它是一個適合於非結構化數據存儲的數據庫。
Hive：Hive 是基於 Hadoop 的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，並提供簡單的 SQL 查詢功能，可以將 SQL 語句轉換為 MapReduce 任務進行運行。其優點是學習成本低，可以通過類 SQL 語句快速實現簡單的 MapReduce 統計，不必開發專門的 MapReduce 應用，十分適合數據倉庫的統計分析。
ZooKeeper：它是一個針對大型分佈式系統的可靠協調系統，提供的功能包括：配置維護、名字服務、分佈式同步、組服務等