flume1.9.0連接mysql,flume17

本文目錄一覽：

• 1、請問mysql跟mysql server有什麼區別？
• 2、我用flume收集文件內容到mysql中，出現這個錯誤，該怎麼解決
• 3、大數據培訓課程安排有哪些，深圳大數據培訓哪家好
• 4、如何用flume實時獲取mysql數據
• 5、hadoop作用

請問mysql跟mysql server有什麼區別？

你說的是誤人子弟，其實是同一樣東西，MySQL是客戶端，MySQL server是服務器端

我用flume收集文件內容到mysql中，出現這個錯誤，該怎麼解決

啟動的時候,不要只輸入mysql,應該: mysql -u root -p /* 按回車後輸入密碼;如果密碼為空,則直接再按回車。這樣才是登陸的root用戶 */

大數據培訓課程安排有哪些，深圳大數據培訓哪家好

下面是以道教育大數據培訓開發課程，可以參考

第一階段 WEB 開發基礎

HTML基礎

1、Html基本介紹

2、HTML語法規範

3、基本標籤介紹

4、HTML編輯器/文本文檔/WebStrom/elipse

5、HTML元素和屬性

6、基本的HTML元素

6.1 標題

6.2 段落

6.3 樣式和style屬性

6.3 鏈接 a

6.4 圖像 img

6.5 表格 table

6.6 列表 ul/ol/dl

7、 HTML注釋

8、表單介紹

9、Table標籤

10、DIV布局介紹

11、HTML列表詳解

HTML布局和Bootstrap

1、 HTML塊元素（block）和行內元素(inline)

2、使用div實現網頁布局

3、響應式WEB設計（Responsive Web Design）

4、使用bootstrap實現響應式布局

HTML表單元素

1、HTML表單 form

2、HTML表單元素

3、 HTML input的類型 type

4、 Html input的屬性

CSS基礎

1、CSS簡介及基本語法

2、在HTML文檔中使用CSS

3、CSS樣式

4、CSS選擇器

5、盒子模型

6、布局及定位

CSS高級/CSS3

1、尺寸和對齊

2、分類（clear/cursor/display/float/position/visibility）

3、導航欄

4、圖片庫

5、圖片透明

6、媒介類型 @media

7、CSS3

8、CSS3動畫效果

JavaScript基礎

1、JavaScript簡介

2、基本語法規則

3、在HTML文檔中使用JS

4、JS變量

5、JS數據類型

6、JS函數

7、JS運算符

8、流程控制

9、JS錯誤和調試

JavaScript對象和作用域

1、數字 Number

2、字符串String

3、日期 Date

4、數組

5、數學 Math

6、DOM對象和事件

7、BOM對象

8、Window對象

9、作用域和作用域鏈

10、JSON

Javascript庫

1、Jquery

2、Prototype

3、Ext Js

Jquery

1、Jquery基本語法

2、Jquery選擇器

3、Jquery事件

4、Jquery選擇器

5、Jquery效果和動畫

6、使用Jquery操作HTML和DOM

7、Jquery遍歷

8、Jquery封裝函數

9、Jquery案例

表單驗證和Jquery Validate

1、用Js對HTML表單進行驗證

2、Jquery Validata基本用法

3、默認校驗規則和提示信息

4、debug和ignore

5、更改錯誤信息顯示位置和樣式

6、全部校驗通過後的執行函數

7、修改驗證觸發方式

8、異步驗證

9、自定義校驗方法

10、radio 和 checkbox、select 的驗證

Java基礎

1、關於Java

2、Java運行機制

3、第一個Java程序，注釋

4、Javac,Java,Javadoc等命令

5、標識符與關鍵字

6、變量的聲明，初始化與應用

7、變量的作用域

8、變量重名

9、基本數據類型

10、類型轉換與類型提升

11、各種數據類型使用細節

12、轉義序列

13、各種運算符的使用

流程控制

1、選擇控制語句if-else

2、選擇控制語句switch-case

3、循環控制語句while

4、循環控制語句do-while

5、循環控制語句for與增強型for

6、break，continue，return

7、循環標籤

8、數組的聲明與初始化

9、數組內存空間分配

10、棧與堆內存

11、二維（多維）數組

12、Arrays類的相關方法

13、main方法命令行參數

面向對象

1、面向對象的基本思想

2、類與對象

3、成員變量與默認值

4、方法的聲明，調用

5、參數傳遞和內存圖

6、方法重載的概念

7、調用原則與重載的優勢

8、構造器聲明與默認構造器

9、構造器重載

10、this關鍵字的使用

11、this調用構造器原則

12、實例變量初始化方式

13、可變參數方法

訪問權限控制

1、包 package和庫

2、訪問權限修飾符private/protected/public/包訪問權限

3、類的訪問權限

4、抽象類和抽象方法

5、接口和實現

6、解耦

7、Java的多重繼承

8、通過繼承來擴展接口

錯誤和異常處理

1、概念：錯誤和異常

2、基本異常

3、捕獲異常 catch

4、創建自定義異常

5、捕獲所有異常

6、Java標準異常

7、使用finally進行清理

8、異常的限制

9、構造器

10、異常匹配

11、異常使用指南

數據庫基礎（MySQL）

數據庫基礎（MySQL）

JDBC

1、Jdbc基本概念

2、使用Jdbc連接數據庫

3、使用Jdbc進行crud操作

4、使用Jdbc進行多表操作

5、Jdbc驅動類型

6、Jdbc異常和批量處理

7、Jdbc儲存過程

Servlet和JSP

1、Servlet簡介

2、Request對象

3、Response對象

4、轉發和重定向

5、使用Servlet完成Crud

6、Session和Coolie簡介

7、ServletContext和Jsp

8、El和Jstl的使用

Ajax

1、什麼是Ajax

2、XMLHttpRequest對象（XHR）

3、XHR請求

4、XHR響應

5、readystate/onreadystatechange

6、Jquery Ajax

7、JSON

8、案例：對用戶名是否可用進行服務器端校驗

綜合案例

1、項目開發一般流程介紹

2、模塊化和分層

3、DButils

4、QueryRunner

5、ResultSetHandle

6、案例：用戶登錄/註冊，從前端到後端

第二階段 Java SE

訪問權限和繼承

1、包的聲明與使用

2、import與import static

3、訪問權限修飾符

4、類的封裝性

5、static（靜態成員變量）

6、final（修飾變量，方法）

7、靜態成員變量初始化方式

8、類的繼承與成員繼承

9、super的使用

10、調用父類構造器

11、方法的重寫與變量隱藏

12、繼承實現多態和類型轉換

13、instanceof

抽象類與接口

1、抽象類

2、抽象方法

3、繼承抽象類

4、抽象類與多態

5、接口的成員

6、靜態方法與默認方法

7、靜態成員類

8、實例成員類

9、局部類

10、匿名類

11、eclipse的使用與調試

12、內部類對外圍類的訪問關係

13、內部類的命名

Lambda表達式與常用類

1、函數式接口

2、Lambda表達式概念

3、Lambda表達式應用場合

4、使用案例

5、方法引用

6、枚舉類型（編譯器的處理）

7、包裝類型（自動拆箱與封箱）

8、String方法

9、常量池機制

10、String講解

11、StringBuilder講解

12、Math，Date使用

13、Calendars使用

異常處理與泛型

1、異常分類

2、try-catch-finally

3、try-with-resources

4、多重捕獲multi-catch

5、throw與throws

6、自定義異常和優勢

7、泛型背景與優勢

8、參數化類型與原生類型

9、類型推斷

10、參數化類型與數組的差異

11、類型通配符

12、自定義泛型類和類型擦出

13、泛型方法重載與重寫

集合

1 、常用數據結構

2 、Collection接口

3 、List與Set接口

4 、SortedSet與NavigableSet

5 、相關接口的實現類

6 、Comparable與Comparator

7、Queue接口

8 、Deque接口

9 、Map接口

10、NavigableMap

11、相關接口的實現類

12、流操作（聚合操作）

13、Collections類的使用

I/O流與反射

1 、File類的使用

2 、字節流

3 、字符流

4 、緩存流

5 、轉換流

6 、數據流

7、對象流

8、類加載，鏈接與初始化

9 、ClassLoader的使用

10、Class類的使用

11、通過反射調用構造器

12、安全管理器

網絡編程模型與多線程

1、進程與線程

2、創建線程的方式

3、線程的相關方法

4、線程同步

5、線程死鎖

6、線程協作操作

7、計算機網絡（IP與端口）

8、TCP協議與UDP協議

9、URL的相關方法

10、訪問網絡資源

11、TCP協議通訊

12、UDP協議通訊

13、廣播

SSM-Spring

1.Spring/Spring MVC

2.創建Spring MVC項目

3.Spring MVC執行流程和參數

SSM-Spring.IOC

1.Spring/Spring MVC

2.創建Spring MVC項目

3.Spring MVC執行流程和參數

SSM-Spring.AOP

1.Spring/Spring MVC

2.創建Spring MVC項目

3.Spring MVC執行流程和參數

SSM-Spring.Mybatis

1.MyBatis簡介

2.MyBatis配置文件

3.用MyBatis完成CRUD

4.ResultMap的使用

5.MyBatis關聯查詢

6.動態SQL

7.MyBatis緩衝

8.MyBatis-Generator

Socket編程

1.網絡通信和協議

2.關於Socket

3.Java Socket

4.Socket類型

5.Socket函數

6.WebSocket

7.WebSocket/Spring MVC/WebSocket Ajax

IO/異步

window對象

全局作用域

窗口關係及框架

窗口位置和大小

打開窗口

間歇調用和超時調用（靈活運用）

系統對話框

location對象

navigator對象

screen對象

history對象

NIO/AIO

1.網絡編程模型

2.BIO/NIO/AIO

3.同步阻塞

4.同步非阻塞

5.異步阻塞

6.異步非阻塞

7.NIO與AIO基本操作

8.高性能IO設計模式

第三階段 Java 主流框架

MyBatis

1.mybatis框架原理分析

2.mybatis框架入門程序編寫

3.mybatis和hibernate的本質區別和應用場景

4.mybatis開發dao方法

5.SqlMapConfig配置文件講解

6.輸入映射-pojo包裝類型的定義與實現

7.輸出映射-resultType、resultMap

8.動態sql

9.訂單商品數據模型分析

10.高級映射的使用

11.查詢緩存之一級緩存、二級緩存

12.mybatis與spring整合

13. mybatis逆向工程自動生成代碼

Spring/Spring MVC

1. springmvc架構介紹

2. springmvc入門程序

3. spring與mybatis整合

4. springmvc註解開發—商品修改功能分析

5. springmvc註解開發—RequestMapping註解

6. springmvc註解開發—Controller方法返回值

7. springmvc註解開發—springmvc參數綁定過程分析

8. springmvc註解開發—springmvc參數綁定實例講解

9. springmvc與struts2的區別

10. springmvc異常處理

11. springmvc上傳圖片

12. springmvc實現json交互

13. springmvc對RESTful支持

14. springmvc攔截器

第四階段 關係型數據庫/MySQL/NoSQL

SQL基礎

1.SQL及主流產品

2.MySQL的下載與安裝（sinux/windows）

3.MySql的基本配置/配置文件

4.基本的SQL操作 DDL

5.基本的SQL操作 DML

6.基本的SQL操作 DCL

7.MySQL客戶端工具

8.MySQL幫助文檔

MySQL數據類型和運算符

1 數值類型

2 日期時間類型

3 字符串類型

4 CHAR 和 VARCHAR 類型

5 BINARY 和 VARBINARY 類型

6 ENUM 類型

7 SET 類型

8 算術運算符

9 比較運算符

10 邏輯運算符

11 位運算

12 運算符的優先級

MySQL函數

1 字符串函數

2 數值函數

3 日期和時間函數

4 流程函數

5 其他常用函數

MySQL存儲引擎

1.MySQL支持的存儲引擎及其特性

2.MyISAM

3.InnoDB

4.選擇合適的存儲引擎

選擇合適的數據類型

1 CHAR 與 VARCHAR

2 TEXT 與 BLOB

3 浮點數與定點數

4 日期類型選擇

字符集

1 字符集概述

2 Unicode字符集

3 漢字及一些常見字符集

4 選擇合適的字符集

5 MySQL 支持的字符集

6 MySQL 字符集的設置 .

索引的設計和使用

1.什麼是索引

2.索引的類型

3.索引的數據結構 BTree B+Tree Hash

4.索引的存儲

5.MySQL索引

6.查看索引的使用情況

7.索引設計原則

視圖/存儲過程/函數/觸發器

1. 什麼是視圖

2. 視圖操作

3. 什麼是存儲過程

4. 存儲過程操作

5. 什麼是函數

6. 函數的相關操作

7. 觸發器

事務控制/鎖

1. 什麼是事務

2. 事務控制

3. 分布式事務

4. 鎖/表鎖/行鎖

5. InnoDB 行鎖爭用

6. InnoDB 的行鎖模式及加鎖方法7

7 InnoDB 行鎖實現方式7

8 間隙鎖（Next-Key 鎖）

9 恢復和複製的需要，對 InnoDB 鎖機制的影響

10 InnoDB 在不同隔離級別下的一致性讀及鎖的差異

11 表鎖

12 死鎖

SQL Mode和安全問題

1. 關於SQL Mode

2. MySQL中的SQL Mode

3. SQL Mode和遷移

4. SQL 注入

5. 開發過程中如何避免SQL注入

SQL優化

1.通過 show status 命令了解各種 SQL 的執行頻率

2. 定位執行效率較低的 SQL 語句

3. 通過 EXPLAIN 分析低效 SQL 的執行計劃

4. 確定問題並採取相應的優化措施

5. 索引問題

6.定期分析表和檢查表

7.定期優化表

8.常用 SQL 的優化

MySQL數據庫對象優化

1. 優化表的數據類型

2 散列化

3 逆規範化

4 使用中間表提高統計查詢速度

5. 影響MySQL性能的重要參數

6. 磁盤I/O對MySQL性能的影響

7. 使用連接池

8. 減少MySQL連接次數

9. MySQL負載均衡

MySQL集群

MySQL管理和維護

MemCache

Redis

在Java項目中使用MemCache和Redis

第五階段：操作系統/Linux、雲架構

Linux安裝與配置

1、安裝Linux至硬盤

2、獲取信息和搜索應用程序

3、進階：修復受損的Grub

4、關於超級用戶root

5、依賴發行版本的系統管理工具

6、關於硬件驅動程序

7、進階：配置Grub

系統管理與目錄管理

1、Shell基本命令

2、使用命令行補全和通配符

3、find命令、locate命令

4、查找特定程序：whereis

5、Linux文件系統的架構

6、移動、複製和刪除

7、文件和目錄的權限

8、文件類型與輸入輸出

9、vmware介紹與安裝使用

10、網絡管理、分區掛載

用戶與用戶組管理

1、軟件包管理

2、磁盤管理

3、高級硬盤管理RAID和LVM

4、進階：備份你的工作和系統

5、用戶與用戶組基礎

6、管理、查看、切換用戶

7、/etc/…文件

8、進程管理

9、linux VI編輯器，awk，cut，grep，sed，find，unique等

Shell編程

1、 SHELL變量

2、傳遞參數

3、數組與運算符

4、SHELL的各類命令

5、SHELL流程控制

6、SHELL函數

7、SHELL輸入/輸出重定向

8、SHELL文件包含

服務器配置

1、系統引導

2、管理守護進程

3、通過xinetd啟動SSH服務

4、配置inetd

5、Tomcat安裝與配置

6、MySql安裝與配置

7、部署項目到Linux

第六階段：Hadoop生態系統

Hadoop基礎

1、大數據概論

2、 Google與Hadoop模塊

3、Hadoop生態系統

4、Hadoop常用項目介紹

5、Hadoop環境安裝配置

6、Hadoop安裝模式

7、Hadoop配置文件

HDFS分布式文件系統

1、認識HDFS及其HDFS架構

2、Hadoop的RPC機制

3、HDFS的HA機制

4、HDFS的Federation機制

5、 Hadoop文件系統的訪問

6、JavaAPI接口與維護HDFS

7、HDFS權限管理

8、hadoop偽分布式

Hadoop文件I/O詳解

1、Hadoop文件的數據結構

2、 HDFS數據完整性

3、文件序列化

4、Hadoop的Writable類型

5、Hadoop支持的壓縮格式

6、Hadoop中編碼器和解碼器

7、 gzip、LZO和Snappy比較

8、HDFS使用shell+Java API

MapReduce工作原理

1、MapReduce函數式編程概念

2、 MapReduce框架結構

3、MapReduce運行原理

4、Shuffle階段和Sort階段

5、任務的執行與作業調度器

6、自定義Hadoop調度器

7、 異步編程模型

8、YARN架構及其工作流程

MapReduce編程

1、WordCount案例分析

2、輸入格式與輸出格式

3、壓縮格式與MapReduce優化

4、輔助類與Streaming接口

5、MapReduce二次排序

6、MapReduce中的Join算法

7、從MySQL讀寫數據

8、Hadoop系統調優

Hive數據倉庫工具

1、Hive工作原理、類型及特點

2、Hive架構及其文件格式

3、Hive操作及Hive複合類型

4、Hive的JOIN詳解

5、Hive優化策略

6、Hive內置操作符與函數

7、Hive用戶自定義函數接口

8、Hive的權限控制

Hive深入解讀

1 、安裝部署Sqoop

2、Sqoop數據遷移

3、Sqoop使用案例

4、深入了解數據庫導入

5、導出與事務

6、導出與SequenceFile

7、Azkaban執行工作流

Sqoop與Oozie

1 、安裝部署Sqoop

2、Sqoop數據遷移

3、Sqoop使用案例

4、深入了解數據庫導入

5、導出與事務

6、導出與SequenceFile

7、Azkaban執行工作流

Zookeeper詳解

1、Zookeeper簡介

2、Zookeeper的下載和部署

3、Zookeeper的配置與運行

4、Zookeeper的本地模式實例

5、Zookeeper的數據模型

6、Zookeeper命令行操作範例

7、storm在Zookeeper目錄結構

NoSQL、HBase

1、HBase的特點

2、HBase訪問接口

3、HBase存儲結構與格式

4、HBase設計

5、關鍵算法和流程

6、HBase安裝

7、HBase的SHELL操作

8、HBase集群搭建

第七階段：Spark生態系統

Spark

1.什麼是Spark

2.Spark大數據處理框架

3.Spark的特點與應用場景

4.Spark SQL原理和實踐

5.Spark Streaming原理和實踐

6.GraphX SparkR入門

7.Spark的監控和調優

Spark部署和運行

1.WordCount準備開發環境

2.MapReduce編程接口體系結構

3.MapReduce通信協議

4.導入Hadoop的JAR文件

5.MapReduce代碼的實現

6.打包、部署和運行

7.打包成JAR文件

Spark程序開發

1、啟動Spark Shell

2、加載text文件

3、RDD操作及其應用

4、RDD緩存

5、構建Eclipse開發環境

6、構建IntelliJ IDEA開發環境

7、創建SparkContext對象

8、編寫編譯並提交應用程序

Spark編程模型

1、RDD特徵與依賴

2、集合（數組）創建RDD

3、存儲創建RDD

4、RDD轉換 執行 控制操作

5、廣播變量

6、累加器

作業執行解析

1、Spark組件

2、RDD視圖與DAG圖

3、基於Standalone模式的Spark架構

4、基於YARN模式的Spark架構

5、作業事件流和調度分析

6、構建應用程序運行時環境

7、應用程序轉換成DAG

Spark SQL與DataFrame

1、Spark SQL架構特性

2、DataFrame和RDD的區別

3、創建操作DataFrame

4、RDD轉化為DataFrame

5、加載保存操作與Hive表

6、Parquet文件JSON數據集

7、分布式的SQL Engine

8、性能調優 數據類型

深入Spark Streaming

1、Spark Streaming工作原理

2、DStream編程模型

3、Input DStream

4、DStream轉換 狀態 輸出

5、優化運行時間及內存使用

6、文件輸入源

7、基於Receiver的輸入源

8、輸出操作

Spark MLlib與機器學習

1、機器學習分類級算法

2、Spark MLlib庫

3、MLlib數據類型

4、MLlib的算法庫與實例

5、ML庫主要概念

6、算法庫與實例

GraphX與SparkR

1、Spark GraphX架構

2、GraphX編程與常用圖算法

3、GraphX應用場景

4、SparkR的工作原理

5、R語言與其他語言的通信

6、SparkR的運行與應用

7、R的DataFrame操作方法

8、SparkR的DataFrame

Scala編程開發

1、Scala語法基礎

2、idea工具安裝

3、maven工具配置

4、條件結構、循環、高級for循環

5、數組、映射、元組

6、類、樣例類、對象、伴生對象

7、高階函數與函數式編程

Scala進階

1、 柯里化、閉包

2、模式匹配、偏函數

3、類型參數

4、協變與逆變

5、隱式轉換、隱式參數、隱式值

6、Actor機制

7、高級項目案例

Python編程

1、Python編程介紹

2、Python的基本語法

3、Python開發環境搭建

4、Pyhton開發Spark應用程序

第八階段：Storm生態系統

storm簡介與基本知識

1、storm的誕生誕生與成長

2、storm的優勢與應用

3、storm基本知識概念和配置

4、序列化與容錯機制

5、可靠性機制—保證消息處理

6、storm開發環境與生產環境

7、storm拓撲的並行度

8、storm命令行客戶端

Storm拓撲與組件詳解

1、流分組和拓撲運行

2、拓撲的常見模式

3、本地模式與stormsub的對比

4、 使用非jvm語言操作storm

5、hook、組件基本接口

6、基本抽象類

7、事務接口

8、組件之間的相互關係

spout詳解 與bolt詳解

1、spout獲取數據的方式

2、常用的spout

3、學習編寫spout類

4、bolt概述

5、可靠的與不可靠的bolt

6、複合流與複合anchoring

7、 使用其他語言定義bolt

8、學習編寫bolt類

storm安裝與集群搭建

1、storm集群安裝步驟與準備

2、本地模式storm配置命令

3、配置hosts文件、安裝jdk

4、zookeeper集群的搭建

5、部署節點

6、storm集群的搭建

7、zookeeper應用案例

8、Hadoop高可用集群搭建

Kafka

1、Kafka介紹和安裝

2、整合Flume

3、Kafka API

4、Kafka底層實現原理

5、Kafka的消息處理機制

6、數據傳輸的事務定義

7、Kafka的存儲策略

Flume

1、Flume介紹和安裝

2、Flume Source講解

3、Flume Channel講解

4、Flume Sink講解

5、flume部署種類、流配置

6、單一代理、多代理說明

7、flume selector相關配置

Redis

1、Redis介紹和安裝、配置

2、Redis數據類型

3、Redis鍵、字符串、哈希

4、Redis列表與集合

5、Redis事務和腳本

6、Redis數據備份與恢復

7、Redis的SHELL操作

如何用flume實時獲取mysql數據

寫一個SOCKET服務器，取出數據庫里所有的票，根據客戶端買票減去。並通知所有客戶端 客戶端也是SOCKET連上服務器，等服務器的更新信息 這個和聊天差不多原理。

hadoop作用

1.hadoop有三個主要的核心組件：HDFS（分布式文件存儲）、MAPREDUCE（分布式的計算）、YARN（資源調度），現在雲計算包括大數據和虛擬化進行支撐。

在HADOOP（hdfs、MAPREDUCE、yarn）大數據處理技術框架，擅長離線數據分析.

Zookeeper 分布式協調服務基礎組件，Hbase 分布式海量數據庫，離線分析和在線業務處理。

Hive sql 數據倉庫工具，使用方便，功能豐富，基於MR延遲大，可以方便對數據的分析，並且數據的處理可以自定義方法進行操作，簡單方便。

Sqoop數據導入導出工具，將數據從數據導入Hive，將Hive導入數據庫等操作。

Flume數據採集框架，可以從多種源讀取數據。

Azkaban對操作進行管理，比如定時腳本執行，有圖形化界面，上傳job簡單，只需要將腳本打成bao，可直接上傳。

2.hadoop的可以做離散日誌分析，一般流程是:

將web中的數據取過來【通過flume】，然後通過預處理【mapreduce,一般只是使用map就可以了】，就是將數據中沒有用處的數據去除掉，將數據轉換【比如說時間的格式，Agent的組合】，並將數據進行處理之後以固定格式輸出，由Hive處理，Hive是作用是將數據轉換出一個表，RTL就是寫SQL的一個過程，將數據進行分析，然後將數據報表統計，這個時候使用的是pig數據分析【hive一般作為庫，pig做分析，我沒有使用pig，因為感覺還沒有hive的HQL處理方便】，最後將含金量最大的數據放入到mysql中，然後將mysql中的數據變為可視圖化的工具。

推薦的使用：當我們瀏覽一各網頁的時候，將數據的值值傳遞給後台保存到log中，後台將數據收集起來，hadoop中的fiume可以將數據拿到放入到HDFS中，原始的數據進行預處理，然後使用HIVE將數據變為表，進行數據的分析，將有價值的數據放入到mysql，作為推薦使用，這個一般是商城，數據的來源也是可以通過多種方式的，比如說隱形圖片、js、日誌等都可以作為採集數據的來源。

3.hadoop中的HDFS有兩個重要的角色：NameNode、datanode，Yarn有兩個主要的主角：ResourceManager和nodeManager.

4.分布式：使用多個節點協同完成一項或者多項業務功能的系統叫做分布式系統，分布式一般使用多個節點組成，包括主節點和從節點，進行分析

5.mapreduce：是使用較少的代碼，完成對海量數據的處理，比如wordCount，統計單詞的個數。

實現思想：將單詞一個一個的遍歷，然後將單詞加1處理，但是這是集群，那麼就每個節點計算自己節點的數據，然後最後交給一個統計的程序完成就可以了，最後將單詞和結果輸出。