Hive命令詳解

一、Hive概述

Apache Hive是基於Hadoop MapReduce的數據倉庫工具，可以將結構化數據文件映射為一張表，並提供了一種類SQL查詢語言——HiveQL，從而能夠針對這張表進行查詢，進行數據分析、數據挖掘等操作。

Hive運行在Hadoop集群上，可以利用Hadoop的分布式存儲與計算能力，支持PB級別的數據處理。

使用Hive的好處在於，對於掌握SQL語言的用戶來說，學習並使用Hive查詢數據所需要具備的技能是非常低的，因此Hive被廣泛用於企業級大數據分析平台上。

二、Hive 數據類型

在Hive中定義數據表時，需要指定每個字段對應的數據類型。Hive支持的數據類型包括：

• TINYINT/SMALLINT/INT/BIGINT：整型數據，分別對應1/2/4/8字節長度，支持有符號和無符號。
• FLOAT/DOUBLE：浮點型數據，分別對應4字節/8字節長度，支持科學計數法。
• DECIMAL(precision,scale)：高精度數值，支持指定精度和小數點位數。
• BOOLEAN：邏輯型數據，只能取True或False。
• STRING：字符串型數據，對應Java中的String類型，長度不受限制。
• TIMESTAMP：時間戳型數據，對應Java中的java.sql.Timestamp類型，精度到毫秒。
• DATE：日期型數據，對應Java中的java.sql.Date類型，格式為YYYY-MM-DD。
• ARRAY：數組型數據，存儲一組具有相同數據類型的值。
• MAP：映射型數據，存儲一組鍵值對，其中KeyType和ValueType可以是任意數據類型。
• STRUCT：結構型數據，類似於C語言中的結構體，定義了多個字段和對應的數據類型。

三、Hive 基本命令

1.創建表

CREATE TABLE語句用於創建一個新表，可以指定表名、表結構、存儲格式等屬性。

CREATE TABLE 表名 (
  列1 數據類型,
  列2 數據類型,
  ...
) 
[ROW FORMAT 行格式]
[STORED AS 存儲格式];

其中，ROW FORMAT用於指定行格式，STORED AS用於指定存儲格式，可選的存儲格式包括TEXTFILE、ORC、PARQUET等。

2.查詢數據

SELECT語句用於查詢數據，可以選擇需要查詢的列、過濾條件等屬性。

SELECT 列1,列2,... 
FROM 表名 
[WHERE 條件表達式] 
[GROUP BY 列1,列2,... 
  [HAVING 條件表達式]] 
[ORDER BY 列1 [ASC/DESC],列2 [ASC/DESC],...]
[LIMIT 數量];

其中，WHERE子句用於過濾數據，GROUP BY用於對結果進行分組操作，HAVING用於過濾分組後的數據，ORDER BY用於對結果進行排序操作，LIMIT用於限制返回結果的數量。

3.插入數據

INSERT INTO語句用於插入數據，可以將一張表的數據插入到另一張表中，也可以將查詢結果插入到一張表中。

INSERT INTO 表名 [PARTITION (分區列1=值1,分區列2=值2,...)] 
  select語句;

4.刪除數據

DELETE FROM語句用於刪除表中的數據，可以指定要刪除的行、過濾條件等屬性。

DELETE FROM 表名 
[WHERE 條件表達式];

5.更新數據

UPDATE語句用於更新表中的數據，可以指定要更新的行、Set子句修改的列和新值、過濾條件等屬性。

UPDATE 表名 
SET 列1=新值1,列2=新值2,... 
[WHERE 條件表達式];

四、Hive高級命令

1.分區與分桶

在Hive中，為了加速查詢，可以採用分區與分桶的方式來優化表的結構。

分區是將表按照指定列的值進行劃分，每個分區對應一個子目錄，數據存儲在子目錄中，可以實現針對某個分區的查詢加速。

分桶是將表按照指定列的Hash值進行劃分，每個分桶對應一個文件，數據存儲在文件中，可以實現針對某個分桶的查詢加速。

CREATE TABLE 表名 (
  列1 數據類型,
  列2 數據類型,
  ...
) 
[PARTITIONED BY (分區列1 數據類型,...)] 
[CLUSTERED BY (分桶列) INTO 桶數 BUCKETS]
[ROW FORMAT 行格式] 
[STORED AS 存儲格式];

-- 創建分區表
CREATE TABLE 表名 (
  列1 數據類型,
  列2 數據類型,
  ...
) 
PARTITIONED BY (分區列 數據類型) 
[ROW FORMAT 行格式] 
[STORED AS 存儲格式]
[LOCATION 'hdfs://路徑/'];

-- 添加分區
ALTER TABLE 表名 ADD [IF NOT EXISTS] PARTITION (分區列=值);

-- 刪除分區
ALTER TABLE 表名 DROP [IF EXISTS] PARTITION (分區列=值);

2.使用正則表達式

在Hive中，可以使用正則表達式來過濾數據，支持的正則表達式語法與Java相同。

SELECT 列1,列2,... 
FROM 表名 
WHERE 列1 RLIKE '正則表達式';

3.使用UDF

在Hive中，可以自定義函數UDF（User-Defined Function），擴展SQL語法。

-- 創建函數
CREATE FUNCTION 函數名 AS '函數類名' USING JAR '函數jar文件路徑';

-- 使用函數
SELECT 函數名(參數1,參數2,...);

總結

通過以上的介紹，我們可以看到Hive是一個非常實用、強大的數據倉庫工具，可以讓SQL語言熟悉的用戶在大數據平台上進行數據分析和挖掘，它靈活的表結構、支持的存儲格式、強大的查詢和分析功能、以及擴展性都為不同行業提供了非常好的數據處理選擇。

除此之外，我們還可以通過學習一些高級命令，如分區、分桶、正則表達式、自定義函數等，更好的應對各種複雜的數據處理問題。