Hive內部表與外部表的區別

一、內部表與外部表的概念

在Hive中，內部表和外部表是兩個常見的概念。內部表是指Hive創建的具有管理表和數據的完全控制權的表，同時這些表也受到Hive生命周期管理。而外部表則是一種表，不受Hive管理表和數據的控制，這意味着外部表的數據可以由Hive之外的任何程序或實體(例如Hadoop MapReduce程序)創建和管理。

二、內部表與外部表的區別

內部表和外部表之間有以下主要區別：

1、表數據位置

內部表的數據存儲在Hive默認的文件系統中，而外部表數據存儲在指定的文件系統中，可以是HDFS或本地文件系統。

2、數據安全性

內部表的數據在刪除表時會被自動刪除，而外部表的數據在刪除表時不會被自動刪除。這意味着如果您需要保留數據，則必須手動備份數據，否則數據將永久丟失。

3、數據共享性

內部表的數據只能通過Hive進行管理和處理，而外部表的數據可以被多個應用程序共享和訪問，甚至可以跨Hadoop集群共享。

4、數據可控性

內部表的數據可以完全由Hive進行控制，您可以使用ALTER TABLE語句更改表結構和基礎數據，也可以使用Hive命令（如LOAD DATA或INSERT）添加或刪除數據。但對於外部表，您只能使用Hive命令（如LOAD DATA或INSERT）添加或刪除數據，而不能更改數據。使用ALTER TABLE語句修改表結構也不會更改外部表的數據。

三、如何創建內部表和外部表

1、創建內部表

  CREATE TABLE my_table (
    col1 INT,
    col2 STRING)
  STORED AS ORC;

該語句將在Hive默認文件系統中創建一個名為my_table的內部表，其中包含兩列（col1和col2）以及一個ORC格式的存儲。存儲格式可以是其他Hive支持的存儲格式，如PARQUET或AVRO，也可以是自定義格式。

2、創建外部表

  CREATE EXTERNAL TABLE my_external_table (
    col1 INT,
    col2 STRING)
  ROW FORMAT DELIMITED
  FIELDS TERMINATED BY ','
  LOCATION '/my/external/table';

該語句將在HDFS的/my/external/table路徑下創建名為my_external_table的外部表。與內部表不同的是，外部表使用LOCATION關鍵字指定數據的存儲位置。

四、內部表和外部表的應用場景

內部表適用於需要完全控制Hive管理數據和表結構的場景，例如，數據需要經常修改，而且不需要從其他系統或應用程序中讀取或修改該數據。

外部表適用於數據被其他應用程序或實體管理的場景，例如，需要將現有的數據集集成到Hadoop生態系統中，或者需要在其他應用程序中生成數據並在Hadoop上進行處理和分析。

五、總結

在本文中，我們對Hive內部表與外部表進行了詳細討論，並介紹了它們各自的優點和限制。理解內部表和外部表的區別及其適用場景有助於您在Hive中選擇正確的表類型，並且可以使您更好地控制和管理數據。