Hive Show Partitions

一、show partitions概述

show partitions 是hive的一個命令，它可以查看一個表的所有分區信息，也可以指定篩選條件查看特定的分區。其實現原理是通過讀取hive metastore部分的metadata信息，獲取分區信息返回結果。

show partitions 命令語法如下所示：

SHOW PARTITIONS table_name [partition_spec];

其中table_name是要查看分區信息的表名，partition_spec是可選的分區篩選條件，用於篩選特定的分區。

例如，下面這個示例展示了查看錶”example_table”所有分區信息的命令：

SHOW PARTITIONS example_table;

它將會返回如下內容：

partition_column=2021-01-01
partition_column=2021-01-02
partition_column=2021-01-03
...
partition_column=2021-12-30
partition_column=2021-12-31

這裡的partition_column是表中某一列的名稱，其值就是分區名。這個例子展示了所有分區名，每行一個分區名。

二、使用show partitions查看分區信息

1. 顯示特定分區信息

Hive支持按照分區鍵值進行篩選，實現分區信息的精確匹配。例如，下面這個示例展示了查看錶”example_table”分區名為”partition_column=2021-01-02″的分區信息：

SHOW PARTITIONS example_table PARTITION (partition_column='2021-01-02');

它將會返回這個分區中所有的文件路徑。

2. 查看錶空間中的所有分區

Hive中的表會被拆分為一系列的分區，通過表的分區鍵進行區分。show partitions可以列舉出一個表空間中所有的分區。下面這個示例展示了查看一個數據庫中表”example_table”的所有分區信息的命令：

SHOW PARTITIONS example_table;

它將會返回所有分區名，每行一個分區名。

三、使用JDBC Driver獲取分區信息

除了可以通過hive shell命令行查詢show partitions獲得表分區信息，還可以使用JDBC連接Hive進行管理。下面這個示例展示了如何通過JDBC連接獲取example_table表的所有分區名：

import java.sql.*;
import org.apache.hadoop.hive.jdbc.*;

public class HiveJdbcClient {

    public static void main(String[] args) throws SQLException, ClassNotFoundException {

        String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
        Class.forName(driverName);

        String url = "jdbc:hive://localhost:10000/default";
        Connection con = DriverManager.getConnection(url, "", "");

        Statement stmt = con.createStatement();

        String SQL = "SHOW PARTITIONS example_table";
        ResultSet res = stmt.executeQuery(SQL);

        while (res.next()) {
            String partition = res.getString(1);
            System.out.println(partition);
        }

        res.close();
        stmt.close();
        con.close();
    }
}

通過以上代碼就可以連接HiveServer2，並執行SHOW PARTITIONS example_table語句查看所有的分區。

四、總結

show partitions命令通過讀取hive metastore中的metadata信息，實現了查看錶分區信息的功能。通過指定分區篩選條件，可以精確定位到具體某個分區中的信息。此外，如果需要通過代碼進行Hive表分區管理，則可以使用JDBC連接方式。