collect_set函數詳解

一、概述

collect_set函數是HiveQL中的一個聚合函數，它可以將輸入的列或表達式的不同值放到一個集合中並返回，相同的值只會出現一次。具體語法如下：

 collect_set(expression)

其中expression可以是列、表達式或者使用UDF函數。如果expression為null，那麼結果集合也將包含null。

二、用法

collect_set函數的主要用途是對某列或某個表達式的離散取值進行統計分析。在一些場景下，我們需要將一個表的某一列進行去重並聚合，collect_set函數可以極大地提高數據統計分析的效率。

下面舉例說明，假設我們有一張表，記錄了一段時間內用戶使用的各種瀏覽器及其訪問次數：

操作系統    瀏覽器     訪問次數
Win        IE          20
Win        Firefox     15
Win        Chrome      10
Mac        Safari      20
Mac        Firefox     12
Mac        Chrome      8

我們希望對瀏覽器這一列進行去重並統計每個操作系統下使用的瀏覽器種類個數以及對應的訪問總次數，可以用如下SQL語句：

SELECT 操作系統, count(DISTINCT 瀏覽器), SUM(訪問次數)
FROM 表名
GROUP BY 操作系統

這樣就可以得到每個操作系統下使用的不同瀏覽器種類個數以及對應的訪問總次數。

但是，在一些場景下，需要將每個操作系統下使用的瀏覽器種類及其對應的訪問次數都列出來，可以用如下SQL語句：

SELECT 操作系統, collect_set(瀏覽器), SUM(訪問次數)
FROM 表名
GROUP BY 操作系統

這樣可以得到每個操作系統下的瀏覽器集合，以及對應的訪問總次數。需要注意的是，collect_set返回的是一個集合，不保證其元素的順序。

三、注意事項

collect_set函數可以用於單表查詢、多表連接查詢、子查詢等HiveQL中的各種場景，但是需要注意以下幾點：

1. 當所選欄位中存在null值時, collect_set不會去除它們, 返回結果集合中會包含null值。
2. 由於返回的結果集合無序，因此不應該使用collect_set來聚合需要按照一定順序進行操作的場景，比如求TOP N這樣的需求。

四、完整示例

下面是一個完整的示例，演示如何使用collect_set函數在HiveQL中對離散取值進行統計分析：

CREATE TABLE user_browsers (
  os STRING,
  browser STRING,
  visits INT
);

INSERT INTO user_browsers (os, browser, visits) VALUES
  ('Win', 'IE', 20),
  ('Win', 'Firefox', 15),
  ('Win', 'Chrome', 10),
  ('Mac', 'Safari', 20),
  ('Mac', 'Firefox', 12),
  ('Mac', 'Chrome', 8);
  
-- 求每個操作系統下使用的不同瀏覽器種類個數以及對應的訪問總次數
SELECT os, COUNT(DISTINCT browser), SUM(visits) 
FROM user_browsers 
GROUP BY os;

-- 求每個操作系統下的瀏覽器集合，以及對應的訪問總次數
SELECT os, collect_set(browser), SUM(visits) 
FROM user_browsers 
GROUP BY os;