Hive排序函数详解

一、rank排序函数

1、rank排序函数作用：rank函数可以按照设定的字段对数据进行排序，同时返回数据排序的排名。

2、rank排序函数用法示例：

SELECT name, score, rank() OVER (ORDER BY score DESC) as rank FROM student_table;

3、rank排序函数使用注意事项：

– 如果排序字段有相同值，排名也会相同。

– 如果需要分别给相同值的数据设置排名，可以使用dense_rank函数。

二、hive 分组排序函数

1、hive分组排序函数作用：hive支持分组后进行排序，便于用户对数据进行更详细的分析。

2、hive分组排序函数用法示例：

SELECT department, name, salary FROM employee_table ORDER BY department, salary DESC;

3、hive分组排序函数使用注意事项：

– 分组排序可以使用多个字段进行排序。

– ORDER BY 需要跟在GROUP BY之后。

三、hive排序函数的区别

1、hive排序函数的区别：hive中有多个排序函数，虽然作用基本相同，但是参数用法不同。

2、hive排序函数常用的有：sort_array、order by、sort、cluster by、distribute by。

3、 hive排序函数的使用场景：

– sort_array: 返回排序后的数组。

– order by：以特定字段排序数据。

– sort：全局排列数据。

– cluster by：以特定字段按块排序。

– distribute by：相邻键散列到相同的reducer中。

四、hive排序函数的用法

1、hive排序函数用法示例：

①sort_array函数：

SELECT 
name, 
sort_array(ARRAY(2,4,1,3,5)) AS sorted_array 
FROM student_table;

②order by函数：

SELECT id, name, age FROM student_table ORDER BY age DESC, name;

③sort函数：

SELECT * FROM student_table SORT BY age DESC, name;

④cluster by和distribute by函数：

SELECT name, score, email FROM student_personal_table 
CLUSTER BY score DESC;

SELECT name, score FROM student_personal_table 
DISTRIBUTE BY score DESC;

2、hive排序函数的使用注意事项：

– 使用order by时，可以参考示例中多个字段同时排序的写法。

– 在使用cluster by和distribute by前需要先理解hive中的reducer概念。

五、hive日期函数

1、hive日期函数作用：hive中有很多与日期相关的函数，可以实现日期计算、转换等功能。

2、hive日期函数常用的有：to_date、year、month、day、date_add、last_day等。

3、hive日期函数使用技巧：

– 使用日期函数前，需要转换日期格式。

– 按需选择不同的日期函数。

4、hive日期函数用法示例：

①to_date函数：

SELECT to_date('2019-10-01', 'yyyy-MM-dd') AS date FROM dual;

②date_add函数：

SELECT date_add('2021-08-10', 7) AS new_date FROM dual;

六、hive自定义函数

1、hive自定义函数作用：hive用户可以自定义函数，扩展hive内置函数的功能。

2、hive自定义函数用法示例：

步骤1.编写java代码

package com.example.hiveudf;

import org.apache.hadoop.hive.ql.exec.UDF;

public class Lower extends UDF {

    public String evaluate(final String s) {
        if (s == null) {
            return null;
        }
        
        return s.toLowerCase();
    }

}

步骤2.将java代码打包成jar包，并上传到hive。

步骤3.注册自定义函数：

ADD JAR /user/hive/udfs/lower.jar;
CREATE TEMPORARY FUNCTION lower AS 'com.example.hiveudf.Lower';

步骤4.调用自定义函数：

SELECT lower(name) AS name FROM student_table;

3、hive自定义函数使用注意事项：

– 自定义函数需要编写Java代码，并打包成可执行的jar包。

– 需要在hive中注册自定义函数。

– 自定义函数的名称需要与Java代码中定义的一致。

七、hive decode函数

1、hive decode函数作用：decode函数的作用类似于其他语言中的switch语句，可以进行多条件的条件判断并返回相应的结果。

2、hive decode函数用法示例：

SELECT 
id, 
decode(grade, 1, '一年级', 2, '二年级', 3, '三年级') AS current_grade 
FROM student_table;

3、hive decode函数使用注意事项：

– decode函数可以进行多条件判断并返回结果。

– decode函数的使用类似于其他语言中的switch语句。

八、hive的排序函数

1、hive的排序函数概述：hive中的排序函数非常多，包括常见的order by、sort、rank等，同时还包括分组排序函数。

2、常见的hive排序函数有：order by、sort、rank、dense_rank、row_number。

3、常见的hive分组排序函数有：sort_array、order by、sort、cluster by、distribute by。

4、常见的日期函数有：to_date、add_months、year、month、day等。

5、常见的自定义函数有：将字符串全部转化为大写的toUpperCase函数和将字符串全部转换为小写的toLowerCase函数。

九、hive函数大全

1、hive函数大全：hive中有很多常用函数，可以分为以下几类。

2、数学函数：abs、ceil、floor、exp、ln、rand等。

3、字符串函数：concat、substr、concat_ws、ltrim、rtrim、lower、upper等。

4、聚合函数：count、sum、avg、min、max等。

5、日期函数：to_date、add_months、year、month、day等。

6、窗口函数：rank、dense_rank、row_number等。

7、条件函数：decode、case when等。

8、数组函数：array、array_contains、size、sort_array等。

9、结构体函数：named_struct、struct等。

10、其他函数：binary、boolean、coalesce、ifnull等。

以上即为hive排序函数的详细介绍，希望对读者能够有所帮助。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/238866.html