一、uniq命令简介
uniq命令是一个用于去除输入文件中重复行的命令。它能够去除相邻的重复行，也能去除整个文件中的重复行。uniq命令的基本语法为：
uniq [options] [input_file [output_file]]
其中，options为可选参数，input_file为输入文件名，output_file为输出文件名。如果不指定任何参数，则从标准输入读入数据，并输出到标准输出。
二、常用参数
uniq命令的常用参数如下：
- -c：显示重复行的出现次数，同时会将输出结果进行排序。
- -d：只显示重复行。
- -u：只显示不重复的行。
- -f：指定从第几个字段开始进行去重（默认是第一个字段）。
- -s：指定从第几个字符开始进行去重（默认是第一个字符）。
三、使用例子
例子1：从文件中去重
假设有一个名为numbers.txt的文件，包含以下内容：
1111 2222 3333 1111 4444
使用命令uniq numbers.txt可以得到以下结果：
1111 2222 3333 1111 4444
可以看到，相邻的重复行并没有被去掉。如果想去除相邻的重复行，可以使用uniq命令的-s参数，该参数指定从第几个字符开始比较：
uniq -s 0 numbers.txt
输出结果如下：
1111 2222 3333 1111 4444
同样的结果。现在，我们使用uniq命令的-c参数来计算每行重复出现的次数：
uniq -c numbers.txt
输出结果如下：
2 1111
1 2222
1 3333
1 1111
1 4444
可以看到，输出结果中每行前面都有一个数字代表该行出现的次数。通过这个命令，我们可以很方便地找到重复出现次数超过一定阈值的行。
例子2：从标准输入中读取数据
uniq命令不仅可以从文件中读取数据，还可以从标准输入中读取数据。例如，我们可以使用cat命令将多个文件的内容输出到标准输出，并使用管道将输出结果传给uniq命令：
cat file1 file2 file3 | uniq
这条命令将对cat命令输出的结果进行去重。
例子3：去除重复的IP地址
在日常工作中，经常需要从日志文件中提取出IP地址并进行去重，可以使用下面的命令：
grep -oE "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" access.log | uniq -c | sort -rn
该命令的含义是：首先使用grep命令从access.log文件中提取出IP地址，并使用uniq命令进行去重并计算重复出现次数，最后使用sort命令进行排序。
四、总结
uniq命令是一个非常实用的工具，能够方便地对输入文件中的重复行进行去重。通过本文的介绍，相信大家已经掌握了该命令的基本用法和常用参数。
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/270853.html
微信扫一扫 
支付宝扫一扫 