使用uniq去除重复行，优化文件内容

小蓝 • 2024-12-12 12:57 • 编程

一、什么是uniq命令

Unix操作系统提供了一个命令uniq，它用于去除文本文件中的重复行。uniq命令会默认忽略前导空白符，只有在两个完全相同的行相邻时才会被去重。

简而言之，uniq命令能够通过去除相邻的重复行来优化文本文件内容。

二、uniq命令的语法和参数

uniq命令的基本语法如下：

    uniq [options] [input-file [output-file]]

其中，input-file表示输入的文件名，output-file表示输出的文件名。

uniq命令常用的参数有：

-c：在每行前显示该行重复出现的次数。
-d：仅显示重复行。
-i：忽略大小写。

三、使用uniq去除重复行的示例

假设我们有一个文本文件example.txt，内容如下：

    $ cat example.txt
    Apple
    Banana
    Orange
    Banana
    Orange
    Banana

我们可以使用以下命令去除重复行：

    $ uniq example.txt
    Apple
    Banana
    Orange
    Banana
    Orange

可以看到，uniq命令只保留了相邻的一行“Banana”，并未去除全部重复行。

如果我们想去除所有重复行，可以使用sort命令配合uniq命令使用：

    $ sort example.txt | uniq
    Apple
    Banana
    Orange

这个命令的含义是先将文件example.txt排序，然后对排序后的文本去除相邻的重复行，最终输出结果。

四、使用uniq优化文件内容的示例

假设我们有一个Nginx访问日志文件access.log，其中有大量重复的访问记录：

    $ cat access.log
    192.0.2.1 - - [23/May/2021:12:34:56 +0800] "GET /favicon.ico HTTP/1.1" 200 1406 "-" "Mozilla/5.0 ..."
    192.0.2.2 - - [23/May/2021:12:35:02 +0800] "GET /favicon.ico HTTP/1.1" 200 1406 "-" "Mozilla/5.0 ..."
    192.0.2.1 - - [23/May/2021:12:34:56 +0800] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 ..."
    192.0.2.2 - - [23/May/2021:12:35:02 +0800] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 ..."
    192.0.2.3 - - [23/May/2021:12:35:15 +0800] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 ..."
    192.0.2.4 - - [23/May/2021:12:35:21 +0800] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 ..."

我们可以使用以下命令优化该日志文件：

    $ sort access.log | uniq > access-optimized.log

这个命令的含义是将日志文件access.log排序，然后对排序后的文本去除相邻的重复行，最终将结果保存到access-optimized.log文件中。

五、结语

通过使用uniq命令，可以轻松去除文本文件中的重复行，从而优化文件内容。另外，我们也可以结合sort等其他命令一起使用，以满足更加复杂的处理需求。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/243661.html