使用uniq去除重複行，優化文件內容

一、什麼是uniq命令

Unix操作系統提供了一個命令uniq，它用於去除文本文件中的重複行。uniq命令會默認忽略前導空白符，只有在兩個完全相同的行相鄰時才會被去重。

簡而言之，uniq命令能夠通過去除相鄰的重複行來優化文本文件內容。

二、uniq命令的語法和參數

uniq命令的基本語法如下：

    uniq [options] [input-file [output-file]]

其中，input-file表示輸入的文件名，output-file表示輸出的文件名。

uniq命令常用的參數有：

• -c：在每行前顯示該行重複出現的次數。
• -d：僅顯示重複行。
• -i：忽略大小寫。

三、使用uniq去除重複行的示例

假設我們有一個文本文件example.txt，內容如下：

    $ cat example.txt
    Apple
    Banana
    Orange
    Banana
    Orange
    Banana

我們可以使用以下命令去除重複行：

    $ uniq example.txt
    Apple
    Banana
    Orange
    Banana
    Orange

可以看到，uniq命令只保留了相鄰的一行“Banana”，並未去除全部重複行。

如果我們想去除所有重複行，可以使用sort命令配合uniq命令使用：

    $ sort example.txt | uniq
    Apple
    Banana
    Orange

這個命令的含義是先將文件example.txt排序，然後對排序後的文本去除相鄰的重複行，最終輸出結果。

四、使用uniq優化文件內容的示例

假設我們有一個Nginx訪問日誌文件access.log，其中有大量重複的訪問記錄：

    $ cat access.log
    192.0.2.1 - - [23/May/2021:12:34:56 +0800] "GET /favicon.ico HTTP/1.1" 200 1406 "-" "Mozilla/5.0 ..."
    192.0.2.2 - - [23/May/2021:12:35:02 +0800] "GET /favicon.ico HTTP/1.1" 200 1406 "-" "Mozilla/5.0 ..."
    192.0.2.1 - - [23/May/2021:12:34:56 +0800] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 ..."
    192.0.2.2 - - [23/May/2021:12:35:02 +0800] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 ..."
    192.0.2.3 - - [23/May/2021:12:35:15 +0800] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 ..."
    192.0.2.4 - - [23/May/2021:12:35:21 +0800] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 ..."

我們可以使用以下命令優化該日誌文件：

    $ sort access.log | uniq > access-optimized.log

這個命令的含義是將日誌文件access.log排序，然後對排序後的文本去除相鄰的重複行，最終將結果保存到access-optimized.log文件中。

五、結語

通過使用uniq命令，可以輕鬆去除文本文件中的重複行，從而優化文件內容。另外，我們也可以結合sort等其他命令一起使用，以滿足更加複雜的處理需求。