grep去重

一、grep去重复

grep是文本搜索工具，可以用来查找文本行中是否包含指定的字符串。 如果要查找的文本文件很大，可能会出现许多重复的行。 此时，可以使用grep去重功能来删除重复项。

下面是一个示例文件example.txt，它包含多个内容相同的行。

$ cat example.txt
This is a sample text file.
It contains some text.
This is a sample text file.
It contains some text.
This is a sample text file.
It contains some text.

使用以下命令可以删除example.txt中的重复行：

$ sort example.txt | uniq
This is a sample text file.
It contains some text.

sort命令将文件中的所有行排序，这样任何内容相同的行都会被排在一起，之后uniq命令会将重复行去除。

二、grep多重过滤

除了去重，grep还可以用于多重过滤。 当需要匹配两个条件或更多时，可以使用-e选项。

下面是一个示例文件example.txt，它包含多个包含“text”和“file”的行。

$ cat example.txt
This is a sample text file.
It contains some text.
This is a sample html file.
It contains some code.

使用以下命令可以返回包含“text”和“file”这两个关键字的行：

$ grep -e 'text' -e 'file' example.txt
This is a sample text file.
This is a sample html file.

grep -e选项允许我们同时指定多个匹配模式。

三、grep去重复项

与上述-sort | uniq命令不同，还可以使用awk命令实现去除文本文件中的重复行。

下面是一个示例文件example.txt，它包含多个内容相同的行。

$ cat example.txt
This is a sample text file.
It contains some text.
This is a sample text file.
It contains some text.
This is a sample text file.
It contains some text.

使用以下命令可以删除example.txt中的重复行：

$ awk '!a[$0]++' example.txt
This is a sample text file.
It contains some text.

构建一个数组a来存储文件中的每一行，如果之前没有遇到过这行，此行被打印出来并在数组a中添加标记，否则则不被打印出来。

四、linux grep 去重

除了awk命令外，还可以使用unix命令去除文件中的重复行。

下面是一个示例文件example.txt，它包含多个内容相同的行。

$ cat example.txt
This is a sample text file.
It contains some text.
This is a sample text file.
It contains some text.
This is a sample text file.
It contains some text.

使用以下命令可以删除example.txt中的重复行：

$ cat example.txt | sort | uniq
This is a sample text file.
It contains some text.

cat命令读取文件，sort命令按字母顺序对文件进行排序，uniq命令删除重复的行。

五、grep e

grep命令使用-e选项来指定多个匹配模式。 还可以使用正则表达式扩展选项来进一步扩展搜索功能。

下面是一个示例文件example.txt，它包含多个包含“text”和“file”的行。

$ cat example.txt
This is a sample text file.
It contains some text.
This is a sample html file.
It contains some code.

使用以下命令可以返回包含“text”或“file”这两个关键字的行：

$ grep -E 'text|file' example.txt
This is a sample text file.
It contains some text.
This is a sample html file.

grep -E选项启用正则表达式，并允许我们使用管道字符“|”来匹配多个模式。

六、grep查重

grep除了可以去重以外，还可以用来查找重复行。

下面是一个示例文件example.txt，它包含多个内容相同的行。

$ cat example.txt
This is a sample text file.
It contains some text.
This is a sample text file.
It contains some text.
This is a sample text file.
It contains some text.

使用以下命令可以查找example.txt中的重复行：

$ sort example.txt | uniq -d
This is a sample text file.
It contains some text.

sort命令将文件中的所有行排序，-d选项告诉uniq只打印重复的行。

七、grep结果去重

有时，我们需要在处理文本数据时，去除重复的结果行。

下面是一个示例文件example.txt，它包含多个包含ip地址的行。

$ cat example.txt
192.168.1.1
192.168.1.2
192.168.1.3
192.168.1.1

使用以下命令可以在保留每个IP地址的同时去除重复结果：

$ grep -oE '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' example.txt | sort | uniq
192.168.1.1
192.168.1.2
192.168.1.3

grep命令使用-o选项只打印匹配的字符串，-E选项启用正则表达式，以查找IP地址。 sort命令和uniq命令一起使用可以去除重复结果。

八、grep怎么用

grep命令的基本语法是：

$ grep  

可以使用以下选项进一步扩展搜索功能：

• -i：在搜索时忽略大小写。
• -w：搜索整个单词而不是匹配到的字符。
• -v：仅打印没有匹配的行。
• -c：仅打印匹配模式的行数。
• -n：每个匹配模式的行前面添加行号。

例如，要查找文件example.txt中包含“text”单词的行，并将它们的行号显示出来，可以使用以下命令：

$ grep -win 'text' example.txt

grep -w选项使搜索只匹配完整单词，-i选项忽略大小写，-n选项在每行前面加上行号。

九、grep命令去重

gre命令的另一个常见用途是去除文本文件中的重复行。

下面是一个示例文件example.txt，它包含多个内容相同的行。

$ cat example.txt
This is a sample text file.
It contains some text.
This is a sample text file.
It contains some text.
This is a sample text file.
It contains some text.

使用以下命令可以删除example.txt中的重复行：

$ grep -v '^$' example.txt | sort | uniq
This is a sample text file.
It contains some text.

grep -v选项使用^$模式匹配所有空行，并将它们删除。 sort命令将文件中的所有行排序，uniq命令删除重复的行。

如上所述，grep命令不仅可以搜索文本文件中的数据，还可用于去重及多重过滤。它是一种灵活的工具，对于那些需要大量处理文本数据的开发者而言，学习和使用该命令可将效率得以极大提高。