Linux三剑客工具之grep和egrep命令
Linux三剑客工具之grep和egrep命令:https://www.xmmup.com/linux-grepheegrepmingling.html
Linux三剑客工具之awk命令:https://www.xmmup.com/linux-awk-mingling.html
Linux三剑客工具之sed命令:https://www.xmmup.com/linuxsanjiankegongjuzhisedmingling.html
Linux cut命令:https://www.xmmup.com/linux-cutmingling.html
Linux grep命令
Linux grep 命令用于查找文件里符合条件的字符串。在Linux和Unix操作系统中,grep是一种在文本文件中搜索字符串的命令行工具。
grep 指令用于查找内容包含指定的范本样式的文件,如果发现某文件的内容符合所指定的范本样式,预设 grep 指令会把含有范本样式的那一列显示出来。若不指定任何文件名称,或是所给予的文件名为 -,则 grep 指令会从标准输入设备读取数据。
语法
1 | grep [-abcEFGhHilLnqrsvVwxy][-A<显示行数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...] |
参数:
- -a 或 --text : 不要忽略二进制的数据。
- -A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外,并显示该行之后的内容。
- -b 或 --byte-offset : 在显示符合样式的那一行之前,标示出该行第一个字符的编号。
- -B<显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外,并显示该行之前的内容。
- -c 或 --count : 计算符合样式的列数。
- -C<显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外,并显示该行之前后的内容。
- -d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时,必须使用这项参数,否则grep指令将回报信息并停止动作。
- -e<范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。
- -E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
- -f<规则文件> 或 --file=<规则文件> : 指定规则文件,其内容含有一个或多个规则样式,让grep查找符合规则条件的文件内容,格式为每行一个规则样式。
- -F 或 --fixed-regexp : 将样式视为固定字符串的列表。
- -G 或 --basic-regexp : 将样式视为普通的表示法来使用。
- -h 或 --no-filename : 在显示符合样式的那一行之前,不标示该行所属的文件名称。
- -H 或 --with-filename : 在显示符合样式的那一行之前,表示该行所属的文件名称。
- -i 或 --ignore-case : 忽略字符大小写的差别。
- -l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
- -L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
- -n 或 --line-number : 在显示符合样式的那一行之前,标示出该行的列数编号。
- -o 或 --only-matching : 只显示匹配PATTERN 部分。
- -q 或 --quiet或--silent : 不显示任何信息。
- -r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
- -s 或 --no-messages : 不显示错误信息。
- -v 或 --invert-match : 显示不包含匹配文本的所有行。
- -V 或 --version : 显示版本信息。
- -w 或 --word-regexp : 只显示全字符合的列。
- -x --line-regexp : 只显示全列符合的列。
- -y : 此参数的效果和指定"-i"参数相同。
实例
1、在当前目录中,查找后缀有 file 字样的文件中包含 test 字符串的文件,并打印出该字符串的行。此时,可以使用如下命令:
1 | grep test *file |
结果如下所示:
1 2 3 4 | $ grep test test* #查找前缀有“test”的文件包含“test”字符串的文件 testfile1:This a Linux testfile! #列出testfile1 文件中包含test字符的行 testfile_2:This is a linux testfile! #列出testfile_2 文件中包含test字符的行 testfile_2:Linux test #列出testfile_2 文件中包含test字符的行 |
2、以递归的方式查找符合条件的文件。例如,查找指定目录/etc/acpi 及其子目录(如果存在子目录的话)下所有文件中包含字符串"update"的文件,并打印出该字符串所在行的内容,使用的命令为:
1 | grep -r update /etc/acpi |
输出结果如下:
1 2 3 4 5 6 7 | $ grep -r update /etc/acpi #以递归的方式查找“etc/acpi” #下包含“update”的文件 /etc/acpi/ac.d/85-anacron.sh:# (Things like the slocate updatedb cause a lot of IO.) Rather than /etc/acpi/resume.d/85-anacron.sh:# (Things like the slocate updatedb cause a lot of IO.) Rather than /etc/acpi/events/thinkpad-cmos:action=/usr/sbin/thinkpad-keys--update |
3、反向查找。前面各个例子是查找并打印出符合条件的行,通过"-v"参数可以打印出不符合条件行的内容。
查找文件名中包含 test 的文件中不包含test 的行,此时,使用的命令为:
1 | grep -v test *test* |
结果如下所示:
1 2 3 4 5 6 7 8 9 | $ grep-v test* #查找文件名中包含test 的文件中不包含test 的行 testfile1:helLinux! testfile1:Linis a free Unix-type operating system. testfile1:Lin testfile_1:HELLO LINUX! testfile_1:LINUX IS A FREE UNIX-TYPE OPTERATING SYSTEM. testfile_1:THIS IS A LINUX TESTFILE! testfile_2:HELLO LINUX! testfile_2:Linux is a free unix-type opterating system. |
场景
场景: 系统报警显示了时间,但是日志文件太大无法直接 cat 查看。(查询含有特定文本的文件,并拿到这些文本所在的行)
1 | grep -n '2019-10-24 00:01:11' *.log |
Linux 里利用 grep 和 find 命令查找文件内容
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 | 从文件内容查找匹配指定字符串的行: $ grep "被查找的字符串" 文件名 例子:在当前目录里第一级文件夹中寻找包含指定字符串的 .in 文件 grep "thermcontact" /.in 从文件内容查找与正则表达式匹配的行: $ grep –e "正则表达式" 文件名 查找时不区分大小写: $ grep –i "被查找的字符串" 文件名 查找匹配的行数: $ grep -c "被查找的字符串" 文件名 从文件内容查找不匹配指定字符串的行: $ grep –v "被查找的字符串" 文件名 从根目录开始查找所有扩展名为 .log 的文本文件,并找出包含 "ERROR" 的行: $ find / -type f -name "*.log" | xargs grep "ERROR" 例子:从当前目录开始查找所有扩展名为 .in 的文本文件,并找出包含 "thermcontact" 的行: find . -name "*.in" | xargs grep "thermcontact" |
基本使用
基本用法:在命令行中输入 grep 关键词 文件名
即可搜索包含该关键词的行。例如:
1 | grep hello myfile.txt |
忽略大小写:使用 -i
选项可以忽略大小写,这样搜索时不区分大小写。例如:
1 | grep -i hello myfile.txt |
显示行号:使用 -n
选项可以显示匹配行的行号。例如:
1 | grep -n hello myfile.txt |
显示匹配行之前/之后的行数:使用 -A
和 -B
选项可以分别显示匹配行之后和匹配行之前的指定行数。例如:
1 2 | grep -A 2 hello myfile.txt grep -B 1 hello myfile.txt |
显示匹配行周围的行数:使用 -C
选项可以同时显示匹配行之前和之后的指定行数。例如:
1 | grep -C 1 hello myfile.txt |
排除匹配的行:使用 -v
选项可以排除匹配的行。例如:
1 | grep -v hello myfile.txt |
限制边界搜索:使用 -w
选项可以限制搜索的单词边界。例如:
1 | grep -w hello myfile.txt |
在这个例子中,如果我们使用 grep hello myfile.txt
,那么搜索结果将包含包含 hello
子字符串的行,例如 hello world
、 helloworld
等。但是,如果我们使用 grep -w hello myfile.txt
,那么搜索结果将仅包含包含单词 hello
的行,例如 hello world
,而不包括 helloworld
。
grep 使用 Perl 正则表达式
使用 -P
选项可以让grep使用Perl正则表达式而不是基本的正则表达式。Perl正则表达式更强大,可以支持更多的特性,例如非贪婪匹配和后向引用。例如:
1 | grep -P '\d{3}-\d{2}-\d{4}' myfile.txt |
这个例子使用了Perl正则表达式,在文本文件中搜索包含美国社会保险号码的行。正则表达式 \d{3}-\d{2}-\d{4}
表示一个三位数,一个短横线,两个两位数和一个短横线,组成了一个美国社会保险号码的格式。
以下是一些常用的Perl正则表达式案例:
- 匹配任何字符:
.
(句点)代表任何字符。例如,grep -P 'a.c' myfile.txt
将匹配任何包含"a"、"c"之间任意一个字符的行。 - 匹配数字:
\d
代表任何数字字符。例如,grep -P '\d+' myfile.txt
将匹配任何包含一个或多个数字的行。 - 匹配字母:
\w
代表任何字母字符(包括数字和下划线)。例如,grep -P '\w+' myfile.txt
将匹配任何包含一个或多个字母字符的行。 - 匹配空白字符:
\s
代表任何空格字符(包括空格、制表符和换行符)。例如,grep -P '\s+' myfile.txt
将匹配任何包含一个或多个空格字符的行。 - 匹配行首和行尾:
^
代表行首,$
代表行尾。例如,grep -P '^hello' myfile.txt
将匹配任何以"hello"开头的行,而grep -P 'world$' myfile.txt
将匹配任何以"world"结尾的行。 - 匹配重复字符:
+
代表一个或多个重复字符,
将匹配任何包含"color"或"colour"的行。代表零个或多个重复字符,
?代表零个或一个重复字符。例如,
grep -P 'bo+s' myfile.txt将匹配任何包含"bos"、"boos"、"boooos"等的行,而
grep -P 'colou?r' myfile.txt - 匹配字符集合:
[]
代表一个字符集合。例如,grep -P '[aeiou]' myfile.txt
将匹配任何包含元音字母的行,而grep -P '[^aeiou]' myfile.txt
将匹配任何不包含元音字母的行。 - 匹配特定次数的字符:
{n}
表示匹配n个重复字符,{n,}
表示匹配n个或更多重复字符,{n,m}
表示匹配n到m个重复字符。例如,grep -P 'o{2}' myfile.txt
将匹配任何包含两个连续的"o"的行,而grep -P 'o{2,}' myfile.txt
将匹配任何包含两个或更多连续的"o"的行。
匹配字母:\w
代表任何字母字符(
Grep 使用 Perl 正则表达式案例:
- 匹配任何字符:
.
(句点)代表任何字符。例如,grep -P 'a.c' myfile.txt
将匹配任何包含"a"、"c"之间任意一个字符的行。 - 匹配数字:
\d
代表任何数字字符。例如,grep -P '\d+' myfile.txt
将匹配任何包含一个或多个数字的行。 - 匹配字母:
\w
代表任何字母字符(包括数字和下划线)。例如,grep -P '\w+' myfile.txt
将匹配任何包含一个或多个字母字符的行。 - 匹配空白字符:
\s
代表任何空格字符(包括空格、制表符和换行符)。例如,grep -P '\s+' myfile.txt
将匹配任何包含一个或多个空格字符的行。 - 匹配行首和行尾:
^
代表行首,$
代表行尾。例如,grep -P '^hello' myfile.txt
将匹配任何以"hello"开头的行,而grep -P 'world$' myfile.txt
将匹配任何以"world"结尾的行。 - 匹配重复字符:
+
代表一个或多个重复字符,
将匹配任何包含"color"或"colour"的行。代表零个或多个重复字符,
?代表零个或一个重复字符。例如,
grep -P 'bo+s' myfile.txt将匹配任何包含"bos"、"boos"、"boooos"等的行,而
grep -P 'colou?r' myfile.txt - 匹配字符集合:
[]
代表一个字符集合。例如,grep -P '[aeiou]' myfile.txt
将匹配任何包含元音字母的行,而grep -P '[^aeiou]' myfile.txt
将匹配任何不包含元音字母的行。 - 匹配特定次数的字符:
{n}
表示匹配n个重复字符,{n,}
表示匹配n个或更多重复字符,{n,m}
表示匹配n到m个重复字符。例如,grep -P 'o{2}' myfile.txt
将匹配任何包含两个连续的"o"的行,而grep -P 'o{2,}' myfile.txt
将匹配任何包含两个或更多连续的"o"的行。
grep 在 shell 中的条件判断
grep
的搜索结果, 找到就是 成功 , 没找到就是 失败, 因此可以直接使用其作为条件语句。
通常, 在使用 if
条件判断的时候, 会使用变量 $RET
捕捉执行结果, 并对 $RET
的值进行判断。
1 2 3 4 5 6 7 8 9 10 11 12 13 | #!/bin/bash grep abc 111.txt > /dev/null RET=$? if [[ $RET == 0 ]]; then { echo "found" } else { echo "not found" } fi |
在 bash
中, 可以直接使用 逻辑 表达式, 整个结构看起来更简单。
1 2 3 4 5 6 | #!/bin/bash grep abc 111.txt > /dev/null && { echo "found" } || { echo "not found" } |
grep正则表达式元字符集整理
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 | ^ :锚定行的开始 如:’^grep’匹配所有以grep开头的行。 $ :锚定行的结束 如:’grep$’匹配所有以grep结尾的行。 . :匹配一个非换行符的字符 如:’gr.p’匹配gr后接一个任意字符,然后是p。 * :匹配零个或多个先前字符 如:’*grep’匹配所有一个或多个空格后紧跟grep的行。 [] :匹配一个指定范围内的字符,如'[Gg]rep’匹配Grep和grep。 [^] :匹配一个不在指定范围内的字符,如:'[^A-FH-Z]rep’匹配不包含A-R和T-Z的一个字母开头,紧跟rep的行。 .* :一起用代表任意字符。 .. :标记匹配字符,如’love’,love被标记为1。 \<word :以某单词开头 word\> :以某单词结尾 x/{m/} :重复字符x,m次,如:’0\{5\}’匹配包含5个o的行。 x\{m,\} :重复字符x,至少m次,如:’o\{5,\}’匹配至少有5个o的行。 x\{m,n\} :重复字符x,至少m次,不多于n次,如:’o\{5,10\}’匹配5–10个o的行。 \w :匹配文字和数字字符 \b :单词锁定符,如: ‘\bgrep\b’只匹配grep。 |
查找文件内容
1 2 3 4 5 6 | -- Linux查找文件内容 比如查找当前目录下面所有的php文件里面某个关键字 find ./ -name "*.php" | xargs grep '关键字' -- Windows查找文件内容 findstr /S /I "普通用户" *.sql |
匹配IP地址
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | [root@docker36 ~]# more a.txt 1. 2.2. 3.34.5.6 . .. ... .... 1.2.3.4.5 2.3.4.5. a.b.c.d.e.f.g. a..b.cc.d.e 1..2.3.4 1..2.3 1. 3. 4.5 [root@docker36 ~]# more a.txt | grep -E "([0-9]{1,3}.){3}[0-9]{1,3}" | awk -F "." '{ if(NF-1==3){print $0} }' 3.34.5.6 |
示例
1)找出文件haodao.txt中与haodao有关的内容,并且忽略大小写,命令如下:
1 2 3 4 5 | [root@haodaolinux1 ~]# grep -i "haodao" haodao.txt HAODAO haodao1:x:1000:1000::/home/haodao1:/bin/bash haodao2:x:1002:1002::/home/haodao2:/bin/bash haodao3:x:1003:1003::/home/haodao3:/bin/bash |
2)找出文件haodao.txt中与haodao有关的内容,并且忽略大小写,加上行号显示,命令如下:
1 2 3 4 5 | [root@haodaolinux1 ~]# grep -i -n "haodao" haodao.txt 6:HAODAO 29:haodao1:x:1000:1000::/home/haodao1:/bin/bash 35:haodao2:x:1002:1002::/home/haodao2:/bin/bash 36:haodao3:x:1003:1003::/home/haodao3:/bin/bash |
3)统计出文件haodao.txt中与haodao有关内容的行,忽略大小写,并且只显示行数,命令如下:
1 2 | [root@haodaolinux1 ~]# grep -i -c "haodao" haodao.txt 4 |
4)找出文件haodao.txt中存在的空行,并且将行号打印出来,命令如下:
1 2 3 4 5 | [root@haodaolinux1 ~]# grep "^$" haodao.txt -n 4: 8: 12: 14: |
5)找出文件haodao.txt中存在的空行,并且将空行排除,打印除空行外的内容,命令如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 | [root@haodaolinux1 ~]# grep "^$" haodao.txt -n -v 1:root:x:0:0:root:/root:/bin/bash 2:ROOT:x:1:1:bin:/bin:/sbin/nologin 3:root 5:ROOT 6:HAODAO 7:haohao 9:haohaolinux 10:daemon:x:2:2:daemon:/sbin:/sbin/nologin 11:#linux 13:#12345678 15:adm:x:3:4:adm:/var/adm:/sbin/nologin 16:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 17:sync:x:5:0:sync:/sbin:/bin/sync 18:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 19:halt:x:7:0:halt:/sbin:/sbin/halt 20:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin 21:operator:x:11:0:operator:/root:/sbin/nologin 22:games:x:12:100:games:/usr/games:/sbin/nologin 23:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 24:nobody:x:99:99:Nobody:/:/sbin/nologin 25:avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin 26:systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin 27:systemd-network:x:998:996:systemd Network Management:/:/sbin/nologin 28:dbus:x:81:81:System message bus:/:/sbin/nologin 29:polkitd:x:997:995:User for polkitd:/:/sbin/nologin 30:tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin 31:postfix:x:89:89::/var/spool/postfix:/sbin/nologin 32:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin 33:haodao1:x:1000:1000::/home/haodao1:/bin/bash 34:mysql:x:1001:1001::/home/mysql:/sbin/nologin 35:zabbix:x:996:992:Zabbix Monitoring System:/var/lib/zabbix:/sbin/nologin 36:apache:x:48:48:Apache:/opt/rh/httpd24/root/usr/share/httpd:/sbin/nologin 37:ntp:x:38:38::/etc/ntp:/sbin/nologin 38:tcpdump:x:72:72::/:/sbin/nologin 39:haodao2:x:1002:1002::/home/haodao2:/bin/bash 40:haodao3:x:1003:1003::/home/haodao3:/bin/bash |
6)找出文件haodao.txt中,没有以#开头的行,并且也不是空行的内容,命令如下:
1 | grep "^#" haodao.txt -v |grep "^$" -v |
grep结合正则表达式用法
1)在文件haodao.txt中找出以haodao结尾的行,命令如下:
1 2 3 4 | [root@haodaolinux1 ~]# grep -n "haodao$" haodao.txt 21:operator:x:11:0:operator:/root:/sbin/haodao 28:dbus:x:81:81:System message bus:/:/sbin/haodao 32:sshd:x:74:74:Privilege-separated SSH:haodao |
2)找出文件haodao.txt中包含大写字母有关的行,命令如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 | [root@haodaolinux1 ~]# grep -n [A-Z] haodao.txt 2:ROOT:x:1:1:bin:/bin:/sbin/nologin 5:ROOT 6:HAODAO 23:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 24:nobody:x:99:99:Nobody:/:/sbin/nologin 25:avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin 26:systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin 27:systemd-network:x:998:996:systemd Network Management:/:/sbin/nologin 28:dbus:x:81:81:System message bus:/:/sbin/haodao 29:polkitd:x:997:995:User for polkitd:/:/sbin/nologin 30:tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin 32:sshd:x:74:74:Privilege-separated SSH:haodao |
Linux egrep
Linux egrep命令用于在文件内查找指定的字符串。
egrep执行效果与"grep-E"相似,使用的语法及参数可参照grep指令,与grep的不同点在于解读字符串的方法。
egrep是用extended regular expression语法来解读的,而grep则用basic regular expression 语法解读,extended regular expression比basic regular expression的表达更规范。
语法
1 | egrep [范本模式] [文件或目录] |
参数说明:
- [范本模式] :查找的字符串规则。
- [文件或目录] :查找的目标文件或目录。
实例
显示文件中符合条件的字符。例如,查找当前目录下所有文件中包含字符串"Linux"的文件,可以使用如下命令:
1 | egrep Linux * |
结果如下所示:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | $ egrep Linux * #查找当前目录下包含字符串“Linux”的文件 testfile:hello Linux! #以下五行为testfile 中包含Linux字符的行 testfile:Linux is a free Unix-type operating system. testfile:This is a Linux testfile! testfile:Linux testfile:Linux testfile1:helLinux! #以下两行为testfile1中含Linux字符的行 testfile1:This a Linux testfile! #以下两行为testfile_2 中包含Linux字符的行 testfile_2:Linux is a free unix-type opterating system. testfile_2:Linux test xx00:hello Linux! #xx00包含Linux字符的行 xx01:Linux is a free Unix-type operating system. #以下三行为xx01包含Linux字符的行 xx01:This is a Linux testfile! xx01:Linux |