文本处理三剑客：1、grep  2、sed  3、awk

一、grep：（过滤）

grep的使用，主要的参数有：

-n  :显示行号；
-o  :只显示匹配的内容
-q  :静默模式，没有任何输出，得用echo$?来判断执行成功没有，即有没有过滤到想要的内容

-l  ：如果匹配成功，则只将文件名打印出来，失败则不打印，通常-rl一起用，grep -rl 'root' /etc 
-A  :如果匹配成功，则将匹配行及其后n行一起打印出来
-B  :如果匹配成功，则将匹配行及其前n行一起打印出来
-C  :如果匹配成功，则将匹配行及其前后n行一起打印出来
--color
-c  :如果匹配成功，则将匹配到的行数打印出来
-E  :等于egrep，grep的扩展正则

-i  ：忽略大小写

-v  :取反，不匹配
-w：匹配单词，过滤单词

 

基本正则表达式：

例如：

^b，表达的是搜寻以b开头的行

^.，表达的是行首

word$，表达的是以单词$结尾的行

.，表达的是匹配任意字符

\，是转意字符

b*，指的是有0至无穷个b

[n1-n2]，匹配一个字符范围中的一个字符。

ab{3}，指的是左边的b有3个；ab{2,4},指的是左边的b有2至4个；ab{2，}，指的是左边的b有2至无穷个

 

扩展正则表达式

+，ab+,指的是左边的b有1至无穷个

？，ab？，指的是左边的b显示的次数是0次或者1次

|，或（or）的方式匹配多个字串 

()，匹配整个括号内的字符串，原来都是匹配单个字符

使用以下举例：正则表达式及字符处理
目标文件/etc/passwd,使用grep命令或egrep
1．显示出所有含有root的行：
grep ‘root’ /etc/passwd

 

2．输出任何包含bash的所有行，还要输出紧接着这行的上下各两行的内容：
grep -C2 'bash' /etc/passwd

3. 显示出有多少行含有nologin。

grep -c 'nologin' /etc/passwd

4．显示出那些行含有root，并将行号一块输出。
grep -nw 'root' /etc/passwd

5．新建用户abominableabominateanomieatomize

 编写正则表达式，将他们匹配出来egrep 'a.omi(nabl|nat|z|)e' /etc/passwd

 在etc/passwd下过滤出

 abominableabominateanomieatomize
egrep '^a[a-z]+e' /etc/passwd或者egrep 'a.omi(nabl|nat|z|)e' /etc/passwd

 

6．建四个用户Alex213sbWpq2222byH438PIGegon666
过滤出用户名组成是字母+数字+字母的行egrep '^[a-zA-Z]+[0-9]+[a-zA-Z]+' /etc/passwd

7．显示出/etc目录下所有包含root的文件名
grep -o ‘root’ /etc/passwd

8. 过滤掉/etc/ssh/sshd_config内所有注释和所有空行
grep -v '^#' /etc/ssh/sshd_config |grep -v '^ *$'

 

二、sed 流编辑器（包括1、定位   2、处理）

sed的可选参数比较少，主要就是下面这几个。

（1）-e 允许多项编辑 

（2）-i 直接修改

（3）-f 指定sed脚本文件

（4）-n 取消默认的输出 

sed的匹配是以‘/’开头和结尾的，中间包含着对文本的匹配模式

使用以下举例：以/etc/passwd文件为模板

1，删除文件每行的第一个字符。
 sed -r 's/.//' /etc/passwd或sed -r 's/^(.)(.*)/\2/' /etc/passwd

 

2，删除文件每行的第二个字符。

 sed -r 's/^(.)(.)(.*)/\1\3/' /etc/passwd

3，删除文件每行的最后一个字符。
sed 's/.$//' /etc/passwd或者sed -r 's/(.*)(.)$/\1/' /etc/passwd

4，删除一个文件中所有的数字。
sed -r 's/[0-9]//g' /etc/passwd

 

 

5，删除每行开头的所有空格。
sed -r 's/ //g' /etc/passwd或者sed -r ‘s/^ *//g’ /etc/passwd

 

 

6，用制表符替换文件中出现的所有空格。
sed -r 's/ /\t/g' /etc/passwd

 

7，把所有大写字母用括号（）括起来。
sed 's/[A-Z]/(&)/ /etc/passwd'

 

8，打印每行3次。
sed -r 'p;p' /etc/passwd

9，隔行删除。

sed -r '1~2d' /etc/passwd

 

10，只显示每行的第一个单词。 
sed -r 's/^([a-Z]+)([^a-Z]+)(.*)/\1/' /etc/passwd

 三、awk使用
-F 定义字段分隔符,默认的分隔符是连续的空格或制表符
正则需要用//包围起来 
^	行首
$	行尾
.	除了换行符以外的任意单个字符
*	前导字符的零个或多个
.*	所有字符
[]	字符组内的任一字符
[^]	对字符组内的每个字符取反(不匹配字符组内的每个字符)
^[^]	非字符组内的字符开头的行
[a-z] 小写字母
[A-Z] 大写字母
[a-Z] 小写和大写字母
[0-9] 数字

NR变量定址 
NR 表示AWK读入的行数
FNR表示读入行所在文件中的行数

调用awk

有三种方式调用awk

1.命令行方式

2.shell脚本方式

3.将所有的awk命令插入一个单独文件，然后调用：

用以下举例：

（1）打印uid在30~40范围内的用户名。

awk -F: '$3>30 && $3<40 {print $1}' /etc/passwd

（2）打印第5-10行的行号和用户名

awk -F: 'NR>=5 && NR<=10 {print $1 NR}' /etc/passwd

 

（3）打印奇数行

awk -F: 'NR%2!=0 {print $1 "..." NR}' /etc/passwd

 

（4）打印偶数行

awk -F: 'NR%2==0 {print $1 "..." NR}' /etc/passwd

 

 

（5）打印字段数大于5的行(显示了字段数大于5的行和用户名）

awk -F : 'NF>5{print NR $1}' /etc/passwd

 

（6）打印UID不等于GID的用户名

awk -F: '$3!=$4 {print $1}' /etc/passwd

 

（7）打印没有指定shell的用户