awk入门

可以对列和行进行操作，含有数组、函数等
awk脚本结构

 awk ’BEGIN{ print "start" } pattern { commands } END{ print "end"} fileanme例如：$ awk 'BEGIN{ i=0} { i++ } END{  print i }' filename $ echo -e "line1\nline2" | awk 'BEGIN{ print "Start"} {print} END{ print "End"}'使用不带参数的print时，他会打印出当前行，当print的参数是以逗号分隔时，参数打印时则以空格作为定界符，在awk的print语句中，双引号是被当作拼接操作符使用的$ echo | awk '{ var1="v1";var2="v2";var3="v3";print var1,var2,var2;}'awk特殊变量NR:表示记录数量，在执行过程中对应于当前行号NF:表示字段数量。在执行过程中对应于当前行的字段数$0:这个变量包含执行过程中当前行的文本内容$1:这个变量包含第一个字段的文本内容$2:这个变量包含第二个字段的文本内容$ echo -e ”line1 f2 f3\nline2 f4 f5\nline4 f6 f7" | \awk '{print "line no:"NR",No if fields:"NF,"$0="$0,"$1="$1,"$2="$2,"$3="$3}'line no:1.No of fields:3 $0= line1 f2 f3 $1=line1 $2=f2 $3=f3打印每一行的第二和第三个字段$awk '{print $3,$2 }' file统计文件的行数$ awk 'END{ print NR }' file累加
$ seq 5 | awk 'BEGIN{ sum=0;print "START"}{print $1"+"; sum+=$1)END{ print "==";print sum }'将外部变量传递给awk
借助-v，将外部之传递给awk
$ VAR=1000
$ echo | awk -v VARIABLE=$VAR'{ print VARIABLE}'
OR
$var1="Variable1": var2=“Variable2"
$ echo | awk '{print v1,v2 }' v1=$var1 v2=$var2
当输入来自于文件而非标准输入时
$ awk '{print v1,v1}' v1=$var1 v2=$var2 filenamegetline读取行
$ seq 5 | awk 'BEGIN{ getline; print "Read ahead first line",$0}{print $0}'样式对awk处理的行进行过滤
指定条件
$ awk 'NR < 5' 行号小于五的行
$ awk 'NR==1,NR==4' 行号在1到5之间的行
$ awk '/linux/'	包含样式linux的行
$ awk '1/linux/' 不包含样式linux的行设置字段定界符
默认字段时空格，我们可以用-F "delimiter"明确指定一个定界符
$awk -F:'{ print $ NF}' /etc/passwd
或者
$ awk 'BEGIN {FS=":"}{print $NF }' /etc/passwd从awk中读取命令输出
$ echo | awk '{ "grep root /etc/passwd" | getline cmdout ;print cmdut}'awk中使用循环
for（i=0;i<10;i++){print $i;}
OR for(i in array){print array[i];}awk字符串控制函数
length 返回字符串长度
index：返回字符串位置
split（string，array，delimiter）：用定界符生成一个字符串列表，并将该列表存入数组
substr 在字符串中用字符起止偏移量生成子串，并返回该子串
sub 讲正则表达式皮欸到的第一处内容替换成replacmengt_str
gsub 和sub类似，不过该函数会替换正则表达式匹配到的所有内容
match 检查正则表达式能够匹配字符串，能则返回非0值，否则返回0

替换文本或文件中的字符串

$ sed ’s/pattern/replace_text/g' filename
OR
$ stdin | sed 's/PATTERN/replace_text/g'将替换结果保存到文件中
$ sed 's/pattern/replacement/' -i filename 
用另一个指定的数字替换文件中的三位数字
$cat sed_data.txt | sed 's/\b[0-9]\{3\}\b/NUMBER/g'

压缩或解压

$ cat sample.js
functionsogn_out()
{$("#loading").show();
$.get("log_in",{logout:"True"},
function(){window.location="";
});
}
压缩js的工作
（1）移除换行符和制表符
（2）压缩空格
（3）替换注释/*内容*/
（4）替换下列内容（删除空格）
移除'\n'和'\t':
tr -d '\n\t'
移除多余的空格
tr -s ' '
OR 
sed 's/[ ]\+/ /g'
移除注释
sed 's:/\*.*\*/::g'
移除{、}、（、）、；、；以及逗号前后的所有空格
sed 's/ \?\([{}();,:]\) \?/\1/g'
解压缩
$ cat obfuscated.txt | sed 's/;/;/\n/g; s/{/{\n\n/g; s/}/\n\n}/g's/;/;\n/g 将;换成\n;
s/{/{\n\n/g 将{替换为{\n\n
s/}/\n\n}/g 将}替换为\n\n}

对文件中的行、单词和字符进行迭代

（1）迭代文件中的每一行
while read line;
do
echo $line;
done < file.txt使用子shell的方法
cat file.txt | (while read line; do echo $line; done)
(2)迭代一行中的每一个单词
for word in $line;
do 
echo $word;
done(3)迭代单词中的每一个字符
for((i=0;i<${#word};i++))
do 
echo ${word:i:1} ;(子串提取${word:start_position:mo_of_characters}
done

按列合并文件

（1）paste按列拼接
$ paste file1 file2 file3 ...
默认定界符为制表符，可以用-d 指定定界符
$ paste paste1.txt paste2.txt -d ","

打印文件或行中的第n个单词或列

awk或者cut
打印第五列
$awk '{print $5 }' filename 
打印权限和文件名
$ ls -l | awk '{ print $1" :" $8 }'

打印不同行或样式之间的文本

打印M行到N行范围内文本
$ awk 'NR==M,NR==N' filename
OR
$ cat filename | awk 'NR==M,NR==N'打印处于start_pattern与end_pattern之间的文本
$ awk '/start_pattern/,/endpattern/' filename

用脚本检验回文字符串

sed命令可以记住之前匹配的子样式，这被称为反向引用
匹配一个字符，并进行其反向引用，可以用\(.\)匹配单个字符，在用\1引用
$ sed -n '/\(.\)\1/p' filename
匹配四个字符的回文
sed ’/^\(.\)\(.\)\2\1/p'例子
$ word="malayalam
$ echo $word | sed ':loop; s/^\(.\)\(.*\)\1/\2/; t loop; /^.\?&/{ @/.*/palindrome/ ; q;};s/.*/NOT PALINDROME'检查一个字符串是否是回文的方法最简单是rev命令
string="malayalam"
if [["$string"== "${echo $string | rev}"]];
then 
echo "Palindrome"
else
echo "Not palindrome"
fi将所有单词顺序反转
sentence='this is line from sentence'
echo $sentence | rev | tr ' ' '\n' | tac | tr '\n' ' ' |rev

以逆序形式打印行

tac file1 file2 ...
OR $seq 5 | tac
tac中，\n是默认的行分隔符，但是也可以用-s"分隔符“选项指定自己的分隔符
awk实现如下：
$ seq 9 | \
awk '{ loifo[NR]=$0;lno=NR}
END{ for(;lno>-1;lno--){print lifo[lno];}}'

解析电子邮件地址和URL

匹配电子邮箱地址的egrep正则表达书如下
[A-Za-z0-9.]+@[A-Za-z0-9.]+\.[a-zA-Z]{2.4}
URL
http://[a-zA-Z0-9.]+\.[a-zA-Z]{2.3}

打印文件某个样式之前或之后的n行

$ cat act.txt | head -n 20打印匹配之后文本行及其之后的三行
$ grep -A 3 "Cameron Diaz" acr.txt之前三行
$ grep -B 3 "Cameron Diaz" acr.txt前二后二
$ grep -C 2 "Cameron Diaz" acr.txt

在文件中移除包含某个单词的句子

sed替换首选
$ cat sentence.txt
移除包含”mobile phones“的句子
$ sed 's/[^.]*mobile phone[^.]*\.//g' sentence.txt

awk实现head、tail和tac

模拟head命令读取文件前10行并打印
$ awk 'NR<=10' filename
模拟tail命令打印后10行
$ awk '{ buffer[NR%10]=$0;} END{for (i=1;i<11;i++){print buffer[i%10]}}' filename模拟tac命令逆序打印输入文件所有行
$ awk '{ buffer[NR]=$0;}END{ for(i=NR;i>0;i++){print buffer[i]}}' filename

文本切片与参数操作

替换变量内容中的部分文本
$  var= "this is a line of text"
$ echo ${var/line/REPLACED
根据指定字符串的其实位置和长度来生成子串
${variable_name:start_position:lengeh}
打印第五个字符之后的内容
$ string=abcdefhijklmnopqrstuvwxyz
$ echo ${string:4}
$ echo ${string:4:8}
$ echo ${string"(-2):2}