文本分析（课题研究常用方法）

　　文本分析（课题研究常用方法）
　　awk是流式编辑器，针对文档中的行来操作，一行一行地执行。awk可以非常方便、高效地操作文档以及字符，从而实现我们想要的格式。它的功能非常强大，我在 shell 脚本中经常使用它来处理字符串。下面介绍几个在工作中使用awk较频繁的用法。
　　1. 截取文档中的某个段
　　示例命令如下：#head-n2test.txt|awk-F':''{print$1}'root  bin
　　本例中，-F选项的作用是指定分隔符。如果不加-F选项，则以空格或者tab为分隔符。print为打印的动作，用来打印某个字段。$1为第 1 个字段，$2为第 2 个字段，以此类推。但$0比较特殊，它表示整行：#head-n2test.txt|awk-F':''{print$0}'root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologin
　　注意awk的格式，-F后面紧跟单引号，单引号里面为分隔符。print的动作要用{}括起来，否则会报错。print还可以打印自定义的内容，但是自定义的内容要用双引号括起来，如下所示：#head-n2test.txt|awk-F':''{print$1＂#＂$2＂#＂$3＂#＂$4}'root#x#0#0bin#x#1#1
　　2. 匹配字符或者字符串
　　在文档中过滤出包含指定字符串的行，示例命令如下：#awk'/oo/'test.txtroot:x:0:0:root:/root:/bin/bashlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinmail:x:8:12:mail:/var/spool/mail:/sbin/nologinoperator:x:11:0perator:/root:/sbin/nologinpostfix:x:89:89::/var/spool/postfix:/sbin/nologinsetroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin
　　这跟sed的用法类似，能实现grep的功能，但没有颜色显示，肯定没有grep用起来方便。不过awk还有比sed更强大的匹配，如下所示：#awk-F':''$1~/oo/'test.txtroot:x:0:0:root:/root:/bin/bashsetroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin
　　它可以让某个段去匹配，这里的~就是匹配的意思。
　　此外，awk还可以多次匹配，如下所示：#awk-F':''/root/{print$1,$3}/test/{print$1,$3}'test.txtroot0operator11test1006
　　本例中，awk匹配完root，再匹配test，并且只打印所匹配的段。
　　3. 条件操作符
　　有时候，在匹配字符的同时要给出限定条件，比如第 3 段为0。示例命令如下：#awk-F':''$3==＂0＂'/etc/passwdroot:x:0:0:root:/root:/bin/bash
　　在awk中，我们可以用逻辑符号进行判断，比如==就是等于，也可以理解为精确匹配。另外，还有>、>=、、、!=等。值得注意的是，在和数字比较时，若把要比较的数字用双引号引起来，那么 awk 不会将其认为是数字，而会认为是字符，不加双引号就会认为是数字。示例命令如下：#awk-F':''$3>=＂500＂'/etc/passwd|head-n5shutdown:x:6:0:shutdown:/sbin:/sbin/shutdownhalt:x:7:0:halt:/sbin:/sbin/haltmail:x:8:12:mail:/var/spool/mail:/sbin/nologinnobody:x:65534:65534:KernelOverflowUser:/:/sbin/nologindbus:x:81:81:Systemmessagebus:/:/sbin/nologin
　　本例中，阿铭本想把 uid 大于等于 500 的行打印出来，但是结果并不理想。这是因为awk把所有的数字都当作字符了，就跟上一章中提到的sort排序原理一样。但是，如果不加双引号，就得到了想要的结果：#awk-F':''$3>=500'/etc/passwd|head-n5nobody:x:65534:65534:KernelOverflowUser:/:/sbin/nologinsystemd-coredump:x:999:997:systemdCoreDumper:/:/sbin/nologinpolkitd:x:998:996:Userforpolkitd:/:/sbin/nologingeoclue:x:997:995:Userforgeoclue:/var/lib/geoclue:/sbin/nologinunbound:x:996:991:UnboundDNSresolver:/etc/unbound:/sbin/nologin#awk-F':''$7!=＂/sbin/nologin＂'/etc/passwdroot:x:0:0:root:/root:/bin/bashsync:x:5:0:sync:/sbin:/bin/syncshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownhalt:x:7:0:halt:/sbin:/sbin/haltaminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash
　　上例中，!=表示不匹配，它除了针对某一个段的字符进行逻辑比较外，还可以在两个段之间进行逻辑比较。如下所示：#awk-F':''$3
　　另外，还可以使用&&和||，它们分别表示＂并且＂和＂或者＂。&&的用法如下：#awk-F':''$3>＂5＂&&$3
　　||的用法如下：#awk-F':''$3>1000||$7==＂/bin/bash＂'/etc/passwdroot:x:0:0:root:/root:/bin/bashnobody:x:65534:65534:KernelOverflowUser:/:/sbin/nologinaminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash
　　4. awk 的内置变量
　　awk常用的变量有OFS、NF和NR。OFS和-F选项有类似的功能，也是用来定义分隔符的，但是它是在输出的时候定义的。NF表示用分隔符分隔后一共有多少段。NR表示行号。
　　OFS的用法示例如下：#head-5/etc/passwd|awk-F':''{OFS=＂#＂}{print$1,$3,$4}'root#0#0bin#1#1daemon#2#2adm#3#4lp#4#7
　　还有更高级一些的用法：#awk-F':''{OFS=＂#＂}{if($3>=1000){print$1,$2,$3,$4}}'/etc/passwdnobody#x#65534#65534aminglinux#x#1000#1000
　　变量NF的具体用法如下：#head-n3/etc/passwd|awk-F':''{printNF}'777#head-n3/etc/passwd|awk-F':''{print$NF}'/bin/bash  /sbin/nologin  /sbin/nologin
　　这里NF是多少段，$NF是最后一段的值。变量NR的具体用法如下：#head-n3/etc/passwd|awk-F':''{printNR}'123
　　我们还可以使用NR作为判断条件，如下所示：#awk'NR>40'/etc/passwdinsights:x:978:976:RedHatInsights:/var/lib/insights:/sbin/nologinsshd:x:74:74rivilege-separatedSSH:/var/empty/sshd:/sbin/nologinavahi:x:70:70:AvahimDNS/DNS-SDStack:/var/run/avahi-daemon:/sbin/nologintcpdump:x:72:72::/:/sbin/nologinaminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash
　　NR也可以配合段匹配一起使用，如下所示：#awk-F':''NR
　　5. awk 中的数学运算
　　awk可以更改段值，示例命令如下：#head-n3/etc/passwd|awk-F':''$1=＂root＂'rootx00root/root/bin/bashrootx11bin/bin/sbin/nologinrootx22daemon/sbin/sbin/nologin
　　awk也可以对各个段的值进行数学运算，示例命令如下：#head-n2/etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologin#head-n2/etc/passwd|awk-F':''{$7=$3+$4}'#head-n2/etc/passwd|awk-F':''{$7=$3+$4;print$0}'rootx00root/root0binx11bin/bin2
　　awk还可以计算某个段的总和，示例命令如下：#awk-F':''{(tot=tot+$3)};END{printtot}'/etc/passwd84699
　　这里的END是awk特有的语法，表示所有的行都已经执行。如下所示：#awk-F':''{if($1==＂root＂){print$0}}'/etc/passwdroot:x:0:0:root:/root:/bin/bash
　　其实awk可以写成一个脚本文件，而且有它特有的语法。在awk中使用if判断、for循环都可以，只是在日常管理工作中，使用那么复杂的语句并不常见。
　　最后，我们再附上常见正则字符的解释。
　　.表示任意一个字符，比如空格、特殊符号等。
　　*表示*前面的字符有 0 个或多个，比如a*那就是 0 个a或者多个a。
　　.*表示任意个任意字符，就是贪婪匹配了。
　　+就是+前面的字符有 1 个或者多个，如a+就是a、aa、aaa……
　　?就是?前面的字符有 1 个或者 0 个。
　　{ }里面是一个范围，如{1,5}就是{ }前面的字符有 1~5 个。
　　|表示或者，如a|b就是a或者b。
　　表示这里面的任意一个字符，如[abc]就是a或者b或者c。此外，也可以用范围[0-9]表示任意一个数字，用[a-z]表示任意一个小写字母。