Linux基础学习笔记4-文本处理

REGEXP：由一类特殊字符及文本字符所编写的模式，其中有些字符(元字符)不表示字符字面意义，而表示控制或通配的功能。
程序支持：grep,sed,awk,vim,less,nginx,varnish等
分两类：
    基本正则表达式：BRE
    扩展正则表达式：ERE
        grep -E，egrep
正则表达式引擎：采用不同算法，检查处理正则表达式的软件模块
    PCRE（Perl Compatible Regular Expression）
元字符分类：字符匹配、匹配次数、位置锚定、分组
man 7 regex

基本正则表达式字符
字符匹配：
　　. 匹配任意单个字符
　　[] 匹配指定范围内的任意单个字符
　　[^] 匹配指定范围外的任意单个字符
　　[:alnum:] 字母和数字
　　[:alpha:] 代表任何英文大小写字符，亦即A-Z，a-z
         
匹配次数：用在要指定次数的字符后面，用于指定前面的字符要出现的次数

Stream EDitor，行编辑器
sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。
然后读入下行，执行下一个循环。如果没有使诸如'D'的特殊命令，那会在两个循环之间清空模式空间。这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
功能:主要用来自动编辑一个或多个文件，简化对文件的反复操作，编写转换程序等。
参考:http://www.gnu.org/software/sed/manual/sed.html 
sed用法: sed [option]...'script' inputfile
常用选项：
　　-n：不输出模式空间内容到屏幕，即不自动打印
　　-e：多点编辑
　　-f：/PATH/SCRIPT_FILE:从指定文件中读取编辑脚本
　　-r：支持使用扩展正则表达式
　　-i.bak：备份并原处编辑(即会修改源文件)
script：'地址+命令'
地址定界：
　　(1)不给地址：对全文进行处理
　　(2)单地址：
　　　　　　#：指定的行，$:最后一行
　　　　　　/pattern/：被此处模式所能够匹配到的每一行
　　(3)地址范围：
　　　　　　#,#
　　　　　　#,+#
　　　　　　/pattern1/,/pattern2/
　　　　　　#,/pattern1/
　　(4)~：步进
　　　　　　1~2 奇数行
　　　　　　2~2 偶数行
　　
编辑命令：
　　d:删除模式空间匹配的行，并立即启用下一轮循环
　　p:打印当前模式空间的内容，追加到默认输出之后
　　a [\]text:在指定行后面追加文本(支持使用\n实现追加多行)
　　i [\]text:在行前面插入文本
　　c [\]text:替换行为为单行或多行文本
　　w /path/somefile:保存模式匹配的行至指定文件
　　r /path/somefile：读取指定文件的文本至模式空间中，匹配到的行后
　　=:为模式空间中的行打印行号
　　！:模式空间中匹配行取反处理
　　s///:查找替换，支持使用其他分隔符，s@@@,s###
　　替换标记：
　　　　g:行内全局替换
　　　　p:显示替换成功的行
　　　　w /PATH/TO/SOMEFILE:将替换成功的行保存至文件中 
sed示例：
　　sed '2p' /ect/passwd
　　sed -n '2p' /etc/passwd
　　sed -n '1,4p' /etc/passwd
　　sed -n '/root/p' /etc/passwd
　　sed -n '2,/root/p' /etc/passwd
　　sed -n '/^$/=' file 显示空行行号
　　sed -n -e '/^$/p' -e '/^$/=' file
　　sed '/root/a\superman' /etc/passwd 行后追加
　　sed '/root/i\superman' /etc/passwd 行前追加
　　sed '/root/c\superman' /etc/passwd 代替行
　　sed '/^$/d' file
　　sed '1,10d' file
　　nl命令：nl(Number of Lines)将指定的文件添加行号标注后写到标准输出
　　nl /etc/passwd | sed '2,5d'
　　nl /etc/passwd | sed '2a tea'
　　sed 's/test/mytest/g' file
　　sed -n 's/root/&superman/p' /etc/passwd 单词前
　　sed -n 's/root/superman&/p' /etc/passwd 单词后
　　sed -e 's/dog/cat/' -e 's/hi/ih/' pets
　　sed -i.bak 's/dog/cat/g' pets

awk：Aho，Weinberger，Kernighan，报告生成器，格式化文本输出
有多种版本：New awk(nawk),HNU awk(gawk)
gawk：模式扫描和处理语言
基本用法：
    awk [option] 'program' var=value file...
    awk [option] -f programfile var=value file...
    awk [options] 'BEGIN'{action;...} pattern{action;...} END{action;...}' file...
    awk程序通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块，共3部分组成
    program通常是被放在单引号或双引号中
    选项：
        -F 指明输入时用到的字段分隔符
        -v var=value：自定义变量
基本格式：awk [options] 'program' file...
program:pattern{action statements;..}
pattern和action:
　　pattern部分决定动作语句何时触发及触发事件
　　　　BEGIN,END
　　action statements对数据进行处理，放在{}内指明
　　　　print，printf
分隔符、域和记录
　　awk执行时，由分隔符分割的字段(域)标记$1,$2..$n称为域标识。$0为所有域，注意：和shell中变量$符含义不同
　　文件的每一行称为记录
　　省略action，则默认执行print $0的操作

awk工作原理
第一步：执行BEGIN{action;...}语句块中的语句
第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{action;...}语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
第三步：当读至输入流末尾时，执行END{action；...}语句块
BAGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
END语句块在awk从输入流中读取完所有行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块
pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行print，即打印每一个读取到的行，awk读取的每一行都会执行该语句块。

print格式：print item1，item2，...
要点：
　　(1)逗号分隔符
　　(2)输出的各item可以是字符串，也可以是数值；当前记录的字段、变量或awk的表达式
　　(3)如省略item，相当于print $0
示例：
　　awk '{print "hello awk"}'　　
　　awk -F: '{print}' /etc/passwd
　　awk -F: 'print "wang"' /etc/passwd
　　awk -F: '{print $1}' /etc/passwd
　　awk -F: '{print $1"\t"$3}' /etc/passwd
　　tail -3 /etc/fstab | awk '{print $2,$4}'

awk变量
变量：内置变量和自定义变量
FS:输入字段分隔符，默认为空白字符
　　awk -v FS=':' '{print $1,FS,$3}' /etc/passwd
　　awk -F: '{print $1,$3,$7}' /etc/passwd
OFS:输出字段分隔符，默认为空白字符
　　awk -v FS=':' -v OFS=':' '{print $1,$3,&7}' /etc/passwd
RS:输入记录分隔符，指定输入时的换行符
　　awk -v RS='' '{print}' /etc/passwd
ORS:输出记录分隔符，输出时用指定符号代替换行符 
　　awk -v RS='' -v ORS='###' '{print}' /etc/passwd
NF:字段数量
　　awk -F： '{print NF}' /etc/passwd 引用内置变量不用$
　　awk -F: '{print $(NF-1)}' /etc/passwd
NR:记录号
　　awk '{print NR}' /etc/fstab;  awk END '{print NR}' /etc/fstab
FNR:各文件分别计数,记录号
　　awk '{print FNR}' /etc/fstab  /etc/inittab
FILENAME:当前文件名
　　awk '{print FILENAME}'  /etc/fstab
ARGC:命令行参数的个数
　　awk '{print ARGC}' /etc/fstab /etc/inittab
　　awk 'BEGIN {print ARGC}' /etc/fstab /etc/inittab
ARGV:数组，保存的是命令行所给定的各参数
　　awk 'BEGIN{print ARGV[0]}' /etc/fstab /etc/inittab
　　awk 'BEGIN{print ARGV[1]}' /etc/fstab /etc/inittab

自定义变量(区分字符大小写)
　　(1)-v var=value
　　(2)在program中直接定义
示例：
　　awk -v test='hello gawk' '{print test}' /etc/fstab
　　awk -v test='hello gawk' 'BEGIN{print test}'
　　awk 'BEGIN{test="hello,gawk";print test}'
　　awk -F: '{sex="male";print $1,sex,age;age=18}' /etc/passwd
　　cat awkscript {print script,$1,$2}
　　awk -F: -f awkscript /etc/passwd

printf命令
格式化输出：printf "FORMAT",item1,item2,...
　　(1)必须指定FORMAT
　　(2)不会自动换行，需要显示给出换行控制符
　　(3)FORMAT中需要分别为后面的每个item指定格式符
格式符：与item一一对应
　　%c:显示字符的ASCII　
　　%d,%i:显示十进制整数
　　%e,%E:显示科学计数法数值
　　%f:显示为浮点数
　　%g,%G:以科学计数法或浮点形式显示数值
　　%s:显示字符串
　　%u:无符号整数
　　%%:显示%自身
修饰符：
　　#[.#]:第一个数字控制显示的宽度；第二个#表示小数点后精度，%3.1f
　　-：左对齐(默认右对齐) %-15s
　　+：显示数值的正负符号  %+d

printf示例
　　awk -F: '{printf "%s",$1}' /etc/passwd
　　awk -F: '{printf "%s\n",$1}' /etc/passwd
　　awk -F: '{printf "%-20s %10d\n",$1,$3}' /etc/passwd
　　awk -F: '{printf "Username:%s,UID:%d\n",$1,$3}' /etc/passwd
　　awk -F: '{printf "Username:%-15s,UID:%d\n",$1,$3}' /etc/passwd

操作符
算术操作符：
　　x+y,x-y,x*y,x/y,x^y,x%y
　　-x:转换为负数
　　+x:转换为数值
字符串操作符：没有符号的操作符，字符串连接
赋值操作符：
　　=，+=，-=，*=，/=，%=，^=
　　++,--
注意下面语句的不同：
　　awk 'BEGIN{i=0;print ++i,i}'
　　awk 'BEGIN{i=0;print i++,i}'
比较操作符：
　　==，!=,>,>=,<,<=
模式匹配符：
　　~：左边是否和右边匹配包含　　!~:是否不匹配
示例：
　　awk -F: '$0 ~ /root/{print $1}' /etc/passwd
　　awk '$0 ~ "^root"' /etc/passwd
　　awk '$0 !~ /root/ '  /etc/passwd
　　awk -F: '$3==0' /etc/passwd

逻辑操作符：与&&,或||,非!
示例：
　　awk -F: '$3>=0 && $3<=1000{print $1}'　/etc/passwd
　　awk -F: '$3==0 || $3>=1000{print $1}'　/etc/passwd
　　awk -F: '!($3==0){print $1}' /etc/passwd
函数调用：function_name(argu1,argu2,...)
条件表达式(三目表达式)：
　　selector？if-true-expression:if-false-expression
示例：
　　awk -F： '{$3>=1000?usertype="CommonUser":usertype="SystemUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd
awk PATTERN
PATTERN:根据pattern条件，过滤匹配的行，再做处理
(1)如果未指定：空模式，匹配每一行
(2)/regular expression/:仅处理能够模式匹配到的行，需要用/ /括起来
　　awk '/^UUID/{print $1}' /etc/fstab
　　awk '!/^UUID{print $1}' /etc/fstab
(3)relational expression:关系表达式，结果为"真"才会被处理
　　　　真：结果为非0值，非空字符串
　　　　假：结果为空字符串或0值
　　示例：
　　awk -F 'i=1,j=1{print i,j}' /etc/passwd
　　awk '!0' /etc/passwd;awk '!1' /etc/passwd
　　awk -F: '$3>=1000{print $1,$3}' /etc/passwd
　　awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
　　awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd
(4)line ranges:行范围
　　startline，endline：/pat1/,/pat2/不支持直接给出数字格式
　　awk -F: '/^root\>/,/^nobody\>/{print $1}' /etc/passwd
　　awk -F: '(NR>=10 && NR<=20){print nr,$1}' /etc/passwd
(5)BEGIN/END模式
　　BEGIN{}:仅在开始处理文本中的文本前执行一次
　　END{}:仅在文本处理完成之后执行一次

示例：
　　awk -F: 'BEGIN{print "USER USERID"}{print $1":"$3} END{print "end file"}' /etc/passwd
　　awk -F: '{print "USER USERID";print $1":"$3} END{print "end file"}' /etc/passwd
　　awk -F: 'BEGIN{print "USER UID \n----------"}{print $1,$3}' /etc/passwd
　　awk -F: 'BEGIN{print "USER UID \n----------"}{print $1,$3}' END{print "========"} /etc/passwd 
　　seq 10 | awk 'i=0'
　　seq 10 | awk 'i=1'
　　seq 10 | awk '{i=!i;print i}'
　　seq 10 | awk '!(i=!i)'
　　seq 10 | awk -v i=1 'i=!i'

awk action
常用的action分类
　　(1)Expression：算术，比较表达式等
　　(2)Control statements：if，while等
　　(3)Compound statements:组合语句
　　(4)input statements
　　(5)output statements:print等

awk控制语句
　　{statements;...}组合语句
　　if(condition){statements;...}
　　if(condition){statements;...}else{statements;...}
　　while(condition){statements;...}
　　do{statements;...}while(condition)
　　for(expr1;expr2;expr3){statements;...}
　　break
　　continue　　
　　delete array[index]
　　delete array
　　exit

awk控制语句if-else
语法：if(condition){statements;...}[else statements]
　　　if(condition1){statement1}else if(condition2){statement2} else{statement3}
使用场景：对awk取得的整行或某个字段做条件判断
示例：
　　awk -F: '{if($3>=1000) print $1,$3}' /etc/passwd
　　awk -F: 'if($NF=="/bin/bash") print $1' /etc/passwd
　　awk '{if(NF>5) print $0}' /etc/fstab
　　awk -F: '{if($3>=1000){print "Common user:%s\n",$1}else {printf "root or Ststem:%s\n",$1}}' /etc/passwd
　　awk -F: '{if($3>=1000) printf "Common user:%s\n",$1;else printf "root or System:%s\n",$1}' /etc/passwd
　　df -h | awk -F% '/^\/dev/{print $1}' | awk '$NF>=80{print $1,$5}'
　　awk 'BEGIN{test=100;if(test>90){print "Very Good"}else if(test>60){print "good"}}else{print  "no pass"}'

awk控制语句while
while循环
语法：while(condition){statement;...}
条件"真"，进入循环；条件"假"，退出循环
使用场景：
　　对一行内的多个字段逐一类似处理时使用
　　对数组中的各元素逐一处理时使用
示例：
　　awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i);i++}}' /etc/hrub2.cfg
　　awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){if(length($i)>=10){print $i,length($i)};i++}}' /etc/grub2.cfg
awk控制语句do-while
do-while循环
语法：do{statement;...}while(condition)
意义：无论条件真假，至少执行一次循环体
示例：
　　awk 'BEGIN{total=0;i=0;do{total +=i;i++}while(i<=100);print total}'

awk控制语句for循环
语法:for(expr1;expr2;expr3){statement;...}
常见语法：
　　for(variable assignment;condition;iteration process)
　　　　{for-body}
特殊用法：能够遍历数组中的元素
　　语法：for(var in array){for-body}
示例：
　　awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++){print $i,length($i)}}' /etc/grub2.cfg

awk控制语句 break [n]
　　　　　　 continue [n]
next:
　　提前结束对本行处理而直接进入下一行处理(awk自身循环)
　　示例：awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd

awk数组
若要遍历数组中的每个元素，要使用for循环
for(var in array){for-body}
注意：var会遍历array的每个索引
示例：
　　awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";for(i in weekdays){print weekdays[i]}}'
　　netstat -tan|awk '/^tcp/{state[$NF]++} END{for(i in state){print i,state[i]}}'
　　awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log

awk函数处理
数值处理：
　　rand():返回0到1之间一个随机数
　　示例：awk 'BEGIN{SRAND();FOR(i=1;i<=10;i++)print int(rand()*100)}'
字符串处理：
　　length([s]):返回指定字符串的长度
　　sub(r,s,[t]):对t字符串进行搜索r表示的模式匹配的内容，并将第一个匹配的内容替换为s
　　　　echo "2008:08:08 08:08:08" | awk 'sub(/:/,"-",$1)'
　　gsub(r,s,[t]):对t字符串进行搜素r表示的模式匹配的内容，并全部替换为s所表示的内容
　　　　echo "2008:08:08 08:08:08" | awk 'gsub(/:/,"-",$0)'
　　split(s,array,[r]):以r为分隔符，切割字符串s,并将切割后的结果保存至array所表示的数组中，第一个索引值为1，第二个索引值为2,...
　　　　netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++} END{for(i in count){print i,count[i]}}'