awk报告生成器
1.何谓linux文本三剑客？
在linux中有文本处理三剑客：grep,sed,awk
- grep:文本过滤器，能够根据指定的模式去查找匹配到模式的行，并将相应的行显示出来，根据选项它还有很多特殊的处理机制，基本功能就是匹配模式，显示文本。基本格式为：grep ‘pattern’ input_file…
- sed:Stream Editor,流编辑器，能够实现对文本进行编辑，默认情况下编辑的结果并不保存到文件中，而是直接输入到屏幕上，有很多的文本编辑命令选项，简单的使用格式如下：sed ‘COMMAND/PATTERN/’ input_file…
- awk:是报告生成器，从文本文件中抽取符合条件的信息，并以特定格式显示出来的特殊工具，能够根据我们输入的信息，将我们输入的信息格式化以后，也就是按照某种格式进行显示。
- AWK名字的由来，awk是由其创始人: Aho, Kernighan and Weinberger三人名字的首字母组成。
- new awk: nawk，nawk是awk的改进版本
- 在linux上改进的版本叫做gawk，gawk：gnome awk，gawk一定程度上兼容awk和nawk，但是具有两者所不具备的功能，甚至在某些使用风格上并不与posix完全兼容
2.awk基本综述
2.1 awk基本使用格式
- 1.awk [options] ‘script’ file1, file2,… 从多个文件中读取信息，而后根据所指定的脚本，将其格式化为特定格式，而后显示。
- 2.script脚本通常有两部分组成，下面为将脚本细化之后的使用格式：awk [options] ‘PATTERN { action }’ file1, file2,…我们的脚本主要有PATTERN和action组成，PATTERN称为模式，也就意味着不是处理文件中的所有行，而只是处理能被模式所匹配到的行，然后对这些行作出相对应的action也就是相对应的处理，一般来讲最常见的处理方式是打印出来print,常用的打印命令有两个：print和printf，print就是简单的打印，它将我们要打印的条目逐个显示出来，而printf可以自定义显示格式，比如说位宽，左对齐还是右对齐，显示为字符串还是数值等等
2.2 awk的基本处理机制：
- 一次从文件中读取一行文本，awk会将这一行自动进行切片，按照字符串的分隔符进行切割，默认的分隔符为空白字符。比如这一行的内容是“this is awk”,这一行空白符会被默认为分隔符，然后进行切片，分别切成 this,is,awk这三个切片，每一个片段在awk内部可以使用一个变量进行引用，这个变量就完全类似于脚本中的位置参数变量,也就是$1表示"this",$2表示"is",$3表示"awk",而在awk中$0表示这一整行也就是“this is awk”,而不是脚本中表示参数的个数，默认情况awk使用空白字符当分隔符，也可以指定字符当分隔符，输出时候也是默认使用空白字符进行分割。
3.awk的action之输出：
3.1 print
print的使用格式：print item1, item2,… print属于action的范畴
- 要点：
- 1、各项目之间使用逗号隔开，而输出时则以空白字符分隔：
- 2、输出的item可以为字符串或数值、当前记录的字段（如$1）、变量或awk的表达式；数值会先转换为字符串，而后再输出；
- 3、print命令后面的item可以省略，此时其功能相当于print $0,因此，如果想输出空白行，则需要使用print “”;
- 例子：
当我们要想指定分隔符的时候就需要指定awk中的option也就是选项了，常用的指定分隔符的选项叫做-F，比如-F:,就是说以:作为分隔符，指定输出分隔符，使用BEGIN{OFS="#"}，这里BEGIN我们将其称作一个模式，BEGIN这个模式用来指定当前命令不去读取文件名输出
awk 'BEGIN { print "line one\nline two\nline three"}'
awk -F: '{print $1,$2}' /etc/passwd
运行截图如下：
3.2 printf
3.2.1 printf命令使用格式
printf命令的使用格式：printf format, item1, item2, …格式与格式之间不需要使用逗号进行分隔
要点：
- 1、其与print命令的最大不同是，printf需要指定format;
- 2、format用于指定后面的每个item的输出格式；
- 3、printf语句不会自动打印换行符:如果需要换行的话，需要自己加上\n
3.2.2 format格式
format格式的指示符都以%开头，后跟一个字符，如下：
- %c:显示字符的ASCII码;
- %d,%i:十进制整数;
- %e，%E:科学计数法显示数值;
- %f:显示浮点数;
- %g,%G:以科学计数法的格式或浮点数的格式显示数值;
- %s:显示字符串;
- %u:无符号整数；
- %%:显示%自身
- 修饰符：
- N:显示宽度
- -：左对齐，不使用默认右对齐
- +:显示数值符号；
例子：
awk -F: '{printf "%-15s %i\n",$1,$3}' /etc/passwd
4. awk变量
4.1 awk内置变量之记录变量
- FS:field separator,默认是空白字符； 指定输入分隔符 也可以使用-F，读取文本时，指定所使用字段分隔符
- RS:Record separator,默认是换行符；指定定义输入文本信息所使用的换行符
- OFS：Out Filed Separator；指定输出时所使用的字符分隔符
- ORS:Output Row Separator；指定输出时所使用的字符换行符
这是awk常用的和记录相关的变量
4.2 awk内置变量之数据变量
- NR:The number of input records, awk所处理命令的记录数；如果有多个文件，这个数目会把处理的多个文件中的行统一计数。也就是awk命令所处理过的行的行数
- NF:Number of filed, 当前记录的filed个数；用来统计正在处理的当前行有多少个字段
- FNR:与NR不同的是，FNR用于记录正处理的行是当前这一文件中被总共处理的行数；比如：awk处理了文件a和文件b,文件a有100行，文件b正处理到了21行，这个时刻NR的值是121，FNR的值是21
- ARGV:数组，保存命令行本身这个字符串，如awk ‘{print $0}’ a.txt b.txt 这个命令中，ARGV[0]保存awk,ARGV[1]保存a.txt
- ARGC:awk命令的参数的个数
- FILENAME:awk命令所处理的文件的名称
- ENVIRON：当前shell环境变量及其值的关联数组；
如: awk 'BEGIN{print ENVIRON["PATH"]}'
4.3 用户自定义变量
gawk允许用户自定义自己的变量以便在程序代码中使用，变量名命名规则与大多数编程语言都相同，只能使用字母、数字和下划线，且不能以数字开头，gawk变量名称区分字符大小写
4.3.1 在脚本中赋值变量
在gawk中给变量赋值使用赋值语句进行，例如：
awk 'BEGIN{var="variable testing";print var}'
在action中如果有多个语句，语句和语句也要使用分号隔开
4.3.2 在命令行中使用赋值变量
gawk命令也可以在“脚本”外为变量赋值，并在脚本中进行引用。例如，上述的例子还可以改写为：
awk -v var="variable testing"'BEGIN{print var}'
二者的区别在于：在命令行中进行赋值时，赋值只会执行一次，实际的效果是只会看到这个变量在awk处理第一行文本时会起作用。
四、输出重定向
print items > output-file
print items >> output-file
print items | command
特殊文件描述符：
/dev/stdin:标准输入
/dev/stdout:标准输出
/dev/stderr:错误输出
/dev/fd/N:某特定文件描述符，如/dev/stdin就相当于/dev/fd/0;
例子：
awk -F: ‘{printf “%-15s %i\n”,$1,$3 > “/dev/stderr”}’ /etc/passwd
5 awk支持的操作符：
awk支持算术表达式，也能够支持算术运算
5.1 算术操作符：
- -x:负数
- +x:转换为数值
- x^y：次方
- x**y:次方
- x*y:乘法
- x/y:除法
- x+y:
- x-y:
- x%y:取余
5.2 字符串操作符：
只有一个，而且不用写出来，用于实现字符串连接；
5.3 赋值操作符：
- =
- +=
- -=
- *=
- /+
- %=
- ^=
- **=
- ++
需要注意的是，如果某模式为=号，此时使用/=/可能会有语法错误，应以/[=]/替代；
5.4 布尔值
awk中，任何非0值或非空字符串都为真，反之就为假
5.5 比较操作符
- x < y True if x is less than y.
- x <= y True if x is less than or equal to y.
- x > y True if x is greater than y.
- x >= y True if x is greater than or equal to y.
- x == y True if x is equal to y.
- x !=y True if x is not equal to y.
- x ~ y True if the string x matches the regexp denoted by y.
- y是一个模式，x是一个字符串，x这个字符串能被y这个模式匹配到，就返回true
- x !~ y True if the string x does not match the regexp denoted by y.
- y是一个模式，x是一个字符串，x这个字符串不能被y这个模式匹配到，就返回true.
- subscript in array True if the array array has an element with the subscript subscript
- 表示在我们指定的数组中有这样一个对应的元素，如果有返回为真，否则返回为假
5.6 表达式间的逻辑关系符
使用组合条件测试的时候需要使用逻辑关系符
- &&
- ||
5.7 条件表达式：
selector?if-true-exp:if-false-exp
相当于：
if selector; then
if-true-exp
else
if-false-exp
fi
5.8 函数调用;
function_name (para1, para2)
6 awk的模式
awk ‘program’ input-file1 input-file2 …
其中的program为：
pattern { action }
pattern { action }
…
6.1 常见的模式类型
- 1、Regexp:正则表达式，格式为/regular expression/，正则表达式，需要使用双斜线，/正则表达式/：使用通配符的扩展集
- 2、expression：表达式，其值为非0或非空字符串时满足条件，如:$1 ~ /foo/ 或 $1 == “hello”，用运算符(匹配)和!(不匹配)，关系表达式：可以用下面运算符表中的关系运算符进行操作，可以是字符串或数字的比较，如$2>$1选择第二个字段比第一个字段长的行
- 3、Ranges:指定的匹配范围，格式为pat1,pat2,其中pat1和pat2为模式
- 4、BEGIN/END:特殊模式，仅在awk命令执行前运行一次或结束前运行一次
- BEGIN:让用户指定在第一条输入记录被处理之前所发生的动作，通常可在这里设置全局变量
- END:让用户在最后一条输入记录被读取之后发生的动作。
- 5、Empty(空模式)：匹配任意输入行，空模式就是awk会处理文件中的每一行
6.2 常见的Action
- 1、Expression 赋值表达式、判断表达式
- 2、Control statements 控制语句，支持if、while、for、do while、case语句以及自定义函数
- 3、Compound statements 复合语句
- 4、Input statements
- 5、Output statements 输入输出语句
模式匹配表达式
模式：指定一个行的范围。该语法不能包括BEGIN和END模式
命令运行截图如下：
7 控制语句
7.1 if-else
语法：if(condition) {then-body} else {[else-body]}
例子：
awk -F: '{if($1=="root") print $1, "Admin"; else print $1, "Common user"}' /etc/passwd
运行截图：
awk -F: '{if ($1=="root") printf "%-15s:%s\n",$1,"Admin"; else printf "%-15s:%s\n",$1,"Common User"}' /etc/passwd
awk -F: -v sum=0 '{if ($3>=500) sum++}END{print sum}' /etc/passwd
7.2 while
语法：while (condition){statement1; statement2; …}
awk -F: '{i=1; while(i < 4) {printf "%-15s",$i;i++}{printf "\n"}}' /etc/passwd
运行截图：
7.3 do-while
语法：do {statement1,statement2, …} while(condition)
awk -F: '{i = 1; do {printf ("%-10s",$i); i++;} while(i <= 3)}{printf "\n"}' /etc/passwd
运行截图：
7.4 for
语法：for (variable assignment; condition; iteration process) { statement1,statement2}
awk -F: '{for(i=1; i <= 3; i++) printf("%-20s", $i)} {printf("\n")}' /etc/passwd
for循环还可以用来遍历数组元素
语法：for(i in array) {statement1, statement2, …}
awk -F: '$NF!~/^$/{BASH[$NF]++}END{for(A in BASH){printf "%15s:%i\n",A,BASH[A]}}' /etc/passwd
7.5 case
语法：switch (expression) {case VALUE or /REGEXP/;statement1, statement2,… default:statement1, …}
7.6 break和continue
常用于循环和case语句中
7.7 next
提前结束对本行文本的处理，并接着处理下一行；例如，下面的命令将显示其ID为奇数的用户；
awk -F: '{if($3%2==0) next;print $1,$3}' /etc/passwd
8 awk中使用数组
8.1 数组
array[index-experssion]
index-expression可以使用任意字符串：需要注意的是，如果某数据组元素事先不存在，那么在引用其时，awk会自动创建此元素并初始化为空串；因此要判断
某数据组中是否存在某元素，需要使用index in array的方式。
要遍历数组中的每一个元素，需要使用如下的特殊结构：
for (var in array) { statement1, …}
其中var用于引用数组下标，而不是元素值；
例子
nerstat -ant | awk '/^tcp/ {S[$NF]} END{for(a in S) print a, S[a]}'
每出现一被/^tcp/模式匹配到的行，数组S[$NF]就加1，NF为当前匹配到的行的最后一个字段，此处用其值作为数组S的元素索引；
awk '{counts[$1]++};END {for(url in counts) print counts[url],url}' /var/log/httpd/access_log
用法与上一个例子相同，用于统计某日志文件中IP地址的访问量
8.2 删除数组变量
从关系数组中删除数组索引需要使用delete命令，使用格式为：
delete array[index]
9 awk的内置函数
9.1 split(string, array [, fieldsep [, seps]])
功能：将string表示的字符串以fieldesp为分隔符进行分隔，并将分隔后的结果保存至array为名的数组中：数组下标为从0开始的序列:
netstat -ant | awk '/:80\>/{split($5,clients,":")；IP[clients[1]]++}END{for(i in IP){print IP[i],i}}' | sort -rn | head-50
9.2 length([string])
9.3 substr(string, start [, length])
功能：取string字符串中的子串，从start开始，取length个：start从1开始计数；
9.4 system(command)
功能：执行系统command并将结果返回给awk命令
9.5 systime()
功能：获取系统当前时间
9.6 tolower(s)
功能：将s中的所有字母转为小写
9.7 toupper(s)
功能：将s中的所有字母转为大写
10 用户自定义函数
自定义函数使用founction关键字，格式如下：
function F_NAME([variable])
{
statements;
}
函数还可以使用return语句返回值，格式为"return value"。