shell awk (按行切割、分析)的基本使用 | 您所在的位置:网站首页 › awk排除字符串 › shell awk (按行切割、分析)的基本使用 |
文章目录
1、基本用法2、案例实操3、内置变量的示列3.1、在 passwd 文件的每行前面加上的行号3.2、file1.txt 文件操作3.3、切割IP3.4、查询sed.txt中空行所在的行号3.5、求和,求学生成绩的总和。
awk ,一个强大的文本分析工具,把文件逐行的读入,以指定分隔符将每行切片,切开的部分再进行分析处理。
1、基本用法
awk [选项参数] 'pattern1{action1} pattern2{action2}...' filename
选项参数说明: 选项参数功能-F分隔符。使用指定的分隔符对文件进行切割 。默认的分隔符是空格。-v临时变量。赋值一个用户定义变量patternN{actionN} 说明: pattern :表示 awk 在数据中查找的内容,就是匹配模式。 还可以使用 BEGIN 、END 。这两个可以单个或一起使用。其中,BEGIN 在所有数据读取行之前执行。END 在所有数据执行之后执行。 action :在找到匹配内容时所执行的一系列命令;常用变量: $1、$2...$N ,表示分割后的第1列,第2列 …第N列。$0, 表示所有列 。内置变量: 变量说明FILENAME文件名NR行号,第几行NF切割后,列的个数 2、案例实操(0)数据准备 [java@localhost java_demo]$ cp /etc/passwd ./(1)搜索passwd文件中以 root 关键字开头的所有行,每行以 : 分隔,输出第7列。 [java@localhost java_demo]$ awk -F: '/^root/{print $7}' passwd /bin/bash(2)搜索passwd文件中以 root 关键字开头的所有行,每行以 : 分隔,输出第1列和第7列,且第1列和第7列中间插入 , 。 [java@localhost java_demo]$ awk -F: '/^root/{print $1","$7}' passwd root,/bin/bash注意:只有匹配了pattern的行才会执行 action 。 (3)搜索passwd文件的所有行,分隔符是: , 在所有行的最前面加上 user,shell ,接着,输出分隔后的第1列和第7列,这两列中间是 , ,在行的末尾加上 dahaige,/bin/zuishuai 内容。 [java@localhost java_demo]$ awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}' passwd user, shell root,/bin/bash bin,/sbin/nologin ... java,/bin/bash dahaige,/bin/zuishuai注意: BEGIN 在所有数据读取行之前执行。 END 在所有数据执行之后执行。 (4)将passwd文件中的用户id 增加数值1 ,并输出 [java@localhost java_demo]$ awk -v i=1 -F: '{print $3+i}' passwd 1 2 3 4 ... 73 1001 3、内置变量的示列 3.1、在 passwd 文件的每行前面加上的行号 [java@localhost java_demo]$ awk '{print NR","$0}' passwd 1,root:x:0:0:root:/root:/bin/bash 2,bin:x:1:1:bin:/bin:/sbin/nologin 3,daemon:x:2:2:daemon:/sbin:/sbin/nologin 4,adm:x:3:4:adm:/var/adm:/sbin/nologin ... 45,tcpdump:x:72:72::/:/sbin/nologin 46,java:x:1000:1000:java:/home/java:/bin/bash [java@localhost java_demo]$NR是行号,接着是逗号(,),$0 是所有列。 3.2、file1.txt 文件操作file 内容如下: ls:10:3.5 bb:40:5.4 ss:30:1.6 bd:20:4.2 xz:50:2.3(1)统计 空行 的行号。 命令如下: [java@localhost java_demo]$ awk '/^$/{print NR}' file1.txt 2 5 7(2)在每行的首列,添加行号。命令如下: [java@localhost java_demo]$ awk '{print NR $0}' file1.txt 1cls:10:3.5 2 3bb:40:5.4 4ss:30:1.6 5 6bd:20:4.2 7 8xz:50:2.3 先打印 行号 NR,接着输出是所有列 $0 。(2)行号后面增加空格。命令如下: [java@localhost java_demo]$ awk '{print NR" " $0}' file1.txt 1 cls:10:3.5 2 3 bb:40:5.4 4 ss:30:1.6 5 6 bd:20:4.2 7 8 xz:50:2.3 先打印 行号 NR,输输出一个空格 " ",最后输出是所有列 $0 。 3.3、切割IP参考文章: Centos7 ,使用grep,cut 、awk 提取IP地址 3.4、查询sed.txt中空行所在的行号 [java@localhost java_demo]$ awk '/^$/{print NR}' sed.txt 3.5、求和,求学生成绩的总和。1)文件 chengji.txt 的内容如下: 张三 40 李四 50 王五 602)使用Linux命令提取并输出分数,并在最后输出求和总数。 [java@localhost java_demo]$ awk -v num=0 -F" " '{num+=$2} END {print num}' chenji.txt 150说明: -F" " , awk 的默认分隔符 就是空格 ,这块可以省略;-v num=0 ,是临时变量,统计总分数END {print num} ,END 表示遍历所有行结束,在最后 打印 num 的值3)更复杂一些的, 在列的首行添加标题为 “姓名、分数”,在结尾处增加 "总分 "和 计算的值,命令如下: [java@localhost java_demo]$ awk -v num=0 -F" " 'BEGIN{print "姓名 分数"} {print $0} {num+=$2 } END {print "总和 " num}' chenji.txt 姓名 分数 张三 40 李四 50 王五 60 总分 150 |
CopyRight 2018-2019 实验室设备网 版权所有 |