下载文档原格式
awk的基本使⽤⽅法awk是处理⽂本⽂件的⼀个应⽤程序，⼏乎所有系统都⾃带这个程序。
它依次处理⽂件的每⼀⾏，并读取⾥⾯的每⼀个字段。
对于⽇志、CSV 那样的每⾏格式相同的⽂本⽂件，awk可能是最⽅便的⼯具。
awk其实不仅仅是⼯具软件，还是⼀种编程语⾔。
不过，本⽂只介绍它的命令⾏⽤法，对于⼤多数场合，应该⾜够⽤了。
⼀、基本⽤法awk的基本⽤法就是下⾯的形式。
# 格式$ awk 动作⽂件名# ⽰例$ awk '{print $0}' demo.txt上⾯⽰例中，demo.txt是awk所要处理的⽂本⽂件。
前⾯单引号内部有⼀个⼤括号，⾥⾯就是每⼀⾏的处理动作print $0。
其中，print是打印命令，$0代表当前⾏，因此上⾯命令的执⾏结果，就是把每⼀⾏原样打印出来。
下⾯，我们先⽤标准输⼊（stdin）演⽰上⾯这个例⼦。
$ echo 'this is a test' | awk '{print $0}'this is a test上⾯代码中，print $0就是把标准输⼊this is a test，重新打印了⼀遍。
awk会根据空格和制表符，将每⼀⾏分成若⼲字段，依次⽤$1、$2、$3代表第⼀个字段、第⼆个字段、第三个字段等等。
>$ echo 'this is a test' | awk '{print $3}'a上⾯代码中，$3代表this is a test的第三个字段a。
下⾯，为了便于举例，我们把/etc/passwd⽂件保存成demo.txt。
>root:x:0:0:root:/root:/usr/bin/zshdaemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologinbin:x:2:2:bin:/bin:/usr/sbin/nologinsys:x:3:3:sys:/dev:/usr/sbin/nologinsync:x:4:65534:sync:/bin:/bin/sync这个⽂件的字段分隔符是冒号（:），所以要⽤-F参数指定分隔符为冒号。
awk正则表达式和内置函数的使⽤⽅法实例详解awk正则表达式及内置函数实例详解：1、模糊匹配：复制代码代码如下:awk ‘{if($3~/97/) print $0}' data.f：如果第三项中含有”97”则打印该⾏awk ‘{if($4!~/ufcx/) print $0}' data.f：如果第三项中不含ufcx有则打印2、精确匹配：复制代码代码如下:awk ‘{if($5==66) print $0}' data.f：如果第五项是66则打印awk ‘{if($5!=66)print $0}' data.f : 如果第五项不是66则打印awk ‘{if($1>$5) print $0}' data.f：如果第⼀项⼤于第五项则打印3、⼤⼩写匹配：复制代码代码如下:awk ‘{if(/[Ss]ept/) print $0}' data.f：符合，则打印⼀⾏。
awk ‘/[Ss]ept/ {print $2}' data.f：符合，则打印第⼆字段4、任意匹配：复制代码代码如下:awk ‘{if($2 ~/^.e/) print $0}' data.f：第⼆字段中，第⼆个字符为e，输出awk ‘{if($4 ~/(lps|fcx)/) print $0}' data.f：第四个字段含有lps或fcx则输出5、&&，||：复制代码代码如下:awk ‘{if($3 ~/1993/ && $2==”sept”) print $0}' data.f：两边都真则输出awk ‘{if($3 ~/a9/ || $2==”sept”) print $0}' data.f：⼀边为真则输出6、变量定义：awk ‘{date=$2;price=$5; if(date ~/[Ss]ept/) print “price is ” price}' data.f：变量定义，满⾜date是sept或者Sept的将price输出。
Linux三剑客awk、grep、sed详解⼀、前⾔linux 有很多⼯具可以做⽂本处理，例如：sort, cut, split, join, paste, comm, uniq, column, rev, tac, tr, nl, pr, head, tail.....，学习 linux ⽂本处理的懒惰⽅式（不是最好的⽅法）可能是：只学习grep，sed和awk。
使⽤这三个⼯具，你可以解决近 99％ linux 系统的⽂本处理问题，⽽不需要记住上⾯不同的命令和参数。
:)⽽且，如果你已经学会并使⽤了三者，你就会知道其中的差异。
实际上，这⾥的差异意味着哪个⼯具擅长解决什么样的问题。
⼀种更懒惰的⽅式可能是学习脚本语⾔（python，perl或ruby）并使⽤它进⾏每个⽂本处理。
⼆、概述awk、grep、sed 是 linux 操作⽂本的三⼤利器，也是必须掌握的 linux 命令之⼀。
三者的功能都是处理⽂本，但侧重点各不相同，其中属awk 功能最强⼤，但也最复杂。
grep 更适合单纯地查找或匹配⽂本，sed 更适合编辑匹配到的⽂本，awk 更适合格式化⽂本，对⽂本进⾏较复杂格式处理。
简单概括：grep：数据查找定位awk：数据切⽚sed：数据修改三、grep = global regular expression print⽤最简单术语来说，grep(全局正则表达式打印)--命令⽤于查找⽂件⾥符合条件的字符串。
从⽂件的第⼀⾏开始，grep 将⼀⾏复制到 buffer 中，将其与搜索字符串进⾏⽐较，如果⽐较通过，则将该⾏打印到屏幕上。
grep将重复这个过程，直到⽂件搜索所有⾏。
注意这⾥没有进程执⾏ grep 存储⾏、更改⾏或仅搜索部分⾏。
1、⽰例数据⽂件请将以下数据剪切粘贴到⼀个名为 “sampler.log” 的⽂件中:bootbookboozemachinebootsbungiebarkaardvarkbroken$tuffrobots2、⼀个简单例⼦grep 最简单的例⼦是:grep "boo" sampler.log在本例中，grep 将遍历⽂件 “sampler.log” 的每⼀⾏，并打印出其中的每⼀⾏包含单词“boo”:bootbookboozeboots但是如果你操作的是⼤型⽂件，就会出现这种情况：如果这些⾏标识了⽂件中的哪⼀⾏，它们是什么，可能对你更有⽤，如果需要在编辑器中打开⽂件，那么可以更容易地跟踪特定字符串做⼀些改变。
Linux三剑客详解（grep、sed、awk）前⾔ 在Linux的学习和使⽤当中，⼈们常常提到的三剑客其实指的是grep、sed、awk这三个命令的简称，当熟练掌握了这⼏个命令，可以极⼤的提升运维效率。
在讲到这三个命令之前，我们得先了解什么是正则表达式，正则表达式是学习三剑客的基础和前提。
⼀、正则表达式 正则表达式：Regular Expression，描述了⼀种字符串匹配的模式（pattern），可以⽤来检查⼀个串是否含有某种⼦串、将匹配的⼦串替换或者从某个串中取出复核某个条件的⼦串等。
标准正则表达式：元字符：. 匹配任意单个字符[] 匹配指定范围内的任意单个字符[^] 匹配指定范围外的任意单个字符字符集合：[:alnum:] 代表英⽂⼤⼩写字符及数字，亦即 0~9、A~Z、a~z[:alpha:] 代表任何英⽂⼤⼩写字符，亦即 A~Z、a~z[:blank:] 代表空格键与[tab]按键两者[:cntrl:] 代表键盘上⾯的控制按键，包括CR、LF、Tab、Del等[:digit:] 代表数字⽽已，即 0~9[:graph:] 除了空格符（空格键与[tab]按键）外的其他所有按键[:lower:] 代表⼩写字符，即 a~z[:print:] 代表任何可以被打印出来的字符[:punct:] 代表标点符号（punctuation symbol），亦即 : " ' ? ! ; : # $[:upper:] 代表⼤写字符，即 A~Z[:space:] 代表会产⽣空⽩的字符，包括空格键、[tab]、CR等[:xdigit:] 代表⼗六进制的数字类型，因此包括 0~9、A~F、a~f 的数字与字符匹配次数（贪婪模式）：* 匹配其前⾯的字符任意次？匹配其前⾯的字符0次或者1次+ 匹配其前⾯的字符⾄少1次.* 任意长度的任意字符位置锚定：^ 锚定⾏⾸，此字符后⾯的任意内容必须出现在⾏⾸$ 锚定⾏尾，此字符后⾯的任意内容必须出现在⾏尾^$ 空⽩⾏因为在Linux系统中shell解释器的特殊处理，某些元字符在linux下具有展开式等特殊含义，在实际使⽤过程中，我们需要添加 / 对其进⾏转义。
awk命令详解（转整理）awk命令详解（转整理）⼀、前⾔awk有3个不同版本: awk、nawk和gawk，未作特别说明，⼀般指gawk。
awk语⾔的最基本功能是在⽂件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。
完整的awk脚本通常⽤来格式化⽂本⽂件中的信息。
⼆、基本语法awk [opion] 'awk_script' input_file1 [input_file2 ...]awk的常⽤选项option有：① -F fs : 使⽤fs作为输⼊记录的字段分隔符，如果省略该选项，awk使⽤环境变量IFS的值② -f filename : 从⽂件filename中读取awk_script③ -v var=value : 为awk_script设置变量awk有三种运⾏⽅式：第⼀种，把awk的脚本命令直接放在命令中。
第⼆种，把awk的所有的脚本命令放在⼀个脚本⽂件中，然后⽤-f选项来指定要运⾏的脚本命令⽂件。
第三种，将awk_script放⼊脚本⽂件并以 #!/bin/awk -f 作为⾸⾏，给予该脚本可执⾏权限，然后在shell下通过键⼊该脚本的脚本名调⽤之。
三、awk脚本awk脚本可以由⼀条或多条awk_cmd组成，对于多个awk_cmd，⼀个awk_cmd完成后，应该另起⼀⾏，以便进⾏隔。
awk_cmd由两部分组成: awk_pattern { actions }。
另外，在awk命令中直接使⽤awk_script时，awk_script也可以被分成多⾏书写，但必须确保整个awk_script被单引号括起来。
awk命令的⼀般形式:awk ' BEGIN { actions }awk_pattern1 { actions }............awk_patternN { actions }END { actions }' inputfile其中 BEGIN { actions } 和 END { actions } 是可选的。
Mac命令行实战使用AWK进行数据处理与分析AWK是Unix及Unix-like操作系统上非常强大的文本处理工具，能够帮助我们对大量的数据进行处理和分析。
在Mac系统上，我们可以通过命令行来使用AWK来处理数据，实现各种功能，比如数据过滤、数据转换、数据统计等等。
本文将介绍AWK的基本使用方法，并通过实际案例来展示如何使用AWK进行数据处理与分析。
一、AWK简介AWK是一种处理文本文件的工具，它可以对文件进行数据提取、转换和报告。
AWK的名字来自其创始人的姓氏：Aho、Weinberger和Kernighan。
AWK可以根据预设的规则来处理文本，这些规则由用户指定。
它提供了丰富的内置函数和特定的语法结构，可以进行文本匹配、条件判断、循环操作等等。
因此，AWK成为了处理结构化文本数据的强大工具。
二、AWK的基本语法在Mac命令行中使用AWK时，需要按照以下的基本语法结构来编写AWK程序：```awk 'pattern { actions }' file```其中，pattern用于匹配输入数据，可以是正则表达式，也可以是其他条件；actions则是在满足pattern的情况下执行的动作；file则是输入的文件名。
AWK程序会逐行读取文件的每一行数据，并根据pattern进行匹配。
如果匹配成功，则执行相应的actions。
可以为同一个pattern指定多个actions，用逗号分隔。
三、AWK的常用功能AWK提供了丰富的功能，下面列举了一些常用的功能及其对应的AWK命令：1. 数据提取AWK可以按照指定的字段提取数据。
默认情况下，AWK以空格作为字段分隔符，第一个字段为$1，第二个字段为$2，依此类推。
可以通过使用-F参数指定其他的字段分隔符。
```awk '{ print $1,$2 }' file```2. 数据过滤AWK可以根据条件进行数据过滤。
可以使用关系运算符（比如>、<、==）、逻辑运算符（比如&&、||）以及正则表达式等来定义过滤条件。
awk参数详解wk是⾏处理器: 相⽐较屏幕处理的优点，在处理庞⼤⽂件时不会出现内存溢出或是处理缓慢的问题，通常⽤来格式化⽂本信息awk处理过程: 依次对每⼀⾏进⾏处理，然后输出awk命令形式:awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file[-F|-f|-v] ⼤参数，-F指定分隔符，-f调⽤脚本，-v定义变量 var=value' ' 引⽤代码块BEGIN 初始化代码块，在对每⼀⾏进⾏处理之前，初始化代码，主要是引⽤全局变量，设置FS分隔符// 匹配代码块，可以是字符串或正则表达式{} 命令代码块，包含⼀条或多条命令；多条命令使⽤分号分隔END 结尾代码块，在对每⼀⾏进⾏处理之后再执⾏的代码块，主要是进⾏最终计算或输出结尾摘要信息特殊要点:$0 表⽰整个当前⾏$1 每⾏第⼀个字段NF 字段数量变量NR 每⾏的记录号，多⽂件记录递增FNR 与NR类似，不过多⽂件记录不递增，每个⽂件都从1开始\t 制表符\n 换⾏符FS BEGIN时定义分隔符RS 输⼊的记录分隔符，默认为换⾏符(即⽂本是按⼀⾏⼀⾏输⼊)~ 匹配，与==相⽐不是精确⽐较!~ 不匹配，不精确⽐较== 等于，必须全部相等，精确⽐较!= 不等于，精确⽐较&& 逻辑与|| 逻辑或+ 匹配时表⽰1个或1个以上/[0-9][0-9]+/ 两个或两个以上数字/[0-9][0-9]*/ ⼀个或⼀个以上数字FILENAME ⽂件名OFS 输出字段分隔符，默认也是空格，可以改为制表符等ORS 输出的记录分隔符，默认为换⾏符,即处理结果也是⼀⾏⼀⾏输出到屏幕-F'[:#/]' 定义三个分隔符print & $0print 是awk打印指定内容的主要命令awk '{print}' /etc/passwd == awk '{print $0}' /etc/passwdawk '{print " "}' /etc/passwd //不输出passwd的内容，⽽是输出相同个数的空⾏，进⼀步解释了awk是⼀⾏⼀⾏处理⽂本awk '{print "a"}' /etc/passwd //输出相同个数的a⾏，⼀⾏只有⼀个a字母awk -F":" '{print $1}' /etc/passwdawk -F: '{print $1; print $2}' /etc/passwd //将每⼀⾏的前⼆个字段，分⾏输出，进⼀步理解⼀⾏⼀⾏处理⽂本awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd //输出字段1,3,6，以制表符作为分隔符-f指定脚本⽂件awk -f script.awk fileBEGIN{FS=":"}{print $1} //效果与awk -F":" '{print $1}'相同,只是分隔符使⽤FS在代码⾃⾝中指定awk 'BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}' testI find 4 blank lines.ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}' //计算⽂件⼤⼩total size is 17487-F指定分隔符$1 指指定分隔符后，第⼀个字段，$3第三个字段， \t是制表符⼀个或多个连续的空格或制表符看做⼀个定界符，即多个空格看做⼀个空格awk -F":" '{print $1}' /etc/passwdawk -F":" '{print $1 $3}' /etc/passwd //$1与$3相连输出，不分隔awk -F":" '{print $1,$3}' /etc/passwd //多了⼀个逗号，$1与$3使⽤空格分隔awk -F":" '{print $1 " " $3}' /etc/passwd //$1与$3之间⼿动添加空格分隔awk -F":" '{print "Username:" $1 "\t\t Uid:" $3 }' /etc/passwd //⾃定义输出awk -F: '{print NF}' /etc/passwd //显⽰每⾏有多少字段awk -F: '{print $NF}' /etc/passwd //将每⾏第NF个字段的值打印出来awk -F: 'NF==4 {print }' /etc/passwd //显⽰只有4个字段的⾏awk -F: 'NF>2{print $0}' /etc/passwd //显⽰每⾏字段数量⼤于2的⾏awk '{print NR,$0}' /etc/passwd //输出每⾏的⾏号awk -F: '{print NR,NF,$NF,"\t",$0}' /etc/passwd //依次打印⾏号，字段数，最后字段值，制表符，每⾏内容awk -F: 'NR==5{print}' /etc/passwd //显⽰第5⾏awk -F: 'NR==5 || NR==6{print}' /etc/passwd //显⽰第5⾏和第6⾏route -n|awk 'NR!=1{print}' //不显⽰第⼀⾏//匹配代码块//纯字符匹配 !//纯字符不匹配 ~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2awk '/mysql/' /etc/passwdawk '/mysql/{print }' /etc/passwdawk '/mysql/{print $0}' /etc/passwd //三条指令结果⼀样awk '!/mysql/{print $0}' /etc/passwd //输出不匹配mysql的⾏awk '/mysql|mail/{print}' /etc/passwdawk '!/mysql|mail/{print}' /etc/passwdawk -F: '/mail/,/mysql/{print}' /etc/passwd //区间匹配awk '/[2][7][7]*/{print $0}' /etc/passwd //匹配包含27为数字开头的⾏，如27，277，2777...awk -F: '$1~/mail/{print $1}' /etc/passwd //$1匹配指定内容才显⽰awk -F: '{if($1~/mail/) print $1}' /etc/passwd //与上⾯相同awk -F: '$1!~/mail/{print $1}' /etc/passwd //不匹配awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwdIF语句必须⽤在{}中，且⽐较内容⽤()扩起来awk -F: '{if($1~/mail/) print $1}' /etc/passwd //简写awk -F: '{if($1~/mail/) {print $1}}' /etc/passwd //全写awk -F: '{if($1~/mail/) {print $1} else {print $2}}' /etc/passwd //if...else...条件表达式== != > >=awk -F":" '$1=="mysql"{print $3}' /etc/passwdawk -F":" '{if($1=="mysql") print $3}' /etc/passwd //与上⾯相同awk -F":" '$1!="mysql"{print $3}' /etc/passwd //不等于awk -F":" '$3>1000{print $3}' /etc/passwd //⼤于awk -F":" '$3>=100{print $3}' /etc/passwd //⼤于等于awk -F":" '$3<1{print $3}' /etc/passwd //⼩于awk -F":" '$3<=1{print $3}' /etc/passwd //⼩于等于逻辑运算符&& ||awk -F: '$1~/mail/ && $3>8 {print }' /etc/passwd //逻辑与，$1匹配mail，并且$3>8awk -F: '{if($1~/mail/ && $3>8) print }' /etc/passwdawk -F: '$1~/mail/ || $3>1000 {print }' /etc/passwd //逻辑或awk -F: '{if($1~/mail/ || $3>1000) print }' /etc/passwd数值运算awk -F: '$3 > 100' /etc/passwdawk -F: '$3 > 100 || $3 < 5' /etc/passwdawk -F: '$3+$4 > 200' /etc/passwdawk -F: '/mysql|mail/{print $3+10}' /etc/passwd //第三个字段加10打印awk -F: '/mysql/{print $3-$4}' /etc/passwd //减法awk -F: '/mysql/{print $3*$4}' /etc/passwd //求乘积awk '/MemFree/{print $2/1024}' /proc/meminfo //除法awk '/MemFree/{print int($2/1024)}' /proc/meminfo //取整输出分隔符OFSawk '$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txtawk '$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt//输出字段6匹配WAIT的⾏，其中输出每⾏⾏号，字段4，5,6，并使⽤制表符分割字段输出处理结果到⽂件①在命令代码块中直接输出 route -n|awk 'NR!=1{print > "./fs"}'②使⽤重定向进⾏输出 route -n|awk 'NR!=1{print}' > ./fs格式化输出netstat -anp|awk '{printf "%-8s %-8s %-10s\n",$1,$2,$3}'printf表⽰格式输出%格式化输出分隔符-8长度为8个字符s表⽰字符串类型打印每⾏前三个字段，指定第⼀个字段输出字符串类型(长度为8)，第⼆个字段输出字符串类型(长度为8),第三个字段输出字符串类型(长度为10)netstat -anp|awk '$6=="LISTEN" || NR==1 {printf "%-10s %-10s %-10s \n",$1,$2,$3}'netstat -anp|awk '$6=="LISTEN" || NR==1 {printf "%-3s %-10s %-10s %-10s \n",NR,$1,$2,$3}'IF语句awk -F: '{if($3>100) print "large"; else print "small"}' /etc/passwdsmallsmallsmalllargesmallsmallawk -F: 'BEGIN{A=0;B=0} {if($3>100) {A++; print "large"} else {B++; print "small"}} END{print A,"\t",B}' /etc/passwd //ID⼤于100,A加1，否则B加1awk -F: '{if($3<100) next; else print}' /etc/passwd //⼩于100跳过，否则显⽰awk -F: 'BEGIN{i=1} {if(i<NF) print NR,NF,i++ }' /etc/passwdawk -F: 'BEGIN{i=1} {if(i<NF) {print NR,NF} i++ }' /etc/passwd另⼀种形式awk -F: '{print ($3>100 ? "yes":"no")}' /etc/passwdawk -F: '{print ($3>100 ? $3":\tyes":$3":\tno")}' /etc/passwdwhile语句awk -F: 'BEGIN{i=1} {while(i<NF) print NF,$i,i++}' /etc/passwd7 root 17 x 27 0 37 0 47 root 57 /root 6数组netstat -anp|awk 'NR!=1{a[$6]++} END{for (i in a) print i,"\t",a[i]}'netstat -anp|awk 'NR!=1{a[$6]++} END{for (i in a) printf "%-20s %-10s %-5s \n", i,"\t",a[i]}'9523 19929 1LISTEN 67903 13038/cupsd 17913 110837 19833 1应⽤1awk -F: '{print NF}' helloworld.sh //输出⽂件每⾏有多少字段awk -F: '{print $1,$2,$3,$4,$5}' helloworld.sh //输出前5个字段awk -F: '{print $1,$2,$3,$4,$5}' OFS='\t' helloworld.sh //输出前5个字段并使⽤制表符分隔输出awk -F: '{print NR,$1,$2,$3,$4,$5}' OFS='\t' helloworld.sh //制表符分隔输出前5个字段，并打印⾏号应⽤2awk -F'[:#]' '{print NF}' helloworld.sh //指定多个分隔符: #，输出每⾏多少字段awk -F'[:#]' '{print $1,$2,$3,$4,$5,$6,$7}' OFS='\t' helloworld.sh //制表符分隔输出多字段应⽤3awk -F'[:#/]' '{print NF}' helloworld.sh //指定三个分隔符，并输出每⾏字段数awk -F'[:#/]' '{print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11,$12}' helloworld.sh //制表符分隔输出多字段应⽤4计算/home⽬录下，普通⽂件的⼤⼩，使⽤KB作为单位ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",sum/1024,"KB"}'ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",int(sum/1024),"KB"}' //int是取整的意思应⽤5统计netstat -anp 状态为LISTEN和CONNECT的连接数量分别是多少netstat -anp|awk '$6~/LISTEN|CONNECTED/{sum[$6]++} END{for (i in sum) printf "%-10s %-6s %-3s \n", i," ",sum[i]}'应⽤6统计/home⽬录下不同⽤户的普通⽂件的总数是多少？ls -l|awk 'NR!=1 && !/^d/{sum[$3]++} END{for (i in sum) printf "%-6s %-5s %-3s \n",i," ",sum[i]}'mysql 199root 374统计/home⽬录下不同⽤户的普通⽂件的⼤⼩总size是多少？ls -l|awk 'NR!=1 && !/^d/{sum[$3]+=$5} END{for (i in sum) printf "%-6s %-5s %-3s %-2s \n",i," ",sum[i]/1024/1024,"MB"}'应⽤7输出成绩表awk 'BEGIN{math=0;eng=0;com=0;printf "Lineno. Name No. Math English Computer Total\n";printf "------------------------------------------------------------\n"}{math+=$3; eng+=$4; com+=$5;printf "%-8s %-7s %-7s %-7s %-9s %-10s %-7s \n",NR,$1,$2,$3,$4,$5,$3+$4+$5}END{printf "------------------------------------------------------------\n";printf "%-24s %-7s %-9s %-20s \n","Total:",math,eng,com;printf "%-24s %-7s %-9s %-20s \n","Avg:",math/NR,eng/NR,com/NR}' test0[root@localhost home]# cat test0Marry 2143 78 84 77Jack 2321 66 78 45Tom 2122 48 77 71Mike 2537 87 97 95Bob 2415 40 57 62。
Linux命令高级技巧使用awk命令进行大数据文件的高效处理和分析Linux命令高级技巧：使用awk命令进行大数据文件的高效处理和分析Linux操作系统是广泛应用于服务器和大型计算机集群的一种开源操作系统。
作为开源操作系统，Linux提供了丰富的命令行工具，其中包含了许多强大的命令用于处理和分析大数据文件。
本文将介绍其中之一的awk命令，并探讨如何利用awk命令进行大数据文件的高效处理和分析。
一、awk命令简介awk是一种强大的文本处理工具，可以在Linux命令行终端中使用。
它可以根据指定的规则对输入文本进行分析，并执行相应的操作。
awk是由一系列的模式和动作组成的，其中模式用于匹配行，动作用于处理匹配到的行。
二、基本的awk命令语法awk命令的基本语法如下：```awk 'pattern { action }' inputfile```其中，pattern是用于匹配行的模式，action是对匹配到的行执行的操作，inputfile是待处理的输入文件。
下面是一个简单的例子：```awk '/keyword/ { print $0 }' inputfile```上述命令将会在inputfile文件中搜索包含关键词"keyword"的行，并将匹配到的行打印输出。
三、awk命令的高级技巧1. 指定字段分隔符在默认情况下，awk以空格作为字段的分隔符。
如果要处理以其他字符作为字段分隔符的文件，可以使用-F参数来指定分隔符。
例如，处理以逗号分隔的文件：```awk -F, '{ print $1, $2 }' inputfile```上述命令将以逗号为分隔符，将输入文件中的第一列和第二列打印输出。
2. 使用内置变量awk提供了许多内置变量，用于获取输入行的信息。
其中一些常用的内置变量包括：- $0：表示整个行- $1：表示第一个字段- NF：表示字段的数量- NR：表示当前行的行号可以使用这些内置变量来进行更复杂的处理和分析。
linux正则表达式awk详解awk和sed⼀样是流式编辑器，它也是针对⽂档中的⾏来操作的，⼀⾏⼀⾏的去执⾏。
awk⽐sed更加强⼤，它能做到sed能做到的，同样也能做到sed不能做到的。
awk常⽤来分段；awk不⽤加任何参数就可以实现 + ? * . | 这些特殊符号；1、截取⽂档中的某个段[root@yonglinux ~]# head -n2 passwd |awk -F: '{print $1}'rootbin[root@yonglinux ~]# head -n2 passwd |awk -F: '{print $0}'root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologin[root@yonglinux ~]# head -n2 passwd |awk -F: '{print $1,$3,$7}'root 0 /bin/bashbin 1 /sbin/nologin-F 选项的作⽤是指定分隔符，如果不加-F指定，则以空格或者tab为分隔符。
Print为打印的动作，⽤来打印出某个字段。
$1为第⼀个字段，$2为第⼆个字段，依次类推，有⼀个特殊的那就是$0，它表⽰整⾏。
{ }内可以打印多个字段$1,$3,$7 打印第1、3、7段，中间⽤逗号隔开；打印分段默认分隔符为空格，可以⾃定义分隔符，分隔符需要⽤双引号括起来；也可以OFS定义输出分隔符；[root@localhost ~]# awk -F: '{print $3,$4}' 1.txt |head -50 01 12 23 44 7[root@localhost ~]# awk -F: '{print $3":"$4}' 1.txt |head -50:01:12:23:44:7[root@localhost ~]# awk -F: 'OFS="#"{print $3,$4}' 1.txt |head -50#01#12#23#44#7[root@yonglinux ~]# head -n2 passwd |awk -F: '{print $1"#""@"$3"#"$7}'root#@0#/bin/bashbin#@1#/sbin/nologin注意awk的格式，-F后紧跟单引号，然后⾥⾯为分隔符，print的动作要⽤ { } 括起来，否则会报错。
awk是一种非常好的语言，同时有一个非常奇怪的名称。
在本系列的文章中，DanielRobbins 将使您迅速掌握 awk编程技巧。
随着本系列的进展，将讨论更高级的主题，最后将演示一个真正的高级awk 演示程序。
awk是一种很棒的语言。
awk 适合于文本处理和报表生成，它还有许多精心设计的特性，允许进行需要特殊技巧程序设计。
与某些语言不同，awk 的语法较为常见。
它借鉴了某些语言的一些精华部分，如 C 语言、python 和 bash（虽然在技术上，awk 比 python 和 bash 早创建）。
awk 是那种一旦学会了就会成为您战略编码库的主要部分的语言。
一. 第一个 awk让我们继续，开始使用 awk，以了解其工作原理。
在命令行中输入以下命令：$ awk '{ print }' /etc/passwd您将会见到 /etc/passwd 文件的内容出现在眼前。
现在，解释 awk 做了些什么。
调用 awk 时，我们指定 /etc/passwd 作为输入文件。
执行 awk 时，它依次对 /etc/passwd 中的每一行执行 print 命令。
所有输出都发送到 stdout，所得到的结果与与执行catting /etc/passwd 完全相同。
现在，解释 { print } 代码块。
在 awk 中，花括号用于将几块代码组合到一起，这一点类似于 C 语言。
在代码块中只有一条 print 命令。
在 awk 中，如果只出现 print 命令，那么将打印当前行的全部内容。
这里是另一个 awk 示例，它的作用与上例完全相同：$ awk '{ print $0 }' /etc/passwd在 awk 中， $0 变量表示整个当前行，所以 print 和 print $0 的作用完全一样。
如果您愿意，可以创建一个 awk 程序，让它输出与输入数据完全无关的数据。
Linux命令高级技巧使用awk命令进行统计和计算在Linux操作系统中，awk命令是一种非常强大且灵活的文本处理工具。
它可以用于对文本文件进行数据提取、处理和分析。
在本文中，我们将介绍一些高级的awk命令技巧，重点是如何使用awk命令进行统计和计算。
一、awk命令简介awk是一种处理文本文件的命令行工具，在Linux系统中默认安装。
它以逐行扫描文本文件的方式工作，根据指定的规则来处理每一行的数据。
awk命令的语法通常为：```awk 'pattern {action}' file```其中，pattern用于匹配文本行，而action用于对匹配的行执行操作。
可以通过在pattern和action之间使用一些特殊的操作符和函数来实现更复杂的处理逻辑。
二、使用awk命令进行统计1. 行数统计使用awk命令可以轻松实现对文本文件行数的统计。
只需要将每一行视为一个记录，通过打印记录的数量即可得到行数。
具体命令如下：awk 'END{print NR}' file```其中，NR是awk内置的变量，表示当前记录（行）的数量。
使用END关键字可以确保在所有行处理完毕后才执行打印操作。
2. 字符数统计awk命令也可以用于统计文本文件中的字符数。
我们可以使用length函数来获取每一行的字符数，并将其累加得到总字符数。
具体命令如下：```awk '{count += length($0)} END{print count}' file```其中，$0表示当前行的内容，length函数用于计算当前行的字符数。
同样地，END关键字用于在所有行处理完毕后执行打印操作。
三、使用awk命令进行计算除了统计功能，awk命令还可以进行一些简单的数学计算。
我们可以使用awk的内置运算符和数学函数来实现。
1. 求和计算使用awk命令可以轻松实现对文本文件中数字列的求和计算。
假设要对某一列的数字进行求和，可以使用如下命令：awk '{sum += $1} END{print sum}' file```其中，$1表示当前行的第一个字段（列），sum是一个变量，用于累加每个字段的值。
awk语法规则
awk语法规则是一种文本处理工具，它可用于在文件中查找和替换数据。
以下是几个基本的awk语法规则：
1. awk命令的基本语法为：
```
awk [选项] '模式1 {动作1} 模式2 {动作2} ...' 文件名
```
其中，选项可以是：
-F：指定输入文件的字段分隔符
-v：定义变量
-f：指定包含awk脚本的文件名
2. awk的模式指定了对应的动作。
模式可以是以下几种：
- /正则表达式/：匹配正则表达式的行
- BEGIN：在处理输入之前执行的动作
- END：在处理输入之后执行的动作
- 行号：匹配行号的行
3. awk的动作指定了对应模式下要执行的命令。
动作可以是以下几种：
- print：输出指定的字段或整行
- printf：格式化输出
- getline：读入下一行数据
- if-else语句：条件语句
4. awk中的变量：
- $0：整行数据
- $1, $2, ...：第1、2、...个字段
- NR：当前记录的行号
- NF：当前记录的字段数
5. awk中的运算符：
- +、-、*、/：加、减、乘、除
- %：取模
- ==：等于
- !=：不等于
- >、>=、<、<=：大于、大于等于、小于、小于等于以上是awk语法规则的基本内容，掌握这些规则可以方便地进行文本处理。
awk命令详解awk是⼀个强⼤的⽂本分析⼯具，相对于grep的查找，sed的编辑，awk在其对数据分析并⽣成报告时，显得尤为强⼤。
简单来说awk就是把⽂件逐⾏的读⼊，以空格为默认分隔符将每⾏切⽚，切开的部分再进⾏各种分析处理。
使⽤⽅法：awk '{pattern + action}' {filenames}尽管操作可能会很复杂，但语法总是这样，其中 pattern 表⽰ AWK 在数据中查找的内容，⽽ action 是在找到匹配内容时所执⾏的⼀系列命令。
花括号（{}）不需要在程序中始终出现，但它们⽤于根据特定的模式对⼀系列指令进⾏分组。
pattern就是要表⽰的正则表达式，⽤斜杠括起来。
awk语⾔的最基本功能是在⽂件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进⾏其他⽂本操作。
完整的awk脚本通常⽤来格式化⽂本⽂件中的信息。
通常，awk是以⽂件的⼀⾏为处理单位的。
awk每接收⽂件的⼀⾏，然后执⾏相应的命令，来处理⽂本。
awk程序的报告⽣成能⼒通经常使⽤来从⼤⽂本⽂件⾥提取数据元素并将它们格式化成可读的报告。
最完美的样例是格式化⽇志⽂件。
awk的⽤法awk'BEGIN{ commands } pattern{ commands } END{ commands }'第⼀步：运⾏BEGIN{ commands }语句块中的语句。
第⼆步：从⽂件或标准输⼊(stdin)读取⼀⾏。
然后运⾏pattern{ commands }语句块，它逐⾏扫描⽂件，从第⼀⾏到最后⼀⾏反复这个过程。
直到⽂件所有被读取完成。
第三步：当读⾄输⼊流末尾时。
运⾏END{ commands }语句块。
BEGIN语句块在awk開始从输⼊流中读取⾏之前被运⾏，这是⼀个可选的语句块，⽐⽅变量初始化、打印输出表格的表头等语句通常能够写在BEGIN语句块中。
END语句块在awk从输⼊流中读取全然部的⾏之后即被运⾏。
linux下awk命令使用详解（实例）linux下awk命令使用详解（实例）分类： shell编程开发 2012-04-27 18:15 112人阅读评论(0) 收藏举报最近在搞linux系统脚本文件时，遇到了AWK以前培训的时候没有注意还有这样的命令，这里学习并整理了下！一、awk命令行模式：第一种,命令行方式,如:awk [-Ffield-separator] 'commands' input-file(s)这里commands是真正的awk命令,[-F域分隔符]是可选的,awk 默认使用空格分隔,因此如果要浏览域间有空格的文本,不必指定这个选项,但如果浏览如passwd文件,此文件各域使用冒号作为分隔符,则必须使用-F选项:awk -F : 'commands' input-file第二种,将所有awk命令插入一个文件,然后用awk命令解释器作为脚本的首行,以便通过键入脚本名称来调用它。
第三种,将所有awk命令插入一个单独文件,然后调用:awk -f awk-script-file input-file-f选项指明在文件awk-script-file的awk脚本,input-file是使用awk进行浏览的文件名awk脚本:awk脚本由各种操作和模式组成,根据分隔符(-F选项),默认为空格,读取的内容依次放置到对应的域中,一行一行记录读取,直到文件尾模式和动作:任何awk语句都是由模式和动作组成,在一个awk脚本中可能有许多语句。
模式部分决定动作语句何时触发及触发事件。
动作即对数据进行的操作,如果省去模式部分,动作将时刻保持执行状态模式可以是任何条件语句或复合语句或正则表达式,模式包含两个特殊字段BEGIN和END,使用BEGIN语句设置计数和打印头,BEGIN语句使用在任何文本浏览动作之前,之后文本浏览动作依据输入文件开始执行;END语句用来在awk 完成文本浏览动作后打印输出文本总数和结尾状态标志,有动作必须使用{}括起来实际动作在大括号{}内指明,常用来做打印动作,但是还有更长的代码如if和循环looping语句及循环退出等,如果不指明采取什么动作,awk默认打印出所有浏览出的记录域和记录:awk执行时,其浏览标记为$1,$2...$n,这种方法称为域标记.使用$1,$3表示参照第1和第3域,注意这里使用逗号分隔域,使用$0表示使用所有域例:awk'{print $0}' temp.txt >sav.txt 表示打印所有域并把结果重定向到sav.txt中awk '{print $0}' temp.txt|tee sav.txt 和上例相似,不同的是将在屏幕上显示出来awk '{print $1,$4}'temp.txt 只打印出第1和第4域awk 'BEGIN {print "NAME GRADE\n-------------"} {print $1"\t"$4}'temp.txt表示打信息头,即输入的内容的第一行前加上"NAMEGRADE\n-------------",同时内容以tab分开awk 'BEGIN {print "being"} {print $1} END {print "end"}' temp 同时打印信息头和信息尾条件操作符:<、<=、==、!=、>=、~匹配正则表达式、!~不匹配正则表达式匹配:awk'{if ($4~/ASIMA/) print $0}' temp 表示如果第四个域包含ASIMA,就打印整条awk '$0 ~ /ASIMA/' temp 表示只要整条包含ASIMA就打印出来精确匹配:awk'$3=="48" {print $0}'temp 只打印第3域等于"48"的记录不匹配:awk '$0 !~ /ASIMA/'temp 打印整条不包含ASIMA的记录不等于:awk '$1 != "asima"' temp小于:awk '{if ($1<$2) print $1 "is smaller"}'temp设置大小写:awk '/[Gg]reen/'temp 打印整条包含Green,或者green的记录任意字符:awk '$1 ~/^...a/'temp 打印第1域中第四个字符是a的记录,^行首,.任意字符或关系匹配:awk '$0~/(abc)|(efg)/' temp 使用|时,语句需要括起来AND与关系:awk '{if ( $1=="a" && $2=="b" )print $0}' tempOR或关系:awk '{if ($1=="a" || $1=="b") print $0}' temp二、awk内置变量:ARGC 命令行参数个数AGRV 命令行参数排列ENVIRON 支持队列中系统环境变量的使用FILENAME awk浏览的文件名FNR 浏览文件的记录数FS 设置输入域分隔符,同- F选项NF 浏览记录的域个数NR 已读的记录数OFS 输出域分隔符ORS 输出记录分隔符RS 控制记录分隔符例:awk 'END {print NR}'temp 在最后打印已读记录条数awk '{print NF,NR,$0} END {print FILENAME}' tempawk '{if (NR>0 &&$4~/Brown/) print $0}' temp 至少存在一条记录且包含BrownNF的另一用法:echo $PWD | awk -F/ '{print$NF}' 显示当前目录名awk操作符:在awk中使用操作符,基本表达式可以划分成数字型、字符串型、变量型、域及数组元素设置输入域到变量名:awk'{name=$1;six=$3; if (six=="man") print name " is " six}'temp域值比较操作:awk 'BEGIN{BASE="27"} {if ($4<BASE) print $0}' temp修改数值域取值:(原输入文件不会被改变)awk '{if ($1=="asima")$6=$6-1;print $1,$6,$7}' temp修改文本域:awk '{if ($1=="asima) ($1=="desc");print $1}' temp只显示修改记录:(只显示所需要的,区别上一条命令,注意{})awk '{if ($1=="asima) {$1=="desc";print$1}}'temp创建新的输出域:awk '{$4=$3-$2; print $4}' temp统计列值:awk '(tot+=$3);END {print tot}'temp 会显示每列的内容awk '{(tot+=$3)};END {printtot}'temp 只显示最后的结果文件长度相加:ls -l|awk '/^[^d]/ {print$9"\t"$5} {tot+=$5} END{print "totKB:" tot}'只列出文件名:ls -l|awk'{print$9}' 常规情况文件名是第9域awk内置字符串函数:gsub(r,s)在整个$0中用s替代rawk'gsub(/name/,"xingming") {print $0}' tempgsub(r,s,t)在整个t中用s替代rindex(s,t)返回s中字符串t的第一位置awk 'BEGIN{print index("Sunny","ny")}'temp 返回4length(s)返回s的长度match(s,r)测试s是否包含匹配r的字符串awk'$1=="J.Lulu" {print match($1,"u")}'temp 返回4split(s,a,fs)在fs上将s分成序列aawk 'BEGIN{print split("12#345#6789",myarray,"#")"'返回3,同时myarray[1]="12", myarray[2]="345",myarray[3]="6789"sprint(fmt,exp)返回经fmt格式化后的expsub(r,s)从$0中最左边最长的子串中用s代替r(只更换第一遇到的匹配字符串)substr(s,p)返回字符串s中从p开始的后缀部分substr(s,p,n)返回字符串s中从p开始长度为n的后缀部分printf函数的使用:字符转换:echo "65" |awk '{printf"%c\n",$0}' 输出Aawk 'BEGIN {printf"%f\n",999}' 输出999.000000格式化输出:awk'{printf "%-15s %s\n",$1,$3}' temp 将第一个域全部左对齐显示其他awk用法:向一行awk命令传值:awk '{if ($5<AGE) print $0}' AGE=10 tempwho | awk '{if ($1==user) print $1 " are in " $2 ' user=$LOGNAME使用环境变量awk脚本命令:开头使用 !/bin/awk -f ,如果没有这句话自含脚本将不能执行,例子:1.!/bin/awk-f2.# allcomment lines must start with a hash '#'3.#name: student_tot.awk4.# tocall: student_tot.awk grade.txt5.#prints total and average of club student points6.7.#print a header first8.BEGIN9.{10.print"Student Date Member No. Grade AgePoints Max"11.print"Name Joined Gained Point Available"12.print"=============================== =================================="13.}14.#let's add the scores of points gained15.(tot+=$6);16.#finished processing now let's print the total and averagepoint17.END18.{19.print "Club student total points :" tot20.print "Average Club Student points :" tot/N21.}[plain] view plaincopyprint?1.awk数组:awk的循环基本结构 For (element in array) print array[element]awk'BEGIN{record="123#456#789";split(record,myarray,"#")} END { for (i in myarray) {print myarray[i]} }[html] view plaincopyprint?1.awk -v MASS_UNPLUG=$MASS_UNPLUG '2.{3.<PRE class=html name="code"><SPAN style="WHITE-SPACE: pre"></SPAN>if ($0 ~ /^\/dev\/sd/) {4.<SPAN style="WHITE-SPACE: pre"></SPAN>print "umount " $2;5.<SPAN style="WHITE-SPACE: pre"></SPAN>if (system("umount " $2)) {6.<SPAN style="WHITE-SPACE: pre"></SPAN>print "umount fail!";7.<SPAN style="WHITE-SPACE: pre"></SPAN>if ($2 ~ /nand/) {8.<SPAN style="WHITE-SPACE: pre"></SPAN>if (plug_devs) {9.<SPAN style="WHITE-SPACE: pre"></SPAN>plug_devs = plug_devs " /dev/ null";10.<SPAN style="WHITE-SPACE: pre"></SPAN>} else {11.<SPAN style="WHITE-SPACE: pre"></SPAN>plug_devs = "/dev/null";12.<SPAN style="WHITE-SPACE: pre"></SPAN>}13.<SPAN style="WHITE-SPACE: pre"></SPAN>}14.<SPAN style="WHITE-SPACE: pre"></SPAN>}15.<SPAN style="WHITE-SPACE: pre"></SPAN>}</PRE>}END {system("echo \"/usr/mas s /dev/null&\" >> " MASS_UNPLUG);print "/usr/mass " plug_de vs " &";system("/usr/mass " plug_devs " &");} ' /proc/mounts<P ></P>16.<PRE></PRE>17.<BR>18.上面是我遇到的一个AWK的样例:19.<P></P>20.<P>功能就是：查找/proc/mount 文件中记录的一些挂载节点数据！</P>21.<P><BR>22.</P>23.<P></P>24.<BR>。
以下是一些基本的AWK用法：1.打印指定列：bashawk 'print $1,$3' file.txt这会打印文件file.txt中的第一列和第三列。
2.根据模式打印行：bashawk '/pattern/ {print $0}' file.txt这会打印包含字符串pattern的所有行。
3.条件语句：bashawk '$1 > 50 {print$1}' file.txt这会打印文件file.txt中第一列值大于50的所有行的第一列。
4.使用分隔符分割数据：bashawk -F ',' 'print $1,$3' file.csv这会使用逗号","作为分隔符来处理file.csv中的数据。
5.计算行数、列数、和：bashawk 'END {print NR " rows"}' file.txtawk 'print NF " columns"' file.txtawk '{sum+=$1} END {print "Sum ", sum}' file.txt分别打印文件file.txt的行数、列数以及所有第一列数值的和。
6.使用变量和循环：bashawk '{for(i=1; i<NF; i++) sum[i] += $i} END {for(i=1; i<NF; i++) print sum[i]}' file.txt 这会计算每个列的和，并将结果存储在数组sum中。
7.修改或替换数据：bashawk 'gsub("pattern", "replacement") {print $0}' file.txt这会替换文件file.txt中所有pattern字符串为replacement。
