awk详解

awk的基本使⽤⽅法awk是处理⽂本⽂件的⼀个应⽤程序，⼏乎所有系统都⾃带这个程序。

它依次处理⽂件的每⼀⾏，并读取⾥⾯的每⼀个字段。

对于⽇志、CSV 那样的每⾏格式相同的⽂本⽂件，awk可能是最⽅便的⼯具。

awk其实不仅仅是⼯具软件，还是⼀种编程语⾔。

不过，本⽂只介绍它的命令⾏⽤法，对于⼤多数场合，应该⾜够⽤了。

⼀、基本⽤法awk的基本⽤法就是下⾯的形式。

# 格式$ awk 动作⽂件名# ⽰例$ awk '{print $0}' demo.txt上⾯⽰例中，demo.txt是awk所要处理的⽂本⽂件。

前⾯单引号内部有⼀个⼤括号，⾥⾯就是每⼀⾏的处理动作print $0。

其中，print是打印命令，$0代表当前⾏，因此上⾯命令的执⾏结果，就是把每⼀⾏原样打印出来。

下⾯，我们先⽤标准输⼊（stdin）演⽰上⾯这个例⼦。

$ echo 'this is a test' | awk '{print $0}'this is a test上⾯代码中，print $0就是把标准输⼊this is a test，重新打印了⼀遍。

awk会根据空格和制表符，将每⼀⾏分成若⼲字段，依次⽤$1、$2、$3代表第⼀个字段、第⼆个字段、第三个字段等等。

>$ echo 'this is a test' | awk '{print $3}'a上⾯代码中，$3代表this is a test的第三个字段a。

下⾯，为了便于举例，我们把/etc/passwd⽂件保存成demo.txt。

>root:x:0:0:root:/root:/usr/bin/zshdaemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologinbin:x:2:2:bin:/bin:/usr/sbin/nologinsys:x:3:3:sys:/dev:/usr/sbin/nologinsync:x:4:65534:sync:/bin:/bin/sync这个⽂件的字段分隔符是冒号（:），所以要⽤-F参数指定分隔符为冒号。

awk正则表达式和内置函数的使⽤⽅法实例详解awk正则表达式及内置函数实例详解：1、模糊匹配：复制代码代码如下:awk ‘{if($3~/97/) print $0}' data.f：如果第三项中含有”97”则打印该⾏awk ‘{if($4!~/ufcx/) print $0}' data.f：如果第三项中不含ufcx有则打印2、精确匹配：复制代码代码如下:awk ‘{if($5==66) print $0}' data.f：如果第五项是66则打印awk ‘{if($5!=66)print $0}' data.f : 如果第五项不是66则打印awk ‘{if($1>$5) print $0}' data.f：如果第⼀项⼤于第五项则打印3、⼤⼩写匹配：复制代码代码如下:awk ‘{if(/[Ss]ept/) print $0}' data.f：符合，则打印⼀⾏。

awk ‘/[Ss]ept/ {print $2}' data.f：符合，则打印第⼆字段4、任意匹配：复制代码代码如下:awk ‘{if($2 ~/^.e/) print $0}' data.f：第⼆字段中，第⼆个字符为e，输出awk ‘{if($4 ~/(lps|fcx)/) print $0}' data.f：第四个字段含有lps或fcx则输出5、&&，||：复制代码代码如下:awk ‘{if($3 ~/1993/ && $2==”sept”) print $0}' data.f：两边都真则输出awk ‘{if($3 ~/a9/ || $2==”sept”) print $0}' data.f：⼀边为真则输出6、变量定义：awk ‘{date=$2;price=$5; if(date ~/[Ss]ept/) print “price is ” price}' data.f：变量定义，满⾜date是sept或者Sept的将price输出。

Linux三剑客awk、grep、sed详解⼀、前⾔linux 有很多⼯具可以做⽂本处理，例如：sort, cut, split, join, paste, comm, uniq, column, rev, tac, tr, nl, pr, head, tail.....，学习 linux ⽂本处理的懒惰⽅式（不是最好的⽅法）可能是：只学习grep，sed和awk。

使⽤这三个⼯具，你可以解决近 99％ linux 系统的⽂本处理问题，⽽不需要记住上⾯不同的命令和参数。

:)⽽且，如果你已经学会并使⽤了三者，你就会知道其中的差异。

实际上，这⾥的差异意味着哪个⼯具擅长解决什么样的问题。

⼀种更懒惰的⽅式可能是学习脚本语⾔（python，perl或ruby）并使⽤它进⾏每个⽂本处理。

⼆、概述awk、grep、sed 是 linux 操作⽂本的三⼤利器，也是必须掌握的 linux 命令之⼀。

三者的功能都是处理⽂本，但侧重点各不相同，其中属awk 功能最强⼤，但也最复杂。

grep 更适合单纯地查找或匹配⽂本，sed 更适合编辑匹配到的⽂本，awk 更适合格式化⽂本，对⽂本进⾏较复杂格式处理。

简单概括：grep：数据查找定位awk：数据切⽚sed：数据修改三、grep = global regular expression print⽤最简单术语来说，grep(全局正则表达式打印)--命令⽤于查找⽂件⾥符合条件的字符串。

从⽂件的第⼀⾏开始，grep 将⼀⾏复制到 buffer 中，将其与搜索字符串进⾏⽐较，如果⽐较通过，则将该⾏打印到屏幕上。

grep将重复这个过程，直到⽂件搜索所有⾏。

注意这⾥没有进程执⾏ grep 存储⾏、更改⾏或仅搜索部分⾏。

1、⽰例数据⽂件请将以下数据剪切粘贴到⼀个名为 “sampler.log” 的⽂件中:bootbookboozemachinebootsbungiebarkaardvarkbroken$tuffrobots2、⼀个简单例⼦grep 最简单的例⼦是:grep "boo" sampler.log在本例中，grep 将遍历⽂件 “sampler.log” 的每⼀⾏，并打印出其中的每⼀⾏包含单词“boo”:bootbookboozeboots但是如果你操作的是⼤型⽂件，就会出现这种情况：如果这些⾏标识了⽂件中的哪⼀⾏，它们是什么，可能对你更有⽤，如果需要在编辑器中打开⽂件，那么可以更容易地跟踪特定字符串做⼀些改变。

Linux三剑客详解（grep、sed、awk）前⾔ 在Linux的学习和使⽤当中，⼈们常常提到的三剑客其实指的是grep、sed、awk这三个命令的简称，当熟练掌握了这⼏个命令，可以极⼤的提升运维效率。

在讲到这三个命令之前，我们得先了解什么是正则表达式，正则表达式是学习三剑客的基础和前提。

⼀、正则表达式 正则表达式：Regular Expression，描述了⼀种字符串匹配的模式（pattern），可以⽤来检查⼀个串是否含有某种⼦串、将匹配的⼦串替换或者从某个串中取出复核某个条件的⼦串等。

标准正则表达式：元字符：. 匹配任意单个字符[] 匹配指定范围内的任意单个字符[^] 匹配指定范围外的任意单个字符字符集合：[:alnum:] 代表英⽂⼤⼩写字符及数字，亦即 0~9、A~Z、a~z[:alpha:] 代表任何英⽂⼤⼩写字符，亦即 A~Z、a~z[:blank:] 代表空格键与[tab]按键两者[:cntrl:] 代表键盘上⾯的控制按键，包括CR、LF、Tab、Del等[:digit:] 代表数字⽽已，即 0~9[:graph:] 除了空格符（空格键与[tab]按键）外的其他所有按键[:lower:] 代表⼩写字符，即 a~z[:print:] 代表任何可以被打印出来的字符[:punct:] 代表标点符号（punctuation symbol），亦即 : " ' ? ! ; : # $[:upper:] 代表⼤写字符，即 A~Z[:space:] 代表会产⽣空⽩的字符，包括空格键、[tab]、CR等[:xdigit:] 代表⼗六进制的数字类型，因此包括 0~9、A~F、a~f 的数字与字符匹配次数（贪婪模式）：* 匹配其前⾯的字符任意次？匹配其前⾯的字符0次或者1次+ 匹配其前⾯的字符⾄少1次.* 任意长度的任意字符位置锚定：^ 锚定⾏⾸，此字符后⾯的任意内容必须出现在⾏⾸$ 锚定⾏尾，此字符后⾯的任意内容必须出现在⾏尾^$ 空⽩⾏因为在Linux系统中shell解释器的特殊处理，某些元字符在linux下具有展开式等特殊含义，在实际使⽤过程中，我们需要添加 / 对其进⾏转义。

awk命令详解（转整理）awk命令详解（转整理）⼀、前⾔awk有3个不同版本: awk、nawk和gawk，未作特别说明，⼀般指gawk。

awk语⾔的最基本功能是在⽂件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。

完整的awk脚本通常⽤来格式化⽂本⽂件中的信息。

⼆、基本语法awk [opion] 'awk_script' input_file1 [input_file2 ...]awk的常⽤选项option有：① -F fs : 使⽤fs作为输⼊记录的字段分隔符，如果省略该选项，awk使⽤环境变量IFS的值② -f filename : 从⽂件filename中读取awk_script③ -v var=value : 为awk_script设置变量awk有三种运⾏⽅式：第⼀种，把awk的脚本命令直接放在命令中。

第⼆种，把awk的所有的脚本命令放在⼀个脚本⽂件中，然后⽤-f选项来指定要运⾏的脚本命令⽂件。

第三种，将awk_script放⼊脚本⽂件并以 #!/bin/awk -f 作为⾸⾏，给予该脚本可执⾏权限，然后在shell下通过键⼊该脚本的脚本名调⽤之。

三、awk脚本awk脚本可以由⼀条或多条awk_cmd组成，对于多个awk_cmd，⼀个awk_cmd完成后，应该另起⼀⾏，以便进⾏隔。

awk_cmd由两部分组成: awk_pattern { actions }。

另外，在awk命令中直接使⽤awk_script时，awk_script也可以被分成多⾏书写，但必须确保整个awk_script被单引号括起来。

awk命令的⼀般形式:awk ' BEGIN { actions }awk_pattern1 { actions }............awk_patternN { actions }END { actions }' inputfile其中 BEGIN { actions } 和 END { actions } 是可选的。

Mac命令行实战使用AWK进行数据处理与分析AWK是Unix及Unix-like操作系统上非常强大的文本处理工具，能够帮助我们对大量的数据进行处理和分析。

在Mac系统上，我们可以通过命令行来使用AWK来处理数据，实现各种功能，比如数据过滤、数据转换、数据统计等等。

本文将介绍AWK的基本使用方法，并通过实际案例来展示如何使用AWK进行数据处理与分析。

一、AWK简介AWK是一种处理文本文件的工具，它可以对文件进行数据提取、转换和报告。

AWK的名字来自其创始人的姓氏：Aho、Weinberger和Kernighan。

AWK可以根据预设的规则来处理文本，这些规则由用户指定。

它提供了丰富的内置函数和特定的语法结构，可以进行文本匹配、条件判断、循环操作等等。

因此，AWK成为了处理结构化文本数据的强大工具。

二、AWK的基本语法在Mac命令行中使用AWK时，需要按照以下的基本语法结构来编写AWK程序：```awk 'pattern { actions }' file```其中，pattern用于匹配输入数据，可以是正则表达式，也可以是其他条件；actions则是在满足pattern的情况下执行的动作；file则是输入的文件名。

AWK程序会逐行读取文件的每一行数据，并根据pattern进行匹配。

如果匹配成功，则执行相应的actions。

可以为同一个pattern指定多个actions，用逗号分隔。

三、AWK的常用功能AWK提供了丰富的功能，下面列举了一些常用的功能及其对应的AWK命令：1. 数据提取AWK可以按照指定的字段提取数据。

默认情况下，AWK以空格作为字段分隔符，第一个字段为$1，第二个字段为$2，依此类推。

可以通过使用-F参数指定其他的字段分隔符。

```awk '{ print $1,$2 }' file```2. 数据过滤AWK可以根据条件进行数据过滤。

可以使用关系运算符（比如>、<、==）、逻辑运算符（比如&&、||）以及正则表达式等来定义过滤条件。

awk参数详解wk是⾏处理器: 相⽐较屏幕处理的优点，在处理庞⼤⽂件时不会出现内存溢出或是处理缓慢的问题，通常⽤来格式化⽂本信息awk处理过程: 依次对每⼀⾏进⾏处理，然后输出awk命令形式:awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file[-F|-f|-v] ⼤参数，-F指定分隔符，-f调⽤脚本，-v定义变量 var=value' ' 引⽤代码块BEGIN 初始化代码块，在对每⼀⾏进⾏处理之前，初始化代码，主要是引⽤全局变量，设置FS分隔符// 匹配代码块，可以是字符串或正则表达式{} 命令代码块，包含⼀条或多条命令；多条命令使⽤分号分隔END 结尾代码块，在对每⼀⾏进⾏处理之后再执⾏的代码块，主要是进⾏最终计算或输出结尾摘要信息特殊要点:$0 表⽰整个当前⾏$1 每⾏第⼀个字段NF 字段数量变量NR 每⾏的记录号，多⽂件记录递增FNR 与NR类似，不过多⽂件记录不递增，每个⽂件都从1开始\t 制表符\n 换⾏符FS BEGIN时定义分隔符RS 输⼊的记录分隔符，默认为换⾏符(即⽂本是按⼀⾏⼀⾏输⼊)~ 匹配，与==相⽐不是精确⽐较!~ 不匹配，不精确⽐较== 等于，必须全部相等，精确⽐较!= 不等于，精确⽐较&&　逻辑与|| 逻辑或+ 匹配时表⽰1个或1个以上/[0-9][0-9]+/ 两个或两个以上数字/[0-9][0-9]*/ ⼀个或⼀个以上数字FILENAME ⽂件名OFS 输出字段分隔符，默认也是空格，可以改为制表符等ORS 输出的记录分隔符，默认为换⾏符,即处理结果也是⼀⾏⼀⾏输出到屏幕-F'[:#/]' 定义三个分隔符print & $0print 是awk打印指定内容的主要命令awk '{print}' /etc/passwd == awk '{print $0}' /etc/passwdawk '{print " "}' /etc/passwd //不输出passwd的内容，⽽是输出相同个数的空⾏，进⼀步解释了awk是⼀⾏⼀⾏处理⽂本awk '{print "a"}' /etc/passwd //输出相同个数的a⾏，⼀⾏只有⼀个a字母awk -F":" '{print $1}' /etc/passwdawk -F: '{print $1; print $2}' /etc/passwd //将每⼀⾏的前⼆个字段，分⾏输出，进⼀步理解⼀⾏⼀⾏处理⽂本awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd //输出字段1,3,6，以制表符作为分隔符-f指定脚本⽂件awk -f script.awk fileBEGIN{FS=":"}{print $1} //效果与awk -F":" '{print $1}'相同,只是分隔符使⽤FS在代码⾃⾝中指定awk 'BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}' testI find 4 blank lines.ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}' //计算⽂件⼤⼩total size is 17487-F指定分隔符$1 指指定分隔符后，第⼀个字段，$3第三个字段， \t是制表符⼀个或多个连续的空格或制表符看做⼀个定界符，即多个空格看做⼀个空格awk -F":" '{print $1}' /etc/passwdawk -F":" '{print $1 $3}' /etc/passwd //$1与$3相连输出，不分隔awk -F":" '{print $1,$3}' /etc/passwd //多了⼀个逗号，$1与$3使⽤空格分隔awk -F":" '{print $1 " " $3}' /etc/passwd //$1与$3之间⼿动添加空格分隔awk -F":" '{print "Username:" $1 "\t\t Uid:" $3 }' /etc/passwd //⾃定义输出awk -F: '{print NF}' /etc/passwd //显⽰每⾏有多少字段awk -F: '{print $NF}' /etc/passwd //将每⾏第NF个字段的值打印出来awk -F: 'NF==4 {print }' /etc/passwd //显⽰只有4个字段的⾏awk -F: 'NF>2{print $0}' /etc/passwd //显⽰每⾏字段数量⼤于2的⾏awk '{print NR,$0}' /etc/passwd //输出每⾏的⾏号awk -F: '{print NR,NF,$NF,"\t",$0}' /etc/passwd //依次打印⾏号，字段数，最后字段值，制表符，每⾏内容awk -F: 'NR==5{print}' /etc/passwd //显⽰第5⾏awk -F: 'NR==5 || NR==6{print}' /etc/passwd //显⽰第5⾏和第6⾏route -n|awk 'NR!=1{print}' //不显⽰第⼀⾏//匹配代码块//纯字符匹配 !//纯字符不匹配 ~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2awk '/mysql/' /etc/passwdawk '/mysql/{print }' /etc/passwdawk '/mysql/{print $0}' /etc/passwd //三条指令结果⼀样awk '!/mysql/{print $0}' /etc/passwd //输出不匹配mysql的⾏awk '/mysql|mail/{print}' /etc/passwdawk '!/mysql|mail/{print}' /etc/passwdawk -F: '/mail/,/mysql/{print}' /etc/passwd //区间匹配awk '/[2][7][7]*/{print $0}' /etc/passwd //匹配包含27为数字开头的⾏，如27，277，2777...awk -F: '$1~/mail/{print $1}' /etc/passwd //$1匹配指定内容才显⽰awk -F: '{if($1~/mail/) print $1}' /etc/passwd //与上⾯相同awk -F: '$1!~/mail/{print $1}' /etc/passwd //不匹配awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwdIF语句必须⽤在{}中，且⽐较内容⽤()扩起来awk -F: '{if($1~/mail/) print $1}' /etc/passwd //简写awk -F: '{if($1~/mail/) {print $1}}' /etc/passwd //全写awk -F: '{if($1~/mail/) {print $1} else {print $2}}' /etc/passwd //if...else...条件表达式== != > >=awk -F":" '$1=="mysql"{print $3}' /etc/passwdawk -F":" '{if($1=="mysql") print $3}' /etc/passwd //与上⾯相同awk -F":" '$1!="mysql"{print $3}' /etc/passwd //不等于awk -F":" '$3>1000{print $3}' /etc/passwd //⼤于awk -F":" '$3>=100{print $3}' /etc/passwd //⼤于等于awk -F":" '$3<1{print $3}' /etc/passwd //⼩于awk -F":" '$3<=1{print $3}' /etc/passwd //⼩于等于逻辑运算符&&　||awk -F: '$1~/mail/ && $3>8 {print }' /etc/passwd //逻辑与，$1匹配mail，并且$3>8awk -F: '{if($1~/mail/ && $3>8) print }' /etc/passwdawk -F: '$1~/mail/ || $3>1000 {print }' /etc/passwd //逻辑或awk -F: '{if($1~/mail/ || $3>1000) print }' /etc/passwd数值运算awk -F: '$3 > 100' /etc/passwdawk -F: '$3 > 100 || $3 < 5' /etc/passwdawk -F: '$3+$4 > 200' /etc/passwdawk -F: '/mysql|mail/{print $3+10}' /etc/passwd //第三个字段加10打印awk -F: '/mysql/{print $3-$4}' /etc/passwd //减法awk -F: '/mysql/{print $3*$4}' /etc/passwd //求乘积awk '/MemFree/{print $2/1024}' /proc/meminfo //除法awk '/MemFree/{print int($2/1024)}' /proc/meminfo //取整输出分隔符OFSawk '$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txtawk '$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt//输出字段6匹配WAIT的⾏，其中输出每⾏⾏号，字段4，5,6，并使⽤制表符分割字段输出处理结果到⽂件①在命令代码块中直接输出 route -n|awk 'NR!=1{print > "./fs"}'②使⽤重定向进⾏输出 route -n|awk 'NR!=1{print}' > ./fs格式化输出netstat -anp|awk '{printf "%-8s %-8s %-10s\n",$1,$2,$3}'printf表⽰格式输出%格式化输出分隔符-8长度为8个字符s表⽰字符串类型打印每⾏前三个字段，指定第⼀个字段输出字符串类型(长度为8)，第⼆个字段输出字符串类型(长度为8),第三个字段输出字符串类型(长度为10)netstat -anp|awk '$6=="LISTEN" || NR==1 {printf "%-10s %-10s %-10s \n",$1,$2,$3}'netstat -anp|awk '$6=="LISTEN" || NR==1 {printf "%-3s %-10s %-10s %-10s \n",NR,$1,$2,$3}'IF语句awk -F: '{if($3>100) print "large"; else print "small"}' /etc/passwdsmallsmallsmalllargesmallsmallawk -F: 'BEGIN{A=0;B=0} {if($3>100) {A++; print "large"} else {B++; print "small"}} END{print A,"\t",B}' /etc/passwd //ID⼤于100,A加1，否则B加1awk -F: '{if($3<100) next; else print}' /etc/passwd //⼩于100跳过，否则显⽰awk -F: 'BEGIN{i=1} {if(i<NF) print NR,NF,i++ }' /etc/passwdawk -F: 'BEGIN{i=1} {if(i<NF) {print NR,NF} i++ }' /etc/passwd另⼀种形式awk -F: '{print ($3>100 ? "yes":"no")}' /etc/passwdawk -F: '{print ($3>100 ? $3":\tyes":$3":\tno")}' /etc/passwdwhile语句awk -F: 'BEGIN{i=1} {while(i<NF) print NF,$i,i++}' /etc/passwd7 root 17 x 27 0 37 0 47 root 57 /root 6数组netstat -anp|awk 'NR!=1{a[$6]++} END{for (i in a) print i,"\t",a[i]}'netstat -anp|awk 'NR!=1{a[$6]++} END{for (i in a) printf "%-20s %-10s %-5s \n", i,"\t",a[i]}'9523 19929 1LISTEN 67903 13038/cupsd 17913 110837 19833 1应⽤1awk -F: '{print NF}' helloworld.sh //输出⽂件每⾏有多少字段awk -F: '{print $1,$2,$3,$4,$5}' helloworld.sh //输出前5个字段awk -F: '{print $1,$2,$3,$4,$5}' OFS='\t' helloworld.sh //输出前5个字段并使⽤制表符分隔输出awk -F: '{print NR,$1,$2,$3,$4,$5}' OFS='\t' helloworld.sh //制表符分隔输出前5个字段，并打印⾏号应⽤2awk -F'[:#]' '{print NF}' helloworld.sh //指定多个分隔符: #，输出每⾏多少字段awk -F'[:#]' '{print $1,$2,$3,$4,$5,$6,$7}' OFS='\t' helloworld.sh //制表符分隔输出多字段应⽤3awk -F'[:#/]' '{print NF}' helloworld.sh //指定三个分隔符，并输出每⾏字段数awk -F'[:#/]' '{print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11,$12}' helloworld.sh //制表符分隔输出多字段应⽤4计算/home⽬录下，普通⽂件的⼤⼩，使⽤KB作为单位ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",sum/1024,"KB"}'ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",int(sum/1024),"KB"}' //int是取整的意思应⽤5统计netstat -anp 状态为LISTEN和CONNECT的连接数量分别是多少netstat -anp|awk '$6~/LISTEN|CONNECTED/{sum[$6]++} END{for (i in sum) printf "%-10s %-6s %-3s \n", i," ",sum[i]}'应⽤6统计/home⽬录下不同⽤户的普通⽂件的总数是多少？ls -l|awk 'NR!=1 && !/^d/{sum[$3]++} END{for (i in sum) printf "%-6s %-5s %-3s \n",i," ",sum[i]}'mysql 199root 374统计/home⽬录下不同⽤户的普通⽂件的⼤⼩总size是多少？ls -l|awk 'NR!=1 && !/^d/{sum[$3]+=$5} END{for (i in sum) printf "%-6s %-5s %-3s %-2s \n",i," ",sum[i]/1024/1024,"MB"}'应⽤7输出成绩表awk 'BEGIN{math=0;eng=0;com=0;printf "Lineno. Name No. Math English Computer Total\n";printf "------------------------------------------------------------\n"}{math+=$3; eng+=$4; com+=$5;printf "%-8s %-7s %-7s %-7s %-9s %-10s %-7s \n",NR,$1,$2,$3,$4,$5,$3+$4+$5}END{printf "------------------------------------------------------------\n";printf "%-24s %-7s %-9s %-20s \n","Total:",math,eng,com;printf "%-24s %-7s %-9s %-20s \n","Avg:",math/NR,eng/NR,com/NR}' test0[root@localhost home]# cat test0Marry 2143 78 84 77Jack 2321 66 78 45Tom 2122 48 77 71Mike 2537 87 97 95Bob 2415 40 57 62。

Linux命令高级技巧使用awk命令进行大数据文件的高效处理和分析Linux命令高级技巧：使用awk命令进行大数据文件的高效处理和分析Linux操作系统是广泛应用于服务器和大型计算机集群的一种开源操作系统。

作为开源操作系统，Linux提供了丰富的命令行工具，其中包含了许多强大的命令用于处理和分析大数据文件。

本文将介绍其中之一的awk命令，并探讨如何利用awk命令进行大数据文件的高效处理和分析。

一、awk命令简介awk是一种强大的文本处理工具，可以在Linux命令行终端中使用。

它可以根据指定的规则对输入文本进行分析，并执行相应的操作。

awk是由一系列的模式和动作组成的，其中模式用于匹配行，动作用于处理匹配到的行。

二、基本的awk命令语法awk命令的基本语法如下：```awk 'pattern { action }' inputfile```其中，pattern是用于匹配行的模式，action是对匹配到的行执行的操作，inputfile是待处理的输入文件。

下面是一个简单的例子：```awk '/keyword/ { print $0 }' inputfile```上述命令将会在inputfile文件中搜索包含关键词"keyword"的行，并将匹配到的行打印输出。

三、awk命令的高级技巧1. 指定字段分隔符在默认情况下，awk以空格作为字段的分隔符。

如果要处理以其他字符作为字段分隔符的文件，可以使用-F参数来指定分隔符。

例如，处理以逗号分隔的文件：```awk -F, '{ print $1, $2 }' inputfile```上述命令将以逗号为分隔符，将输入文件中的第一列和第二列打印输出。

2. 使用内置变量awk提供了许多内置变量，用于获取输入行的信息。

其中一些常用的内置变量包括：- $0：表示整个行- $1：表示第一个字段- NF：表示字段的数量- NR：表示当前行的行号可以使用这些内置变量来进行更复杂的处理和分析。