AWK 尹会生 --2010.9.6注：本文档中的代码和图片均来自《sed与awk（第二版）》
一 编写awk脚本 HELLO，WORLD $ echo 'this line of data is ignored' > test $ awk '{ print "Hello, world" }' test Hello, world test文件只包含一行，因此，print操作只执行一次。 $ cat test2 Hello, world $ awk '{ print }' test2 Hello, world print语句没有参数，只简单输出每个输入行。 $ awk ‘BEGIN {print “hello,World”}’ Hello,World
BEGIN模式不需要等待输入，它在第一个输入行读入之前执行。 awk程序设计模型 awk程序由所谓的主输入（main input）循环组成。一个循环称作一个例程。awk允许你编写两个特殊的例程，他们在任何输入被读取前和所有输入都被读取后执行。他们是与BEGIN和END规则相关的过程。BEGIN和END过程是可选的。 模式匹配 src1.awk # test for integer, string or empty line. /[0-9]+/ { print "That is an integer" } /[A-Za-z]+/ { print "This is a string" } /^$/ { print "This is a blank line." }
一个特殊的例子： $ awk -f awkscr 4T That is an integer This is a string 一行可以匹配一条或多条规则 程序脚本的注释 # 以#号开始的一行 记录和字段 awk假设它的输入是有结构的，而不是一串无规则的字符。默认它将每个输入行作为一条记录，而将由空格或制表符分隔的单词作为字段。连续的多个空格和/或制表符被作为一个分隔符。 John Robinson 666-555-1111 字段的引用和分离 awk允许使用字段操作符$来指定字段。$后面可以跟着一个数字或者一个变量。$1表示第一个字段，$2表示第二个字段，$0表示整个输入记录。 $ awk '{ print $2, $1, $3 }' names Robinson John 666-555-1111
wc命令参数及用法详解 wc命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。 语法：wc [选项] 文件... 说明：该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。下面让我们来简单的看一下其支持的参数及其代表的含义。 参数及含义 举例 demo.txt Welcome to https://www.doczj.com/doc/eb13099264.html, 欢迎来到这里 wc -cwl demo.txt #2 4 39 demo.txt 顺序依次是l w c 强调 这里面大家要注意一点。m和c参数是不能共存的，只有一个可以起作用，看哪个参数在后面。例如： wc -c demo.txt #39 demo.txt wc -m demo.txt #33 demo.txt wc -cml demo.txt #2 33 demo.txt wc -cm demo.txt #33 demo.txt 结果为m的值哦
举一反三 需要把一个文件的行数存在另一个文件里。可是这个wc还会同时输出文件名。咋办？简单，用管道处理一下OK啦 wc -l demo.txt | awk 'BEGIN{FS=" "}{print $1}' 这样，我们就把想要的文件行数给取到了，至于存在另一个文件里，我们可以把awk的print结果重定向到文件。 重要提示 用wc处理文件的时候，一定要在文件末尾存在换行符，否则统计的行数是不正确的。当然多几个换行符是没有问题的。 echo "UNIX" | wc -l # 1 echo -n "UNIX" | wc -l # 0 echo "UNIX\n\n\n" | wc -l # 1 今天看到的命令是：ls -l | wc -l 用来统计当前目录下的文件数
什么是awk? 你可能对UNIX比较熟悉，但你可能对awk很陌生，这一点也不奇怪，的确，与其优秀的功能相比，awk还远没达到它应有的知名度。awk是什么？与其它大多数UNIX命令不同的是，从名字上看，我们不可能知道awk的功能：它既不是具有独立意义的英文单词，也不是几个相关单词的缩写。事实上，awk是三个人名的缩写，他们是：Aho、(Peter)Weinberg 和(Brain)Kernighan。正是这三个人创造了awk---一个优秀的样式扫描与处理工具。 AWK的功能是什么？与sed和grep很相似，awk是一种样式扫描与处理工具。但其功能却大大强于sed和grep。awk提供了极其强大的功能：它几乎可以完成grep和sed所能完成的全部工作，同时，它还可以可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。实际上，awk 的确拥有自己的语言：awk程序设计语言，awk的三位创建者已将它正式定义为：样式扫描和处理语言。 为什么使用awk? 即使如此，你也许仍然会问，我为什么要使用awk? 使用awk的第一个理由是基于文本的样式扫描和处理是我们经常做的工作，awk所做的工作有些象数据库，但与数据库不同的是，它处理的是文本文件，这些文件没有专门的存储格式，普通的人们就能编辑、阅读、理解和处理它们。而数据库文件往往具有特殊的存储格式，这使得它们必须用数据库处理程序来处理它们。既然这种类似于数据库的处理工作我们经常会遇到，我们就应当找到处理它们的简便易行的方法，UNIX有很多这方面的工具，例如sed 、grep、sort以及find等等，awk是其中十分优秀的一种。 使用awk的第二个理由是awk是一个简单的工具，当然这是相对于其强大的功能来说的。的确，UNIX有许多优秀的工具，例如UNIX天然的开发工具C语言及其延续C++就非常的优秀。但相对于它们来说，awk完成同样的功能要方便和简捷得多。这首先是因为awk提供了适应多种需要的解决方案：从解决简单问题的awk命令行到复杂而精巧的awk程序设计语言，这样做的好处是，你可以不必用复杂的方法去解决本来很简单的问题。例如，你可以用一个命令行解决简单的问题，而C不行，即使一个再简单的程序，C语言也必须经过编写、编译的全过程。其次，awk本身是解释执行的，这就使得awk程序不必经过编译的过程，同时，这也使得它与shell script程序能够很好的契合。最后，awk本身较C语言简单，虽然awk吸收了C语言很多优秀的成分，熟悉C语言会对学习awk有很大的帮助，但awk 本身不须要会使用C语言——一种功能强大但需要大量时间学习才能掌握其技巧的开发工具。 使用awk的第三个理由是awk是一个容易获得的工具。与C和C++语言不同，awk只有一个文件(/bin/awk)，而且几乎每个版本的UNIX都提供各自版本的awk，你完全不必费心去想如何获得awk。但C语言却不是这样，虽然C语言是UNIX天然的开发工具，但这个开发工具却是单独发行的，换言之，你必须为你的UNIX版本的C语言开发工具单独付费（当然使用D版者除外），获得并安装它，然后你才可以使用它。
Thizlinux 系统教程Shell 经典实例 ----------------Milo经典小shell 1 列目录树的shell 脚本如下： #!/bin/sh # dtree: Usage: dtree [any directory] dir=${1:-.} (cd $dir; pwd) find $dir -type d -print | sort -f | sed -e "s,^$1,," -e "/^$/d" -e "s,[^/]*/([^/]*)$,`----1," -e "s,[^/]*/,| ,g" 2 while中使用read (file是一个文件) cat file | while read line do echo $line echo " :: Please input any key(s):c" str4read="" while true do chr4read=`dd if=/dev/tty bs=1 count=1 2>/dev/null` str4read=$str4read$chr4read if [ "$chr4read" = "" ] ;then break; fi done echo " :: |$str4read|" done 3 将多个空格替换为字符 sed 's/[ ][ ]*/ /g' 如果空格与tab共存时用 sed -e 's/[[:space:]][[:space:]]*/ /g' filename 4用脚本实现分割文件 #!/bin/bash if [ $# -ne 2 ]; then echo 'Usage: split file size(in bytes)' exit fi file=$1 size=$2 if [ ! -f $file ]; then echo "$file doesn't exist" exit fi #TODO: test if $size is a valid integer filesize=`/bin/ls -l $file | awk '{print $5}'` echo filesize: $filesize let pieces=$filesize/$size let remain=$filesize-$pieces*$size if [ $remain -gt 0 ]; then let pieces=$pieces+1 fi echo pieces: $pieces i=0 while [ $i -lt $pieces ]; do echo split: $file.$i: dd if=$file of=$file.$i bs=$size count=1 skip=$i let i=$i+1 done echo "#!/bin/bash" > merge echo "i=0" >> merge echo "while [ $i -lt $pieces ];" >> merge echo "do" >> merge echo " echo merge: $file.$i" >> merge echo " if [ ! -f $file.$i ]; then" >> merge echo " echo merge: $file.$i missed" >> merge echo " rm -f $file.merged" >> merge echo " exit" >> merge echo " fi" >> merge echo " dd if=$file.$i of=$file.merged bs=$size count=1 seek=$i" >> merge echo " let i=$i+1" >> merge echo "done" >> merge chmod u+x merge' 5得到上月未日期，格式为YYYYMMDD get_lastday_of_lastmonth() { yy=`date +%Y` mm=`date +%m-1|bc` [ $mm -lt 1 ] && mm=12;yy=`expr $yy - 1` aaa=`cal $mm $yy` dd=`echo $aaa|awk '{print $NF}'` echo $yy$mm$dd } print $NF的$NF是打印最后一个列。因为awk的内置变量NF是列的总数，而$NF就代表着最后一列 6 实现用backup或tar命令来做目录备份
Linux下awk将多个文件的结果列合并到一个文件在使用NS进行模拟结果数据处理的时候，往往需要对多组参数的结果进行比较来鉴别性能的优劣，这里编写了一个使用awk将多个同类型结果文件进行合并操作的脚本。如，NS模拟结果中，经常出现多个网络参数（协议类型、误码率、带宽、背景流、时延等）取不同值条件下进行一些网络指标（RTT，cwnd，吞吐量、网络利用率、公平性等）统计，这时会产生N 多组实验结果，怎样对这么多组结果中的单个指标（常见的吞吐量）进行比较，如果使用手工粘贴到excel再进行绘图就显得任务量很大，显得人脑子比较笨（当然，最优秀的程序员永远是最懒的，我恰巧也是其中之一）。 小提示：为了方便NS模拟结果直接在excel里面打开，建议结果数据以文本形式（.txt，.dat）保存，各数据列之间用制表符\t（excel默认分隔符），这样在文件上右键-》Excel打开即可，而不用在excel 里面使用数据导入向导设置分隔符这么麻烦。一切以提高生产效率和生活质量为根本出发点O(∩_∩)O~。 这里给出一个awk脚本来实现上面的问题。 test.awk: #!/usr/bin/awk -f BEGIN { #print ARGC; Index[ARGC];#记录各个文件的行下标 for(t=1;t<=ARGC;t++) { Index[t]=0; } } { #文件数ARGC-1,第一个参数是应用程序名awk. for(t=1;t<=ARGC;t++) { if(FILENAME==ARGV[t]) { line[t,Index[t]]=$0;#$0=整行,前提是各个文件行列之间已经被\t制表符分隔。 #line[t,Index[t]]=sprintf("%s\t%s",$1,$2);#如果固定为几列，也可以用这个。 Index[t]++; } } } END { maxcount=0; for(i=1;i<=ARGC;i++) { if(Index[i]>maxcount) maxcount=Index[i]; } #printf("maxcount:%d",maxcount);
有几个字段老是记不住，就记载这里吧 ls -l 列表信息详解 我们平时用ls -l 命令查看一个目录下的文件和子目录的详悉信息时,会得到一个详细的文件和目录名列表.这个列表包含了文件的属性,所属用户,所属组,创建时间,文件大小等等信息.这些信息到底是什么意思呢?有很多初学者对这些不太了解,因此想详悉讲解一下用ls -l命令得到的文件列表每一个字段的意思 以笔者电脑的/root目录为例: [root@gucuiwen root]# ll 总用量 4055 -rw-r--r-- 1 root root 1581 11月 24 18:14 anaconda-ks.cfg drwxr-xr-x 2 root root 208 12月 1 13:50 babylinux -rw-r--r-- 1 root root 1474560 11月 25 15:02 babylinux.img -rw-r--r-- 1 root root 26829 11月 25 15:10 babylinux.png lrwxrwxrwx 1 root root 9 1月 4 11:06 disk1.link.png -> disk1.png -rw-r--r-- 1 root root 3209 11月 26 12:07 disk1.png -rw-r--r-- 1 root root 692 11月 26 13:16 disk2.png -rw-r--r-- 1 root root 718 11月 26 13:30 disk3.png drwx------ 8 root root 392 1月 4 08:40 evolution -rwxr-xr-x 1 root root 13695 11月 30 16:51 fangkuai.sh drwxr-xr-x 2 root root 208 12月 28 12:06 FreeBSD -rw-r--r-- 1 root root 2315 11月 25 17:19 getMBR.png brw-r----- 1 root root 3, 1 1月 4 11:06 hda1 drwxr-xr-x 2 root root 296 12月 31 11:53 htmls -rw-r--r-- 1 root root 21369 11月 24 18:12 install.log -rw-r--r-- 1 root root 3024 11月 24 18:12 install.log.syslog -rw-r--r-- 1 root root 293 1月 4 10:51 ls.txt -rw-r--r-- 1 root root 2237702 11月 25 15:09 magick.miff -rw-r--r-- 1 root root 13493 11月 25 17:31 mbr1.png -rw-r--r-- 1 root root 8123 11月 25 17:42 mbr2.png -rw-r--r-- 1 root root 512 11月 30 16:10 mbr.dat -rw-r--r-- 1 root root 64512 11月 26 15:33 partition.doc -rw-r--r-- 1 root root 49887 11月 26 15:32 partition.sxw -rw-r--r-- 1 root root 1541 12月 18 13:14 passwd -rw-r--r-- 1 root root 46320 11月 25 17:28 Screenshot-1.png -rw-r--r-- 1 root root 44145 11月 25 17:32 Screenshot-2.png -rw-r--r-- 1 root root 43732 11月 25 17:13 Screenshot.png drwxr-xr-x 3 root root 72 1月 4 10:49 test -rw-r--r-- 1 root root 0 12月 18 10:44 tset crw-r----- 1 root root 4, 65 1月 4 11:08 ttyS1
GAWK 入门：AWK 语言基础 利用GAWK 的开放源代码实现学习AWK 了解A WK 文本处理和模式扫描语言的基本概念。本教程将带您开始使用A WK 进行编程：您将了解A WK 如何读取输入数据和对其进行排序、如何运行A WK 程序、操作数据并进行复杂的模式匹配。当您完成本教程的学习时，同时也了解了GNU A WK (GA WK)。 开始之前 了解本教程中介绍的内容、如何最好地利用它以及在学习本教程的过程中需要完成哪些工作。 关于本教程 GNU A WK (GAWK) 是历史悠久的A WK 编程语言的开放源代码实现，可用于所有的UNIX? 系统。A WK 语言是一种UNIX 备用工具，它是一种功能强大的文本操作和模式匹配语言，特别适用于进行信息检索，这使得它非常适合用于当今的数据库驱动的应用程序。因为它集成于UNIX 环境，所以可以设计、构建和快速地执行完整的工作程序，并且立即就能得到结果。 本教程为A WK 文本处理语言提供了实践性的介绍。它介绍了如何使用开放源代码GA WK 解释器来编写和执行A WK 程序，以便通过各种方式来搜索和操作数据。 目标 本教程面向那些需要利用A WK 强大的文本操作功能的读者。在本教程中，您将使用GA WK，以了解各种运行A WK 程序的方法。您还将了解如何组织程序，并学习A WK 的记录和字段范例。在完成本教程后，您可以学习到该语言的基本内容，包括格式化输出、记录和字段操作以及模式匹配。您还应该能够编写自定义的A WK 程序，以使用UNIX 命令行执行复杂的文本处理。 先决条件 本教程没有特殊的先决条件，不过您应该熟悉UNIX 命令行Shell 的使用。如果您对 C 编程语言的构造比较熟悉，那么将会很有帮助，但这并不是必需的。 系统要求 您必须在系统中安装GA WK 的工作副本，最好是V ersion 3.0 或更高版本。很容易获得GA WK 的源代码和二进制包。如果您使用源代码安装GA WK，请参考GA WK 源代码分发版中的README 文件，其中列出了进行成功的编译和安装所需的任何附加软件。
3.请执行命令取出linux中eth0的IP地址(请用cut，有能力者也可分别用awk,sed命令答)。 解答： 说明：此题解答方法已经给大家讲解了不下15种，还可以有很多，在这里给大家着重讲下awk的技巧用法，希望大家能多重视老师的思路、思维过程，不过过分关注问题的答案，以便达到学一通十的效果。 方法一【此法为绿叶】：如果用awk来处理的话，一般的同学可能会用下面的办法实现： [root@oldboy ~]# ifconfig eth0|grep 'inet addr'|awk -F ":" '{print $2}'|awk '{print $1}' 10.0.0.162 小结：这个方法是常规方法，很好。但是我们有没有更简单的awk实现方法呢？往下看。 方法二【此法为小红花】：通过awk同时使用多个分隔符来实现： [root@oldboy ~]# ifconfig eth0|grep 'inet addr'|awk -F '[ :]' '{print $13}' 192.168.1.186 提示：本题通过使用空格或冒号来做分隔符，然后一次性取出结果，就是空格或冒号可以看做是同一个分隔符。
小结：这个方法很方便吧，同学们可以多用，选取包含IP 地址行的特殊关键字'inet addr’过滤然后，使用awk以空格和:同时做分隔符，然后取出需要的内容。 本答案的最大缺点就是计算$n的时候很费劲，因为inet 前面有多个空格，查到$13，真是不容易，如此看来从实现时间上可能还不如第一个方法快呢？那好引出我们今天的关键答案案例。 方法三【大红花出场】：通过awk同时使用多个分隔符，然后通过正则匹配多个分隔符的方法来实现： [root@oldboy ~]# ifconfig eth0 |awk -F '[ :]+' 'NR==2 {print $4}' 10.0.0.185 我们来说明下这个简单易用的好办法： 提示：本题NR是行号，分隔符+号匹配，[]里一个或多个任意一个分隔符，这里就是匹配一个或多个冒号或空格。1）awk -F 后面跟分隔符‘[空格:]+’，其中[空格:]多分隔符写法，意思是以空格或冒号做分隔，后面的"+"号是正则表达式，意思是匹配前面空格或冒号，两者之一的1个或1个以上。 2）NR==2和sed -n "2p",相当，意思都是选择第几行,例：[root@oldboy ~]# ifconfig eth0|awk NR==2
ubuntu shell 使用命令大全 前言 下面的命令大都需要在控制台/ 终端/ shell 下输入。 控制台, 终端, 和shell 意味着同样一件事- 一个命令行界面，他可以用来控制系统。 打开一个控制台: 应用程序--> 附件--> 终端 任何一个使用'sudo' 作为前缀的命令都需要拥有管理员(或root) 访问权限。所以你会被提示输入你自己的密码。 安装升级 查看软件xxx安装内容 dpkg -L xxx 查找软件库中的软件 apt-cache search 正则表达式 或 aptitude search 软件包 显示系统安装包的统计信息 apt-cache stats 显示系统全部可用包的名称 apt-cache pkgnames 显示包的信息 apt-cache show k3b 查找文件属于哪个包 apt-file search filename 查看已经安装了哪些包 dpkg -l 查询软件xxx依赖哪些包 apt-cache depends xxx 查询软件xxx被哪些包依赖 apt-cache rdepends xxx 增加一个光盘源 sudo apt-cdrom add 系统升级 sudo apt-get update (这一步更新包列表) sudo apt-get dist-upgrade (这一步安装所有可用更新) 或者 sudo apt-get upgrade (这一步安装应用程序更新，不安装新内核等) 清除所有已删除包的残馀配置文件 dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P 如果报如下错误，证明你的系统中没有残留配置文件了，无须担心。 dpkg: --purge needs at least one package name argument Type dpkg --help for help about installing and deinstalling packages [*]; Use `dselect' or `aptitude' for user-friendly package management; Type dpkg -Dhelp for a list of dpkg debug flag values; Type dpkg --force-help for a list of forcing options; Type dpkg-deb --help for help about manipulating *.deb files; Type dpkg --license for copyright license and lack of warranty (GNU GPL) [*]. Options marked [*] produce a lot of output - pipe it through `less' or `more' ! 编译时缺少h文件的自动处理 sudo auto-apt run ./configure 查看安装软件时下载包的临时存放目录
Linux下使用awk批量删除共享内存 1.awk简介 awk 是一个强大的文本分析工具。sed 常常用于一整个行的处理，而awk 则倾向于以空格和tab键为默认分隔符将每行切片成一个个域（也就是一列）来处理。Awk适用于小型的数据数据处理 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是AWK 的GNU 版本。 2. awk语法格式 a wk 'pattern1 {action1} pattern2 {action2} ...' filename awk 后面接两个单引号并加上大括号{} 来对匹配模式的数据进行处理。awk 可以处理后面指定的文件，也可以通过管道命令”|”读取来自前个命令的标准输出。 3.工作流程 awk工作流程是这样的：读入有'\n'换行符分割的多条记录，然后将每一条记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是空格键和tab键。 以last命令结合awk来演示awk一个简单的筛选输出。 们用last 可以将登陆者的数据取出来，结果如下所示： [root@lvlv]# last -n 4 root pts/1 192.168.1.100 Tue Feb 10 11:21 still logged in root pts/1 192.168.1.100 Tue Feb 10 00:46 - 02:28 (01:41) root pts/1 192.168.1.100 Mon Feb 9 11:41 - 18:30 (06:48) dmtsai pts/1 192.168.1.100 Mon Feb 9 11:41 - 11:41 (00:00) 若我想要取出帐号与登陆者的IP ，且帐号与IP 之间以[tab] 隔开，则会变成这样： [root@lvlv]# last -n 5 | awk '{print $1 "\t" $3}' root 192.168.1.100 root 192.168.1.100 root 192.168.1.100 dmtsai 192.168.1.100 4.利用awk批量删除共享内存 首先利用“ipcs –m”查看共享内存信息，然后再利用“ipcrm -m shmid”删除共享内存。利用awk进行批量删除共享内存的shell脚本如下： ipcs -m|awk '$2~/[0-9]+/{print $2}'| while read s do ipcrm -m $s done 结合上面对awk的介绍，应该不难看懂脚本。awk '$2~/[0-9]+/{print $2}'表示打印出只含阿拉伯数字的每行的第二列，即共享内存标识。awk中正则表达式由两个斜杠包围，即/REG/，
Linux awk命令详解 AWK介绍 0.awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。 1.awk语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。完整的awk脚本通常用来格式化文本文件中的信息。 2.三种方式调用awk 1) awk [opion] 'awk_script' input_file1 [input_file2 ...] awk的常用选项option有； ① -F fs : 使用fs作为输入记录的字段分隔符，如果省略该选项，awk使用环境变量IFS的值 ② -f filename : 从文件filename中读取awk_script ③ -v var=value : 为awk_script设置变量 2) 将awk_script放入脚本文件并以#!/bin/awk -f 作为首行，给予该脚本可执行权限，然后在shell下通过键入该脚本的脚本名调用之。 3) 将所有的awk_script插入一个单独脚本文件，然后调用: awk -f awk脚本文件input_file(s) 3. awk的运行过程 1) awk_script的组成: ① awk_script可以由一条或多条awk_cmd组成，两条awk_cmd之间一般以NEWLINE分隔 ② awk_cmd由两部分组成: awk_pattern { actions } ③ awk_script可以被分成多行书写，必须确保整个awk_script被单引号括起来。 2) awk命令的一般形式: awk ' BEGIN { actions } awk_pattern1 { actions } ............ awk_patternN { actions } END { actions } ' inputfile 其中BEGIN { actions } 和END { actions } 是可选的。 3) awk的运行过程: ①如果BEGIN 区块存在，awk执行它指定的actions。 ② awk从输入文件中读取一行，称为一条输入记录。(如果输入文件省略，将从标准输入读取) ③awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。$0表示整条记录。字段分隔符使用shell环境变量IFS或由参数指定。 ④把当前输入记录依次与每一个awk_cmd中awk_pattern比较，看是否匹配，如果相匹配，就执行对应的actions。如果不匹配，就跳过对应的actions，直到比较完所有的awk_cmd。 ⑤当一条输入记录比较了所有的awk_cmd后，awk读取输入的下一行，继续重复步骤③和④，这个过程一
awk命令详解 简单使用： awk ：对于文件中一行行的独处来执行操作。 awk -F ：'{print $1,$4}' :使用‘：’来分割这一行，把这一行的第一第四个域打印出来。 详细介绍： AWK命令介绍 awk语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息，awk抽取信息 后，才能进行其他文本操作，完整的awk脚本通常用来格式化文本文件中的信息 1.调用awk: 第一种命令行方式，如: awk [-Field-separator] 'commands' input-file(s) 这里commands是真正的awk命令，[-F域分隔符]是可选的，awk默认使用空格分隔， 因此如果要浏览域间有空格的文本，不必指定这个选项，但如果浏览如passwd文件，此文件 各域使用冒号作为分隔符，则必须使用-F选项: awk -F : 'commands' input-file 第二种，将所有awk命令插入一个文件，并使awk程序可执行，然后用awk命令解释器作为脚 本的首行，以便通过键入脚本名称来调用它 第三种，将所有awk命令插入一个单独文件，然后调用，如: awk -f awk-script-file input-file -f选项指明在文件awk-script-file的awk脚本，input-file是使用awk进行浏览 的文件名 2.awk脚本: awk脚本由各种操作和模式组成，根据分隔符(-F选项)，默认为空格，读取的内容依次放置到 对应的域中，一行一行记录读取，直到文件尾 2.1.模式和动作
任何awk语句都是由模式和动作组成，在一个awk脚本中可能有许多语句。模式部分决定动作语句何时触发及触发事件。动作即对数据进行的操作，如果省去模式部分，动作将时刻保持执行状态 模式可以是任何条件语句或复合语句或正则表达式，模式包含两个特殊字段BEGIN和END，使用BEGIN语句设置计数和打印头，BEGIN语句使用在任何文本浏览动作之前，之后文本浏览动作依据输入文件开始执行;END语句用来在awk完成文本浏览动作后打印输出文本总数和结尾状态标志，有动作必须使用{}括起来 实际动作在大括号{}内指明，常用来做打印动作，但是还有更长的代码如if和循环looping 语句及循环退出等，如果不指明采取什么动作，awk默认打印出所有浏览出的记录 2.2.域和记录: awk执行时，其浏览标记为$1，$2...$n，这种方法称为域标记。使用$1，$3表示参照第1和第3域，注意这里使用逗号分隔域，使用$0表示使用所有域。例如: awk '{print $0}' temp.txt > sav.txt 表示打印所有域并把结果重定向到sav.txt中 awk '{print $0}' temp.txt|tee sav.txt 和上例相似，不同的是将在屏幕上显示出来 awk '{print $1,$4}' temp.txt 只打印出第1和第4域 awk 'BEGIN {print "NAME GRADE\n----"} {print $1"\t"$4}' temp.txt 表示打信息头，即输入的内容的第一行前加上"NAME GRADE\n-------------"，同时内容以tab分开 awk 'BEGIN {print "being"} {print $1} END {print "end"}' temp 同时打印信息头和信息尾 2.3.条件操作符: <、<=、==、!=、>=、~匹配正则表达式、!~不匹配正则表达式
Linux awk命令使用详解 简单介绍一下，awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大，这是我们玩linux的必备基本功，若要对其身世有更详尽的了解，自行搜索即可。对于工具的知识，笔者尽量将每个知识点的简要说明，并给出实例。 简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 用法： awk [options] 'scripts' file1,file2... awk [options] 'pattern {action}' file1,file2... options是awk的支持的选项，譬如-F -v等; scripts是其处理脚本，包含模式pattern和动作action（模式和动作的关系一般为，模式负责确定有效字段，动作负责对其处理） 一、print的简单使用
创建一个简单的测试文件如下： [root@mos download]# cat demo.txt Welcome to mos blog. This is a test file. 例：打印整行: $0 [root@mos download]# awk '{print $0}' demo.txt Welcome to mos blog. This is a test file. 例：打印每行的最后一个字段: $NF [root@mos download]# awk '{print $NF}' demo.txt blog. file. 例：打印第二个字段: $2 [root@mos download]# awk '{print $2}' demo.txt to is 例：打印每行的倒数第二个字段，并在其后打印OK
cat命令的用途是连接文件或标准输入并打印。这个命令常用来显示文件内容，或者将几个文件连接起来显示，或者从标准输入读取内容并显示，它常与重定向符号配合使用 1．命令格式： cat [选项] [文件]... 2．命令功能： cat主要有三大功能： 1.一次显示整个文件:cat filename 2.从键盘创建一个文件:cat > filename 只能创建新文件,不能编辑已有文件. 3.将几个文件合并为一个文件:cat file1 file2 > file 3．命令参数： -A, --show-all 等价于-vET -b, --number-nonblank 对非空输出行编号 -e 等价于-vE -E, --show-ends 在每行结束处显示$ -n, --number 对输出的所有行编号,由1开始对所有输出的行数编号 -s, --squeeze-blank 有连续两行以上的空白行，就代换为一行的空白行 -t 与-vT 等价 -T, --show-tabs 将跳格字符显示为^I -u (被忽略) -v, --show-nonprinting 使用^ 和M- 引用，除了LFD 和TAB 之外 4．使用实例： 实例一：把log2012.log 的文件内容加上行号后输入log2013.log 这个文件里 命令： cat -n log2012.log log2013.log 输出： 代码如下: [root@localhost test]# cat log2012.log 2012-01 2012-02 ======[root@localhost test]# cat log2013.log 2013-01 2013-02
AWK介绍 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。 1.awk语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。完整的awk脚本通常用来格式化文本文件中的信息。 2.三种方式调用awk 1) awk [opion] 'awk_script' input_file1 [input_file2 ...] awk 的常用选项option有； ①-F fs : 使用fs作为输入记录的字段分隔符，如果省略该选项，wak使用环境变量IFS的值 ②-f filename : 从文件filename中读取awk_script ③-v var=value : 为awk_script设置变量 2) 将awk_script放入脚本文件并以#!/bin/awk -f 作为首行，给予该脚本可执行权限，然后在shell下通过键入该脚本的脚本名调用之。 3) 将所有的awk_script插入一个单独脚本文件，然后调用: awk -f wak脚本文件input_file(s) 3. awk的运行过程 1) awk_script的组成: ①awk_script可以由一条或多条awk_cmd组成，两条awk_cmd之间一般以NEWLINE分隔 ②awk_cmd由两部分组成: awk_pattern { actions } ③awk_script可以被分成多行书写，必须确保整个awk_script被单引号括起来。 2) awk命令的一般形式: awk ' BEGIN { actions } awk_pattern1 { actions } ............ awk_patternN { actions } END { actions } ' inputfile 其中BEGIN { actions } 和END { actions } 是可选的。 3) awk的运行过程: ①如果BEGIN 区块存在，awk执行它指定的actions。 ②awk从输入文件中读取一行，称为一条输入记录。(如果输入文件省略，将从标准输入读取) ③awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。$0表示整条记录。字段分隔符使用shell环境变量IFS 或由参数指定。 ④把当前输入记录依次与每一个awk_cmd中awk_pattern比较，看是否匹配，如果相匹配，就执行对应的actions。如果不匹配，就跳过对应的actions，直到比较完所有的awk_cmd。 ⑤当一条输入记录比较了所有的awk_cmd后，awk读取输入的下一行，继续重
更好地理解UNIX? 用户输入的这些“奇怪的” 字符。学习如何在UNIX 中使用管道、重定向、操作符等特性。 现在，您已经在IBM? AIX? 上工作了一段时间了。您已经学习了几个基本命令，能够在目录结构中移动、创建和修改文件、查看正在运行的进程以及管理用户和系统。这很不错，但是您希望了解UNIX? 管理员输入的命令是什么意思。这些命令中包含许多奇怪的符号。在本文中，了解|、>、>>、<、<<、[[和]]等符号在UNIX 和Linux? 中的意思，以及如何使用&&、||、<、<=和!=操作符。 管道 如果您熟悉UNIX，那么管道（或pipe）会是每天都要接触到的东西。管道最初是由Malcolm McIlroy 开发的，可以使用管道把一个命令的标准输出（stdout）定向到下一个命令的标准输入（stdin），这样就形成了连续执行的命令链。可以在一个命令行上使用多个管道。在许多时候，一个命令的stdout 用作下一个命令的stdin，第二个命令的stdout 又被重定向到另一个命令的stdin，依此类推。 例如，在排除故障或执行日常检查时，大多数UNIX 管理员首先做的事情之一是查看系统上当前正在运行的进程。清单1演示这样的检查。 清单 1. 日常进程检查示例 # ps –ef UID PID PPID C STIME TTY TIME CMD root 1 0 0 Jul 27 - 0:05 /etc/init root 53442 151674 0 Jul 27 - 0:00 /usr/sbin/syslogd root 57426 1 0 Jul 27 - 0:00 /usr/lib/errdemon root 61510 1 0 Jul 27 - 23:55 /usr/sbin/syncd 60 root 65634 1 0 Jul 27 - 0:00 /usr/ccs/bin/shlap64 root 82002 110652 0 Jul 27 - 0:24 /usr/lpp/X11/bin/X -x abx -x dbe -x GLX -D /usr/lib/X11//rgb -T -force :0 -auth /var/dt/A:0-SfIdMa root 86102 1 0 Jul 27 - 0:00 /usr/lib/methods/ssa_daemon -l ssa0 root 106538 151674 0 Jul 27 - 0:01 sendmail: accepting connections root 110652 1 0 Jul 27 - 0:00 /usr/dt/bin/dtlogin -daemon root 114754 118854 0 Jul 27 - 20:22 dtgreet root 118854 110652 0 Jul 27 - 0:00 dtlogin <:0> -daemon root 131088 1 0 Jul 27 - 0:07 /usr/atria/etc/lockmgr -a /var/adm/atria/almd -q 1024 -u 256 -f 256 root 147584 1 0 Jul 27 - 0:01 /usr/sbin/cron root 155816 151674 0 Jul 27 - 0:04 /usr/sbin/portmap root 163968 151674 0 Jul 27 - 0:00 /usr/sbin/qdaemon root 168018 151674 0 Jul 27 - 0:00 /usr/sbin/inetd root 172116 151674 0 Jul 27 - 0:03 /usr/sbin/xntpd root 180314 151674 0 Jul 27 - 0:19 /usr/sbin/snmpmibd root 184414 151674 0 Jul 27 - 0:21 /usr/sbin/aixmibd root 188512 151674 0 Jul 27 - 0:20 /usr/sbin/hostmibd root 192608 151674 0 Jul 27 - 7:46 /usr/sbin/muxatmd root 196718 151674 0 11:00:27 - 0:00 /usr/sbin/rpc.mountd root 200818 151674 0 Jul 27 - 0:00 /usr/sbin/biod 6