awk的基本使用方法

Unixawk使用手册

Awk学习笔记

整理：Jimsof肥肥世家

<>

Copyright?2004本文遵从GPL协议，欢迎转载、修改、散布。

第一次发布时间:2004年8月6日

TableofContents

1.awk简介

2.awk命令格式和选项

2.1.awk的语法有两种形式

2.2.命令选项

3.模式和操作

3.1.模式

3.2.操作

4.awk的环境变量

5.awk运算符

6.记录和域

6.1.记录

6.2.域

6.3.域分隔符

7.gawk专用正则表达式元字符

8.POSIX字符集

9.匹配操作符(~)

10.比较表达式

11.范围模板

12.一个验证passwd文件有效性的例子

13.几个实例

14.awk编程

14.1.变量

14.2.BEGIN模块

14.3.END模块

14.4.重定向和管道

14.5.条件语句

14.6.循环

14.7.数组

14.8.awk的内建函数

15.How-to

1.?awk简介 awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理。awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是AlfredAho、BrianKernighan、PeterWeinberger。gawk是awk的GNU版本，它提供了Bell实验室和GNU的一些扩展。下面介绍的awk是以GUN的gawk为例的，在linux系统中已把awk链接到gawk，所以下面全部以awk进行介绍。

了解Linux命令的高级技巧使用awksort和uniq命令进行复杂数据处理和去重

了解Linux命令的高级技巧 使用awk、sort和uniq命令进行复杂数据处理和去重

在Linux系统中，命令行是一个非常强大的工具，它能够执行各种任务，包括数据处理和去重。本文将介绍一些高级技巧，教你如何使用awk、sort和uniq命令，在Linux中进行复杂数据处理和去重操作。

1. 使用awk命令进行数据处理

awk是一种强大的文本处理工具，它可以逐行扫描文本文件，并根据指定的规则进行处理。下面是一个示例：

```shell

awk -F',' '{print $1, $3}' data.txt

```

在上面的命令中，`-F','`指定了输入文件的字段分隔符为逗号。`{print $1, $3}`是一个规则，表示打印每一行的第一个和第三个字段。你可以根据需要修改这些规则，实现复杂的数据处理操作。

2. 使用sort命令进行排序

sort命令可以对文本文件进行排序操作。下面是一个示例：

```shell sort -k2,2 -n data.txt

```

在上面的命令中，`-k2,2`指定了按照第二个字段进行排序。`-n`表示按照数值进行排序。你可以根据需要修改字段和排序方式，实现不同的排序需求。

3. 使用uniq命令进行去重

uniq命令可以去除文本文件中的重复行。下面是一个示例：

```shell

uniq -c data.txt

```

在上面的命令中，`-c`参数会在输出结果中显示每行重复出现的次数。你还可以使用其他参数，如`-d`表示只显示重复的行、`-u`表示只显示不重复的行。

4. 复杂数据处理示例

下面是一个使用awk、sort和uniq命令进行复杂数据处理和去重的示例：

```shell

awk -F',' '{if ($3 > 100) print $1, $2}' data.txt | sort -k2,2 -n | uniq -c

awk使用大全

内容提要: awk是AIX和UNIX上的最强大的文字匹配搜索工具。本文详细介绍awk的适用方法。

awk 命令的输入

awk 命令的输出

通过记录和字段的文件处理

awk 命令编程语言 ：

模式

操作

变量

特殊变量

标志

示例

说明:

在文件中查找与模式匹配的行，然后在它们上面执行特定的操作。

语法

awk [ -F Ere ] [ -v Assignment ] ... { -f ProgramFile | ' Program ' } [ [ File ...

| Assignment ... ] ] ...

描述

awk 命令利用一组用户提供的指令来将一组文件和用户提供的扩展正则表达式比较，一次一行。然后在任何与扩展正则表达式匹配的行上执行操作。 awk 处理的最大记录大小为

10KB。

awk 命令的模式搜索比 grep 命令的搜索更常用，且它允许用户在输入文本行上执行多个操作。 awk 命令编程语言不需要编译，并允许用户使用变量、数字函数、字符串函数和逻辑运算符。

awk 命令受到 LANG 、 LC_ALL 、 LC_COLLATE 、 LC_CTYPE 、 LC_MESSAGES 、

LC_NUMERIC 、 NLSPATH 和 PATH 环境变量的影响。

awk 命令的输入

awk 命令采取两种类型的输入：输入文本文件和程序指令。

输入文本文件

搜索和操作在输入文本文件上执行。文件如下指定：

在命令行指定 File 变量。

修改特殊变量 ARGV 和 ARGC 。

在未提供 File 变量的情况下提供标准输入。 如果用 File 变量指定多个文件，则文件以指定的顺序处理。

程序指令

用户提供的指令控制 awk 命令的操作。这些指令来自命令行的‘ Program ’变量或来自用 -f 标志和 ProgramFile 变量一起指定的文件。如果指定多个程序文件，这些文件以指定的顺序串联，且使用指令的生成的顺序。

awk用法总结（待续）

使用awk脚本文件，需要注意以下情况：

AWK脚本文件开头需要注明调用方式，典型写法为：

#!/bin/awk -f

注意-f后面有空格。

脚本文件需要有执行权限，如果没有需要赋予可执行权限

脚本文件具体，打印话单第一个字段入234.txt，同时在屏幕上显示Hello World！

tt.awk

#!/bin/awk -f

BEGIN{FS="|"}

{print $1 >> "234.txt";}

END{print ("Hello World!");}

转载一份awk培训文档，转载来源：

一、AWK简介

AWK名字来源于三位创造者Aho、Weinberger和Kernighan统称。

AWK擅长处理文本数据。

二、AWK的调用方式

awk [-Ffs] [-v var=value] [program | -f progfile ...] [file ...]

1、命令行方式 例如：

awk '{print $1}' file

ps -ef|grep program|awk '{print $2}'

2、文件方式

例如：

awk -f progfile file

3、文件解释器方式

AWK脚本文件开头需要注明调用方式，典型写法为：

#!/bin/awk -f

注意-f后面有空格。

脚本文件需要有执行权限，如果没有需要使用chmod +x

progfile赋权。

例如：

progfile file

三、AWK参数

-F 指定域分隔符，例如：-F "|"，即以|作为域分隔符，默认分隔符为一个或多个空格或TAB，即"[[:space:]][[:space:]]*"。

-v 定义变量，从shell给awk传递变量，如-vDATE=$DATE，即将shell中$DATE变量值传递给awk变量DATE。

-f 指定脚本文件，例如-f progfile。

四、AWK内置变量

FS 域分隔符 NF 域个数