awk练习题

awk 练习题

一、文本处理基础

1.1 文本过滤

1. 读取文件`data.txt`，输出包含单词"error"的所有行。

2. 读取文件`data.txt`，输出第三列数值大于100的所有行。

3. 读取文件`data.txt`，输出第一列以字母"A"开头的所有行。

1.2 文本统计

4. 读取文件`data.txt`，统计并输出文件中包含单词"warning"的行数。

5. 读取文件`data.txt`，计算第二列数值的总和。

6. 读取文件`data.txt`，计算第三列数值的平均值。

1.3 文本排序

7. 读取文件`data.txt`，按照第一列数值升序排序。

8. 读取文件`data.txt`，按照第二列数值降序排序。

9. 读取文件`data.txt`，按照第三列数值升序排序，如果第三列相同，则按照第一列降序排序。

二、模式匹配与替换

2.1 模式匹配

10. 读取文件`data.txt`，输出匹配正则表达式`[09]+`的所有行。

11. 读取文件`data.txt`，输出匹配正则表达式`[azAZ]+`的所有行。

12. 读取文件`data.txt`，输出匹配正则表达式`[09]{3}[09]{2}[09]{4}`的所有行。 2.2 文本替换

13. 读取文件`data.txt`，将所有出现的"oldword"替换为"newword"。

14. 读取文件`data.txt`，将所有出现的数字替换为星号``。

15. 读取文件`data.txt`，将所有出现的电子邮件地址替换为""。

三、数组与循环

3.1 数组操作

16. 读取文件`data.txt`，将第一列的所有数值存储到数组中，并输出数组内容。

17. 读取文件`data.txt`，统计每个单词出现的次数，并输出结果。

18. 读取文件`data.txt`，将每行的第一列和第二列作为键值对存储到数组中，并输出数组内容。

3.2 循环控制

19. 使用for循环遍历文件`data.txt`，输出每一行的内容。

20. 使用while循环遍历文件`data.txt`，输出每一行的第一列和第三列。

21. 使用dowhile循环遍历文件`data.txt`，输出每一行的第二列数值。

四、函数与脚本编写

4.1 内建函数

22. 读取文件`data.txt`，使用`length()`函数输出每一行的长度。 23. 读取文件`data.txt`，使用`index()`函数查找每一行中第一次出现字母"A"的位置。

24. 读取文件`data.txt`，使用`sub()`函数将每一行中的数字替换为"number"。

4.2 自定义函数

25. 编写一个awk函数，计算两个数值的平均值，并在文件`data.txt`中应用。

26. 编写一个awk函数，检查字符串是否为合法的电子邮件地址，并在文件`data.txt`中应用。

27. 编写一个awk函数，将字符串转换为全大写，并在文件`data.txt`中应用。

五、综合应用

5.1 文件比较

28. 比较两个文件`file1.txt`和`file2.txt`，输出两个文件中不同的行。

29. 比较两个文件`file1.txt`和`file2.txt`，输出两个文件中共有的行。

5.2 数据转换

30. 读取文件`data.txt`，将CSV格式的数据转换为JSON格式。

31. 读取文件`data.txt`，将每行的日期和时间转换为标准格式YYYYMMDD HH:MM:SS。

5.3 复杂脚本

32. 编写一个awk脚本，读取文件`data.txt`，对每一行进行解析，输出包含特定关键字的行。 33. 编写一个awk脚本，读取文件`data.txt`，对每一行进行解析，统计并输出每个IP地址的访问次数。

34. 编写一个awk脚本，读取文件`data.txt`，对每一行进行解析，一个简单的报告，包括总行数、平均值、最大值和最小值。

六、字符串处理与格式化

6.1 字符串操作

35. 读取文件`data.txt`，输出每一行的前5个字符。

36. 读取文件`data.txt`，输出每一行的倒数第5个字符到行尾的内容。

37. 读取文件`data.txt`，将每一行的字符串反转后输出。

38. 读取文件`data.txt`，输出每一行的第一个单词。

39. 读取文件`data.txt`，输出每一行中除了第一个单词以外的所有内容。

6.2 字符串格式化

40. 读取文件`data.txt`，将每一行的第一列数值格式化为保留两位小数的浮点数。

41. 读取文件`data.txt`，将每一行的日期格式化输出为"YYYY/MM/DD"格式。

42. 读取文件`data.txt`，将每一行的数值格式化为带有千位分隔符的字符串。

七、条件判断与逻辑

7.1 条件判断

43. 读取文件`data.txt`，输出第一列数值大于第二列数值的所有行。 44. 读取文件`data.txt`，输出第一列数值等于第三列数值的所有行。

45. 读取文件`data.txt`，输出第一列字符串长度大于10的所有行。

7.2 逻辑运算

46. 读取文件`data.txt`，输出第一列数值大于10且小于20的所有行。

47. 读取文件`data.txt`，输出第一列数值不等于第二列数值的所有行。

48. 读取文件`data.txt`，输出第一列字符串为空或第二列数值为0的所有行。

八、输入输出操作

8.1 输入操作

49. 读取文件`data.txt`，同时读取用户输入的字符串，将两者合并后输出。

50. 读取文件`data.txt`，跳过前3行，然后输出剩余的内容。

51. 读取文件`data.txt`，只读取每行的前两个字段。

8.2 输出操作

52. 读取文件`data.txt`，将处理后的结果输出到新文件`output.txt`。

53. 读取文件`data.txt`，将每一行的第一列数值输出到文件`numbers.txt`。

54. 读取文件`data.txt`，将每一行的处理结果输出到标准错误输出。 九、性能优化与调试

9.1 性能优化

9.2 调试

58. 给定一个包含错误的awk脚本，找出错误并修复。

59. 给定一个无法正确输出的awk脚本，调试并使其正确输出期望的结果。

60. 给定一个产生异常输出的awk脚本，分析原因并修复脚本。

十、综合实战

10.1 实战应用

61. 编写一个awk脚本，实现简单的日志分析功能，输出访问次数最多的IP地址。

62. 编写一个awk脚本，实现文本文件的压缩，将连续的空行替换为单个空行。

63. 编写一个awk脚本，实现简单的文本编辑功能，如插入、删除和替换文本中的特定内容。

10.2 高级应用

64. 编写一个awk脚本，读取日志文件，访问统计报告，包括每小时访问次数、每日访问次数等。

65. 编写一个awk脚本，实现一个简单的配置文件解析器，支持注释、空行以及嵌套解析。

66. 编写一个awk脚本，读取多个CSV文件，合并数据并一个汇总报告。

十一、文本分析与应用

11.1 文本分析 67. 读取文件`data.txt`，统计并输出每个单词的出现频率。

68. 读取文件`data.txt`，找出并输出出现次数最多的单词及其出现次数。

69. 读取文件`data.txt`，分析并输出文本中包含的特殊字符列表。

11.2 应用案例

70. 编写awk脚本，分析网络流量日志`traffic.log`，输出流量最大的前10个IP地址。

71. 编写awk脚本，分析服务器日志`server.log`，输出响应时间超过3秒的请求。

72. 编写awk脚本，分析用户行为日志`user_behavior.log`，输出最活跃用户列表。

十二、数据处理与转换

12.1 数据转换

73. 读取文件`data.txt`，将每行的数据从CSV格式转换为XML格式。

74. 读取文件`data.txt`，将时间戳转换为可读的日期时间格式。

75. 读取文件`data.txt`，将十六进制数据转换为十进制数据。

12.2 数据处理

76. 读取文件`data.txt`，对数值列进行排序并输出排序后的结果。

77. 读取文件`data.txt`，删除重复的行，只保留唯一的记录。

78. 读取文件`data.txt`，对文本进行压缩，移除多余的空格和换行符。 十三、脚本编写与自动化

13.1 脚本编写

79. 编写awk脚本，实现命令行参数的解析，根据参数执行不同的文本处理任务。

80. 编写awk脚本，实现一个简单的文本文件搜索工具，支持正则表达式匹配。

81. 编写awk脚本，实现一个文本文件的分割工具，根据行数或大小分割文件。

13.2 自动化

82. 编写awk脚本，自动化处理一系列日志文件，日报、周报和月报。

83. 编写awk脚本，自动化监控目录中的文件变化，并执行特定的处理流程。

84. 编写awk脚本，自动化处理来自网络API的JSON数据，并统计报告。

十四、高级特性与技巧

14.1 高级特性

85. 使用awk的动态正则表达式功能，编写一个脚本，根据用户输入动态匹配文本。

. 使用awk的`nextfile`语句，编写一个脚本，跳过当前文件的剩余部分，继续处理下一个文件。

87. 使用awk的`delete`语句，编写一个脚本，动态删除数组中的元素。

14.2 技巧 88. 编写awk脚本，使用`getline`函数从多个文件中读取数据，并执行复杂的数据合并操作。

89. 编写awk脚本，使用`close`函数在处理完一个文件后关闭文件句柄，以管理文件资源。

90. 编写awk脚本，使用自定义函数和递归实现复杂的文本处理逻辑。

十五、综合案例与实践

15.1 案例分析

91. 分析一个文本文件，使用awk实现关键词提取和词频统计。

92. 分析一个日志文件，使用awk实现错误日志的筛选和汇总。

93. 分析一个配置文件，使用awk实现配置项的解析和验证。

15.2 实践项目

94. 实现一个使用awk的文本文件比较工具，类似于`diff`命令。

95. 实现一个使用awk的文本文件搜索工具，类似于`grep`命令。

96. 实现一个使用awk的简单的Web服务器日志分析器，提供访问统计功能。

十六、文本与报告

16.1 文本

97. 使用awk一个包含1000个随机数字的文本文件。

98. 使用awk一个包含英文字母表所有字母的文本文件。

99. 使用awk一个包含当前日期和时间的报告文件。

16.2 报告制作

100. 使用awk从销售数据文件`sales.txt`月销售报告。