大数据测试技术数据采集、分析与测试实践教学大纲

大数据测试技术课程教学大纲 课程名称：大数据测试技术 课程编码：621010820 英文名称：Big data testing technology 学 时： 48 学 分：3 开课学期：第5或第6学期 适用专业：计算机、信管、物联网、电商、管理、财经 课程类别：专业选修课 先修课程：计算思维与Python程序设计、计算机网络、Linux操作系统 建议教材：《大数据测试技术》 一、课程目的、任务 《大数据测试技术》是高等院校计算机专业的选修课。该课程主要目的和任务是帮助学生理解和掌握大数据的收集、数据格式转换、数据导入，利用数据分析技术来实现软件缺陷的挖掘方法。通过该课程的学习，学生可以理解大数据测试的概念，掌握手机访问网络数据的收集方法，掌握数据格式转换的一般技术，熟练掌握Splunk平台处理大数据的各种操作，理解大数据缺陷挖掘的一般过程。

二、课程教学基本要求 《大数据测试技术》的教学内容包括掌握大数据测试的概念和目标任务，了解大数据的处理方法及技术，了解大数据的背景、内容和信息存储模式；掌握大数据的收集方法、格式转换方法，熟练掌握运用Splunk平台的运用，熟练掌握SPL语言的编写方法和技巧，熟练掌握软件缺陷的一般分析方法，熟练掌握Splunk软件在Linux上的部署方法，在Windows中调用Linux中Splunk的方法，能够解决数据戳错误的解决方法。重点掌握非格式化数据的分析方法、正则表达式的构造方法，利用正则表达式挖掘有效数据的方法。 该课程是一门新兴的课程。学习该课程前应该具有一定的计算机应用基础，掌握一定的Linux知识，掌握Python语言的编程方法，了解SPL语言的构造，掌握正则表达式的构造方法，同时也应该对基本的数据格式和数据存储有所了解。 本课程具有很强的操作性，教学必须坚持理论与实践相结合。在讲清楚基本概念的前提下，充分应用案例教学，结合理论进行教学。本课程的教学形式以讲授+实验教学方式为主。 课程考核方式：平时成绩（30%）+期中成绩（30%）+期终考试（40%），其中平时成绩以考勤和课程作业完成情况来评定，期中成绩来自于大作业的评分，期末成绩来源于闭卷考试。

三、课程教学内容（分章节） 第一章 大数据测试思维 （一）教学要求 通过本章的学习使学生掌握大数据的内涵和特征，掌握课程的目标和任务，层次和内容以及手段和方法，了解大数据发展的历史。 （二）教学内容 本章共分三节： 第一节 规律是否存在 介绍大数据的概念及其发展，讲述数据背后的规律特征，了解数据规律的特殊性，讲述大数据的背景和规律的形成条件。 第二节 大数据的背后 介绍大数据背后隐藏的规律发现方法以及数据突破人们的认识，形成意想不到的规律。 第三节 大数据的应用过程 介绍大数据应用的方式、环节、处理方法和过程。 第二章 大数据收集概述 （一）教学要求 通过本章的学习首先让学生认识到信息资源管理主要学习领域是什么，其重点研究的主题是什么。主要学习信息资源的类型，掌握信息采集中的原则与策略，旋涡信息组织的各种方式，特别对信息表示语言、信息分类给予了解；了解信息检索的各类系统；了解信息分析的主要方式；掌握信息资源开发利用的原则和模式。 （二）教学内容 本章共分两节： 第一节 案例介绍 介绍采用手机收集网络连接数据的案例，讲解这个案例实现的原理及方法，电脑环境的相关配置。 第二节 数据采集 讲述Wireshark软件的连接方法，数据的显示方法，数据包的存储，同步操作的实现。 第三章 网络数据的采集与分析 （一）教学要求 本章将演练网络数据采集的方法及利用Wireshark软件进行数据分析的一般思路。 （二）教学内容 本章共分四节： 第一节 物理连接及Wireshark的常用操作 讲述将手机、360随身WIFI、电脑进行连接的方法，Wireshark软件有三种方式，构建网络的方法，Wireshark功能介绍。 第二节 数据包的采集 讲述采用Total Control软件将手机操作同步到电脑的方法，用Wireshark软件进行数据存储和打开的方法。 第三节 数据包的自动抓取 介绍数据包的自动抓取背景，采用Total Control软件编辑脚本的方法，脚本的执行方法。 第四节 数据包分析 介绍数据包的分析方法，Wireshark软件来捕获手机网络数据包的方法，Wireshark软件对数据包的分析方法。 第四章 数据格式转换及Python编程 （一）教学要求 本章将学习Python语言编程的方法，重点介绍Python语言的基本语法、网络分析构造、PyShark组件的介绍，Python语言的环境配置等。 （二）教学内容 本章共分四节 第一节 原理及方法 讲述通过Wireshark软件导出手机APP访问网络的数据包（格式为*.pcapng），然后在Python中编程，将*.pcapng文件转换为CSV格式的文件。 第二节 Python安装及配置 讲述Python软件的安装方法，配置过程，PyShark包的下载和安装过程及相关支持文件的安装。 第三节 Python基础学习 介绍Python的命令行演示，创建.py文件，Python出错演示，Python注释，输出换行，Python帮助。 第四节 Notepad环境 介绍Notepad软件的安装，设置运行步骤，多个变量赋值、Python的标准数据类型、删除及实例演示等。

第五章 Splunk平台初探 （一）教学要求 通过本章的学习使学生初步掌握如何使用专业大数据分析软件Splunk来分析csv格式的文件，以便获得隐藏在数据背后内容，进而探测手机APP软件的联网效率。 （二）教学内容 本章共分四节： 第一节 Splunk简介 讲述Splunk是一款成熟的商业化日志处理分析产品，也是一套开源的方案ELK(Elasticsearch+Logstash+Kibana)。 第二节 Splunk的安装与配置 介绍Splunk平台的下载和安装方法，Splunk平台的配置方法。 第三节 Splunk数据分析 讲述构造SPL语句的方法，确定列名，Splunk的简单操作。 第四节 SPL高级编程 讲述Splunk平台的自动生成数据、构造随机数、数据统计、Splunk处理过程、报告再编辑。

第六章 Splunk平台实践 （一）教学要求 通过本章的学习使学生掌握对数据进行更为深入的分析，本章将重点介绍Splunk SPL 的基本语法、自动数据生成、可视化展示，同时也介绍如何使用Splunk软件提供的帮助文档来实现编写SPL语句的目的。 （二）教学内容 本章共分四节： 第一节 Splunk的基础命令 讲述Search（搜索）命令、SPL的命令分类、常用命令详解。 第二节 Splunk平台的自动数据生成 讲述Splunk的自动生成数据功能、剔除无用数据、构造随机数据、创建对数列和指数列。 第三节 可视化展示 讲述数据的可视化方法，格式设置、数据的保存和导入、图形修改。 第四节 官方帮助文档 讲述SPL语言目录，命令分析实例，通过具体的SPL语言，来学习相关命令的具体含义，同时能够学会应该如何使用Splunk的帮助文档，掌握相关的SPL语言的使用。

第七章 SPL案例编程 （一）教学要求 通过一个实际案例教学来来帮助读者掌握SPL语句的编写方法。在USGS网站上下载地震数据，并对数据格式进行分析，再编写SPL语句，获得数据背后的关系。案例教学是帮助读者掌握运用SPL语句的关键，读者只有通过大量的练习才能真正掌握SPL语句的编程。 （二）教学内容 本章共分三节： 第一节 stats命令学习 重点学习stats命令。stats命令属于correlation分类，该命令主要是计算结果集的聚合统计信息，例如平均值、计数和总和。 第二节 数据下载和导入 使用到了一个地震数据集，该数据集是由美国地质勘探局（United States Geological Survey，简称USGS）提供，介绍了数据导入的方法。 第三节 问题描述及分析 介绍自动生成的SPL语句的方法，问题、要求及分析，解决方案、创建stats语句的方法。

第八章 数据导入及错误分析 （一）教学要求 通过将对讲解Splunk平台的数据导入方式和分析方法，时间戳问题的解决方法，以及使用Splunk平台出错时的解决方案。 （二）教学内容 本章共分四节： 第一节 背景知识介绍 讲述时间戳（timestamp）的概念，介绍Splunk软件是如何分配时间戳及时间戳的管理方法，手机导入的数据格式介绍。 第二节 数据选择 讲述导入数据入口、数据类型介绍、及Splunk平台处理数据的方式。 第三节 时间戳错误 讲述手机联网数据导入的主要技术，时间戳错误的展示。 第四节 问题分析及解决 分析问题的起因，设计问题的解决方案，在时间戳字段（Timestamp fields）中输入具有正确时间戳的方法，Splunk导入配置的方法，数据搜索及分析方法。

第九章 联网效率分析 （一）教学要求 采用Splunk软件对手机联网数据进行分析，获得手机APP的联网效率，实现手机APP的性能测试，进而判断手机APP的性能是否达到设计要求。 （二）教学内容 本章共分三节： 第一节 原理及方法 讲述手机APP的联网效率分析方法及性能测试的方法。