第一章引论
1、什么是数据挖掘？
数据挖掘更正确的命名为“从数据中挖掘知识”，是数据中的知识发现（KDD）的同义词。数据挖掘是从大量数据中挖掘有趣模式和知识的过程，数据源包括数据库、数据仓库、web、其他信息存储库或动态的流入系统的数据。
2、知识发现的过程是什么？
知识发现的过程为：
（1）数据清理（消除噪声和删除不一致的数据）
（2）数据集成（多种数据源可以组合在一起）
（3）数据选择（从数据库中提取与分析任务相关的数据）
（4）数据变换（通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式）
（5）数据挖掘（基本步骤，使用智能方法提取数据模式）
（6）模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式）
（7）知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）
3、什么类型的数据可以挖掘？
数据挖掘可以作用于任何类型的数据，数据的最基本形式是数据库数据、数据仓库数据、事务数据。也可以用于数据流、有序/序列数据、图或网络数据、空间数据、文本数据、多媒体数据和万维网。
（1）数据库数据
由一组内部相关的数据和一组管理和存储数据的软件程序组成。关系数据库是表的汇集，每个表被赋予一个唯一的名字，含有一组属性（列或字段），并且通常存放大量元组（记录或行）。每个元组代表一个对象，被唯一的关键字标识，并被一组属性值描述。通常为关系数据库构建语义数据模型，如实体-联系（ER）数据模型。
（2）数据仓库
数据仓库是一个从多个数据源收集的信息存储库，存放在一致的模式下，并且通常驻留在单个站点上。数据存储从历史的角度提供信息，并且通常是汇总的。数据仓库用称作数据立方体的多维数据结构建模。每个维对应于模式中的一个或一组属性，每个单元存放某种聚集度量值
(3)事务数据
每个记录代表一个事务
4、什么类型的模式可以挖掘？
数据挖掘功能用于指定数据挖掘任务发现的模式，一般而言，这些任务可以分为两类：描述性和预测性。描述性挖掘任务刻画目标数据中数据的一般性质，预测性挖掘任务在当前数据上进行归纳，以便进行预测。
（1）类/概念描述：特征化与区分
数据可以与类或概念相关联。数据特征化是目标类数据的一般特性或特征的汇总。将数据汇总和特征化的方法：基于统计度量和图的简单数据汇总、基于数据立方体的OLAP上卷操作、面向属性的归纳技术。数据特征的输出可以用多种形式提供：饼图、条图、曲线、多位数据立方体、多维表；数据区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。
（2）挖掘频繁模式、关联和相关性
频繁模式包括频繁项集（基础）、频繁子序列和频繁子结构。
（3）用于预测分析的分类与回归
分类预测类别标号，而回归建立连续值函数模型。回归分析是最常用的数值预测统计学方法，相关分析可能需要在分类和回归之前进行，它试图识别与分类和回归过程显著相关的属性。
（4）聚类分析
聚类分析数据对象，而不考虑类标号。
（5）离群点分析
大部分数据挖掘都将离群点作为噪声或异常而丢弃，然而在一些应用中可以做离群点分析或异常挖掘
5、支持度与置信度
支持度表示事物数据库中满足规则的事物所占的百分比，置信度评估所发现的规则的确信程度。
(X
)
(
|
Y
P
?
confidence=
X
Y
?)
(
)
(
)
=
sup Y
port?
X
X
Y
P
准确率即被一个规则正确分类的数据所占的百分比，覆盖率类似于“支持度”表示规则可以作用的数据所占的百分比。
第二章认识数据
1、数据对象与数据类型
数据对象又称样本、实例、数据点或对象，数据对象存放在数据库中，则他们为数据元组，即数据库的行对应于数据对象，列对应于属性。
属性：表示数据对象的一个特征（属性、维、特征、变量）
标称属性：一些符号或事物的名称（分类的或枚举的），标称属性可以取整数值，但是不能把它视为数值属性。
二元属性：是一种标称属性，只有两种状态，0或1,0通常表示该属性不出现，1表示出现。二元属性有对称与非对称两种。
序数属性：可能的值之间具有意义的序或秩评定，但是相继值之间的差是未知的。中心趋势可以用它的众数和中位数表示，但不能定义均值。
数值属性：定量的，用整数或实数值表示，数值属性可以是区间标度的或比率标度的。除了中心趋势度量中位数和众数之外，还可以计算均值。比率标度属性是具有固有零点的数值属性。
离散属性与连续属性：离散属性具有有限或无限可数个值，可以用或不用整数表示
2、数据的基本统计描述
（1）中心趋势度量，度量数据分布的中部或中心位置，包括均值、加权平均、中位数、众数和中列数；均值对极端值比较敏感，为了抵消少数极端值的影响，可以使用截尾均值；对于非对称数据，数据中心最好用中位数；众数是集合中出现最频繁的值，分为单峰、双峰和三峰，对于适度倾斜的单峰数值数据，有经验公式：均值-众数=3*（均值-中位数）；中列数是数据集的最大和最小值的平均值。
（2）数据的散布，最常见度量是极差、四分位数、四分位极差、五数概括和盒图，以及数据的方差和标准差。极差：最大值与最小值之差；分位数：是取自数据分布的每隔一定间隔上的点，把数据划分成基本上大小相等的连贯集合；识别可以的离群点的通常规则是，挑选落在第3个四分位数之上或第1个四分位数之下至少1.5*IQR处的值，IQR为四分位数极差（Q3-Q1）；五数概括由中位数、四分位数Q1和Q3、最小和最大观测值组成；盒图是一种流行的分布的直观表示。
离群点
最大观测值
Q3
中位数
Q1
最小观测值
方差和标准差指出数据分布的散布程度。低标准差意味数据观测趋向于非常靠近均值，高标准差表示数据散布在一个大的值域中。
（3）可视化审视数据，包括条图、饼图和线图，还有分位数图、分位数-分位数图、直方图和散点图。分位数图：是一种观察单变量数据分布得简单有效方法，显示给定属性的所有数据。分位数-分位数图（q-q图），可以观察从一个分布到另一个分布是否有漂移。直方图：概括给定属性X的分布的图形方法；散点图：确定两个数值变量之间看上去是否存在联系、模式或趋势的最有效的图形方法之一。
基本数据描述和图形统计显示有助于识别噪声和离群点，对于数据清理特别有用。
3、数据可视化
数据可视化旨在通过图形表示清晰有效地表达数据。
（1）基于像素的可视化技术
像素的颜色反应该维的值，每维创建一个窗口。
（2）几何投影可视化技术
几何投影技术帮助用户发现多维数据集的投影，二维散点图通过不同颜色或形状表述不同的数据点，三维散点图使用笛卡尔坐标系的三个坐标轴，对于维数超过4的数据集，散点图一般不太有效。平行坐标可以处理更高的维度，绘制n个等距离、相互平行的轴，每维一个。
（3）基于图符的可视化技术
两种流行的图符技术——切尔诺夫脸和人物线条画。切尔诺夫脸：有助于揭示数据中的趋势，脸的要素表示维的值，局限性为在表示多重联系的能力方面，且无法显示具体的数据
值，此外面部特征因感知的重要性而异。人物线条画：把多维数据映射到5段人物线条画中，其中每个画都有四肢和一个躯体。
（4）层次可视化技术
把所有维划分成子集，这些子空间按层次可视化。
（5）可视化复杂对象和关系
标签云是用户产生的标签的统计量的可视化。标签云的用法有两种，单个术语的标签云可以使用标签的大小表示该标签被不同的用户用于该术语的次数，多个术语上可视化标签统计量时，使用标签的大小表示该标签用于的术语数，即标签的人气。
4、度量数据的相似性和相异性
（1）数据矩阵与相异性矩阵
数据矩阵（对象-属性结构），每行对应于一个对象，每列代表一个属性，也称为二模矩阵
相异性矩阵（对象-对象结构），存放n 个对象两两之间的邻近度，只包含一类实体，称为单模矩阵
相似性度量可以表示成相异性度量的函数),(1),(j i d j i sim -=
（2）标称属性的邻近性度量
标称属性对象之间的相异性可以根据不匹配率来计算
p
m p j i d -=),( M 是匹配的数目（i ，j 取值相同状态的属性数），p 是刻画对象的属性总数；
（3）二元属性的邻近性度量
对象j
对象i
1 0 sum 1 q r q+r 0
s t s+t sum q+s r+t p
基于对称二元属性的相异性称作对称的二元相异性，i ，j 的相异性为t
s r q s r j i d ++++=),( 基于非对称的二元属性的相异性称为非对称的二元相异性，非对称的二元属性，两个状态不是同等重要的，若取值为1被认为比取值为0更有意义，负匹配t 被认为不重要而忽略，则i ，j 相异性为s
r q s r j i d +++=),( （4）数值属性的相异性
最流行的距离度量是欧几里得距离 ()()()2
222211......),(jp ip j i j i x x x x x x j i d -+-+-= 曼哈顿距离||.......||||),(2211jp ip j i j i x x x x x x j i d -+-+-=
欧几里得距离和曼哈顿距离都满足数学性质：
非负性：d （i ，j ）≥0：距离是一个非负的值
同一性：d （i ，j ）=0：对象到自身的距离为0
对称性：d （i ，j ）=d （j ，i ）：距离是一个对称函数
三角不等式：d （i ，j ）≤d （i ，k ）+d （k ，j ）从对象i 到对象j 的距离不会大于途径任何其他对象k 的距离
闵可夫斯基距离h h
jp ip h j i h j i x x x x x x j i d ||......||||),(2211-+-+-=
（5）序数属性的邻近性度量
第三章 数据预处理
1、为什么要进行数据预处理？
数据质量涉及很多因素，包括准确性、完整性、一致性、时效性、可信性和可解释性。不正确、不完整和不一致的数据是现实世界的大型数据库和数据仓库共同特点。数据预处理可以改进数据的质量，有助于提高挖掘过程的准确率和效率。
2、数据预处理的主要任务
数据预处理的主要步骤：数据清理、数据集成、数据归约和数据变换。
（1）数据清理通过填写缺失值，光滑噪声数据，识别或删除离群点并解决不一致性来“清理”数据；数据归约得到数据集的简化表示，数据归约策略包括维归约和数值归约。维
归约使用数据编码方案，以便得到原始数据的简化或“压缩”，包括数据压缩技术（小波变换和主成分分析）、属性子集选择和属性构造，在数值归约中，使用参数模型（回归和对数线性模型）或非参数模型（直方图、聚类、抽样或数据聚集），用较小的表示取代数据。
缺失值
方法适用缺点
忽略元组元组有多个属性缺少值
忽略元组不能使用该元组剩
余属性值，这些数据可能有用人工填写缺少数据少
费时，数据集大缺失值多时不
适用
常量填充简单不可靠
中心度量填充
正常数据适用均值，倾斜数据使
用中位数
数据不可靠
同类样本属性均值或平均值填充给定类数据分布倾斜则选择中
位数
数据不可靠
最可能的值填充
可以使用回归、贝叶斯形式、决
策树归纳确定
最流行但数据不可靠噪声数据：被测量的变量的随机误差或方差。
方法
分箱考察数据邻近值，进行局部光滑，有箱中位数光滑及箱边界
光滑
回归函数拟合数据来光滑数据
离群点分析通过聚类来检测离群点
数据清理的第一步是偏差检测，唯一性规则是指每个值都必须不同于该属性的其他值，连续性规则是说属性的最低和最高值之间没有缺失值，并且所有的值都必须是唯一的，空值规则是指空白、问号、特殊符号或指示空值条件的其他串的使用，以及如何处理这样的值。有大量不同的商业工具可以帮助我们进行偏差监测：数据清洗工具使用简单的领域知识，检查并纠正数据中的错误；数据审计工具通过分析数据发现规则和联系，并检测违反这些条件的数据来发现偏差；数据迁移工具允许简单的变换；ETL工具允许用户通过图形用户界面说明变换。
（2）数据集成：合并来自多个数据存储的数据，存放在一个一致的数据存储中，如存放在数据仓库中。
冗余：一个属性如果能由另一个或另一组属性“导出”，则这个属性可能是冗余的。有些冗余可以被相关分析检测，对于标称数据，我们使用卡方检验，对于数值属性，我们使用相关系数或协方差；
——标称数据的卡方检验：将两个数据元组用相依表显示；
——数值数据的相关系数：相关系数越大，相关性越强，可以作为冗余而被删除；
——数值数据的协方差：
（3）数据归约
数据归约策略包括维归约、数量归约和数据压缩。维归约减少所考虑的随机变量或属性的个数，维归约的方法包括小波变换和主成分分析；数量归约用替代的、较小的数据表示形式替换原数据；数据压缩使用变换，以便得到原数据的归约或“压缩”表示，分为有损和无损。
——小波变换是一种线性信号处理技术，小波变换后的数据可以截短，仅存放一小部分最强的小波系数，就能保留近似的压缩数据，可以用于多维数据，如数据立方体。
——主成分分析搜索k个最能代表数据的n维正交向量，其中k≤n，原数据投影到一个小得多的空间，导致维归约。基本过程如下：
1)对输入数据规范化，使得每个属性都落入相同的区间
2)计算k个标准正交向量，作为规范化输入数据的基。这些是单位向量，每一个都垂直于
其他向量。这些向量称为主成分。输入数据是主成分的线性组合。
3)对主成分按照“重要性”降序排列，去掉较弱的成分来归约数据。主成分分析能够更好
的处理稀疏数据，小波变换更适合高维数据。
——属性子集选择，通过删除不相关或冗余的属性减少数据量，选择的目标是找出最小属性集。
——回归和对数线性模型，可以用来近似给定的数据，在线性回归中，对数据建模，使之拟合到一条直线。
——直方图，属性值划分规则等宽、等频
——聚类，把数据元组看做对象，将对象划分为群或簇，用数据的簇代表替换实际数据。
——抽样，用数据小得多的随机样本表示大型数据集。
——数据立方体聚集
3、数据变换与数据离散化
数据变换策略包括光滑、属性构造、聚集、规范化、离散化、由标称数据产生概念分层
第四章数据仓库与联机分析处理
1、什么是数据仓库？
数据仓库是一种数据库，它与单位的操作数据库分别维护。是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者的决策过程。通常只需要两种数据访问操作：数据的初始化装入和数据访问。我们把建立数据仓库看做构建和使用数据仓库的过程，数据仓库的构建需要数据集成、数据清理和数据统一。
2、操作数据库系统与数据仓库的区别？
联机操作数据库系统的主要任务是执行联机事务和查询处理，这种系统称作联机事务处理系统（OLTP），数据仓库系统可以用不同的格式组织和提供给数据，以便满足不同用户的形形色色的需求，这种系统叫做联机分析处理系统（OLAP）
OLTP OLAP
用户和系统的面向性面向顾客
用于办事员、客户和信息技术
专业人员的事物和查询处理面向市场
用于知识工人（经理、主管和分析人员）的数据分析
数据内容管理当前数据
数据琐碎，难以用于决策管理历史数据
提供汇总和聚集机制，易于有根据的决策
数据库设计实体-联系（ER）数据模型
面向应用的数据库设计星形或雪花模型
面向主题的数据库设计
视图只关注一个企业或部门内部
的当前数据常常跨越数据库模式的多个版本
访问模式主要是短的原子事务大部分是只读操作
3、为什么需要分离的数据仓库？
分离的主要原因是有助于提高两个系统的性能。
1)操作数据库为已知的任务和负载设计，数据仓库的查询通常很复杂，在操作数据库上处
理OLAP查询，可能会大大降低操作任务的性能
2)操作数据库支持多事务的并发处理，需要并发控制和恢复机制，OLAP查询只需要对汇
总和聚集数据记录进行只读访问，会大大降低OLTP系统的吞吐量
3)两种系统中数据的结构、内容和用法都不相同
4、数据仓库的结构？
数据仓库是一种多层次体系结构，通常采用三层体系结构：
底层是仓库数据库服务器，使用后端工具和实用程序，由操作数据库或其他外部数据源提取数据，放入底层。
中间层是OLAP服务器，典型实现使用关系OLAP模型或使用多维OLAP模型
顶层是前端客户层，包括查询和报告工具、分析工具或数据挖掘工具。
5、数据仓库模型？
从结构的角度看，数据仓库有三种模型：企业仓库、数据集市和虚拟仓库。
企业仓库：提供企业范围内的数据集成，通常来自一个或多个操作数据库系统或外部信息提供者，并且是多功能的。
数据集市：包含企业范围数据的一个子集，范围限于选定的主题
虚拟仓库：虚拟仓库是操作数据库上视图的集合
对于开发数据仓库系统，一种推荐的方法是以递增、进化的方式实现数据仓库，首先在一个合理短的时间内定义一个高层次的企业数据模型，在不同的主题和可能的应用之间，提供企业范围的、一致的、集成的数据视图。其次，基于相同的企业数据模型，并行的实现独立的数据集市和企业数据仓库，再次，通过中心服务器集成不同的数据集市，构造分布数据集市，最后构造一个多层数据仓库
元数据是关于数据的数据，在数据仓库中，元数据是定义仓库对象的数据。包括以下内容：数据仓库结构的描述、操作元数据、用于汇总的算法、由操作环境到数据仓库的映射、关于系统性能的数据、商务元数据。
6、数据仓库建模
数据仓库和OLAP工具基于多维数据模型，这种模型将数据看做数据立方体形式。
（1）数据立方体：允许以多维对数据建模和观察，每个维都可以有一个与之相关联的表（维表）,n维数据立方体显示成n-1维立方体的序列。
（2）多维数据模型的模式：最流行的数据仓库的数据模型是多维数据模型，可以是星形模式、雪花模式或事实星座模式。
——星形模式，最常见的模型范型是星形模式，数据仓库包括一个大的中心表（事实表），
包含大批数据并且不含冗余，一组小的附属表（维表），每维一个。
——雪花模式，是星形模式的变种，雪花模式的维表可能是规范化形式，以便减少冗余，这种表易于维护，并节省存储空间。由于执行查询需要更多的连接操作，雪花结构可能降低浏览的效率，因此不如星形模式流行。
——事实星座，复杂的应用可能需要多个事实表共享维表，这种模式称为星系模式或事实星座。
数据仓库收集了关于整个组织的主题信息，因此是企业范围的，数据仓库多选用星座模式；数据集市是数据仓库的一个部门子集，针对选定的主题，因此是部门范围的，数据集市多采用星形或雪花模式
（3）维：概念分层的作用，概念分层定义一个映射序列，将低层概念集映射到较高层、更一般的概念
（4）度量的分类和计算，立方体度量是一个数值函数，该函数可以对数据立方体空间的每个点求值，度量根据其所用的聚集函数可以分为三类：分布的、代数的和整体的.
——分布的，数据划分成n个集合，将函数用于每一个部分，得到n个聚集值，如果函数用于n个聚集值得到的结果和将函数用于整个数据集得到的结果是一样的，则该函数可以用分布方式计算。例如sum（）、count（）。
——代数的，一个聚集函数如果能够用一个具有M个参数的代数函数计算，而每个参数都可以用一个分布聚集函数求得，则它是代数的。例如avg（）=sum（）/count（）——整体的，一个聚集函数如果描述它的子聚集所需的存储没有一个常数界，则它是整体的。例如median()
（5）典型的OLAP操作，上卷操作通过延一个维的概念分层向上攀升或者通过维归约在数据立方体上进行聚集；下钻是上卷的逆操作；切片和切块，切片操作在给定的立方体的一个维上进行选择，导致一个子立方体；转轴是一种目视操作，转动数据的视角，提供数据的替代表示；其他OLAP操作，钻过执行涉及多个事实表的查询，钻透使用关系SQL机制，钻透到数据立方体的底层，到后端关系表。
——OLAP系统与统计数据库
（6）查询多维数据库的星网查询模型
星网模型由从中心点发出的射线组成，其中每一条射线代表一个维的概念分层。
7、数据仓库的设计与使用
关于数据仓库的设计，必须考虑四种不同的视图：自顶向下视图、数据源视图、数据仓
库视图和商务查询视图。
从软件工程的角度看，数据仓库的设计和构造包含以下步骤：规划、需求研究、问题分析、仓库设计、数据集成和测试、部署数据仓库。大型软件系统可以用两种方法开发：瀑布式方法和螺旋式方法。瀑布式方法在进行下一步之前，每一步都进行结构的和系统的分析，螺旋式方法实际功能渐增的系统的快速产生，相继发布之间的间隔很短。
在许多公司，数据仓库用作企业管理的计划——执行——评估“闭环”反馈系统的必要部分。有三类数据仓库应用：信息处理、分析处理和数据挖掘。信息处理支持查询和基本的统计分析，并使用交叉表、表、图表或图进行报告。基于查询，可以发现有用的信息；分析处理支持基本的OLAP操作，包括切片与切块、下钻、上卷和转轴。由用户选定的数据仓库子集，在多粒度上导出汇总的信息。数据挖掘支持知识发现，包括找出隐藏的模式和关联，构造分析模型，进行分类和预测，并使用可视化工具提供挖掘结果。
8、OLAP和数据挖掘相同吗？
OLAP是数据汇总/聚集工具，帮助简化数据分析；数据挖掘自动发现隐藏在大量数据中的隐含模式和有趣知识。OLAP工具的目标是简化和支持交互数据分析；数据挖掘工具的目标是尽可能自动处理，尽管允许用户指导这一过程。数据挖掘包含数据描述和数据建模，OLAP 的功能基本上是用户指导的汇总和比较。数据挖掘不限于分析存放在数据仓库中的数据，可以分析比数据仓库提供的汇总数据粒度更细的数据。也可以分析事务的、空间的、文本的和多媒体数据。
9、多维数据库OLAM
多维数据挖掘特别重要：数据仓库中数据的高质量，环绕数据仓库的信息处理基础设施、基于OLAP的多维数据探索、数据挖掘功能的联机选择
10、数据仓库的实现
数据仓库系统要支持高校的数据立方体计算技术、存取方法和查询处理技术。
（1）数据立方体的有效计算
多维数据分析的核心是有效计算许多维集合上的聚集，这些聚集称为分组，每个分组用一个方体表示，分组的集合形成定义数据立方体的方体的格。
——compute cube操作与维灾难
Compute cube操作在操作指定的维的所有子集上计算聚集。数据立方体是方体的格；
对于不同的查询，联机分析处理可能需要访问不同的方体。因此，提前计算所有的或者至少一部分方体是个好主意。预计算的主要挑战是，如果数据立方体中素有的方体都预先计
算，所需的存储空间可能爆炸，特别是当立方体包含许多维时。这个问题成为维灾难。如果每个维没有概念分层，n维数据立方体有2n个方体;
——部分物化：方体的选择计算
给定基本方体，方体的物化有三种选择：不物化、完全物化、部分物化。不物化即不预先计算任何“非基本”方体，这导致回答查询时实时计算昂贵的多维聚集，速度非常慢；完全物化即预先计算所有方体，需要海量存储空间；部分物化即有选择的计算整个可能的方体集中一个适当的子集，部分物化是存储空间和响应时间两者之间的折中。冰山立方体是一个数据立方体，只存放聚集值大于某个最小支持度阈值的立方体单元，外壳立方体涉及预计算数据立方体的只有少量维的方体。
（2）索引OLAP数据
——位图索引，允许在数据立方体中快速搜索，如果给定的属性域包含n个值，则位图索引中每项需要n个位，如果数据表给定航上该属性值为v，则在位图索引的对应行，该值的位为1，该行的其他位均为0
——连接索引，登记来自关系数据库的两个关系的可连接行，连接索引可以跨越多维，形成复合连接索引。
（3）OLAP查询的有效处理
物化方体和构造OLAP索引结构的目的是加快数据立方体查询处理的速度，查询处理应首先确定哪些操作应当在可利用的方体上执行，然后确定相关操作应当使用哪些物化的方体。
（4）OLAP服务器结构：ROLAP/MOLAP/HOLAP的比较
——关系OLAP（ROLAP）服务器，一种中间服务器，使用关系的或扩充关系的DBMS存储并管理数据仓库数据，OLAP中间件支持其余部分
——多维OLAP（MOLAP）服务器，通过基于数组的多维存储引擎，支持数据的多维视图。多数都采用两级存储表示来处理稠密和稀疏数据集：识别较稠密的子立方体并作为数组结构存储，而稀疏子立方体使用压缩技术，提高存储利用率
——混合OLAP（HOLAP）服务器，结合ROLAP和MOLAP技术、
——特殊的SQL服务器，提供高级查询语言和查询处理，在只读环境下，在星形和雪花形模式下支持SQL查询。
（5）数据泛化：面向属性的归纳
数据泛化通过把相对底层的值用较高层概念替换来汇总数据，或通过减少维数，在涉及
较少维数的概念空间汇总数据。概念描述，概念通常指数据的汇集，概念描述产生数据的特征和比较描述，当被描述的概念涉及对象类时，有时也称概念描述为类描述。
——数据特征的面向属性的归纳，数据立方体方法基本上是基于数据的物化视图，通常在数据仓库中预先计算，面向属性的归纳基本上是面向查询的、基于泛化的、联机的数据分析处理技术。面向属性归纳的基本思想是：首先使用数据库查询收集任务相关的数据，然后通过考察任务相关数据中每个属性的不同值的个数进行泛化。
属性删除基于如下规则：如果出示工作关系的某个属性有大量不同的值，但是在该属性上并没有泛化操作符，或者它的较高层概念用其他属性表示，则应当将该属性从工作关系中删除
属性泛化基于以下规则：如果初始工作关系的某个属性有大量不同的值，并且该属性上存在泛化操作符的集合，则应当选择一个泛化操作符，并将它用于该属性。
属性泛化控制有两种技术：属性泛化阈值控制：对所有的属性设置一个泛化阈值或对每个属性设置一个阈值，如果属性不同值个数大于该属性泛化阈值，则进行进一步的属性删除或属性泛化；广义关系阈值控制：为广义关系设置一个阈值，如果广义关系中不同元组的个数超过该阈值，则进一步泛化。这两种技术可以顺序使用，首先使用属性泛化阈值控制技术泛化每个属性，然后使用关系阈值控制进一步压缩广义关系。
第五章数据立方体
1、数据立方体计算：基本概念
（1）立方体物化
基本方体的单元是基本单元，非基本方体的单元是聚集单元。聚集单元在一个或多个维上聚集，其中每个聚集维用单元记号中的*指示。假设有一个n维数据立方体，令a=（a1，a2，....，an，measures）是一个单元，取自构成数据立方体的一个方体。如果{a1，a2，....，an}中恰有m（m≤n）个值不是*，则我们说a是m维单元，如果m=n，则a是基本单元；否则是聚集单元。
完全预计算的立方体为完全立方体，部分物化的立方体为冰山立方体。一种计算冰山立方体的朴素方法是，首先计算完全立方体，然后剪去不满足冰山条件的单元。另一种有效的方法是直接计算冰山立方体，而不计算完全立方体。引入冰山立方体将减轻计算数据立方体中不重要聚集单元的负担。
（2）数据立方体计算的一般策略
①排序、散列和分组，在立方体计算中，对共享一组相同维值的元组进行聚集，需要
利用排序、散列和分组对数据进行访问和分组，以便有利于聚集的计算
② 同时聚集和缓存中间结果，从先前计算的较低层聚集而不是从基本事实表计算较高层聚集，从缓存的中间计算结果同时聚集可以减少开销很大的磁盘IO 操作
③ 当存在多个子女方体时，由最小的子女聚集。当存在多个子女方体时，由先前的最小子女方体计算父母方体更有效。
④ 可以使用先验剪枝方法有效的计算冰山立方体。对于数据立方体，先验性质表述如下：如果给定的单元不满足最小支持度，则该单元的后代也都不满足最小支持度。通常的冰山条件是单元必须满足最小支持度阈值，如最小计数或总和。
2、数据立方体的计算方法
（1）完全立方体计算的多路数组聚集
多路数组聚集方法使用多维数组作为基本的数据结构，计算完全数据立方体。
第六章 挖掘频繁模式、关联和相关性：基本概念和方法
频繁模式是频繁的出现在数据集中的模式，如果一个子结构频繁出现，则称它为（频繁的）结构模式。对于挖掘数据之间的关联、相关性和许多其他有趣的联系，发现这种频繁模式起着至关重要的作用。此外，它对数据分类、聚类和其他数据挖掘任务也有帮助。
1、基本概念
（1）规则的支持度和置信度是规则兴趣度的两种度量，分别反映所发现规则的有用性和确定性。在典型情况下，关联规则被认为是有趣的，如果它满足最小支持度阈值和最小置信度阈值。
支持度)()(sup B A P B A port ?=?
置信度)|()(A B P B A confidence
=? 同时满足最小支持度阈值和最小置信度阈值的规则称为强规则，用0%~100%之间的值表示。
项的集合称为项集，包含k 个项的项集称为k 项集。项集的出现频度是包含项集的事物数，简称为项集的频度、支持度计数或计数。
如果项集I 的相对支持度满足预定义的最小支持度阈值，则I 是频繁项集。频繁k 项集的集合通常记为L K 。
)
(_sup )(_sup )(sup )(sup )|()(A count port B A count port A port B A port A B P B A confidence ?=?==? 可以看出规则B A ?的置信度可以从A 和A ∪B 的支持度计数推出，因此挖掘关联规则可以归结为挖掘频繁项集。
（2）一般而言，关联规则的挖掘是一个两步的过程
一、找出所有的频繁项集：根据定义，这些项集的每一个频繁出现的次数至少与预定义的最小支持计数min_sup 一样
二、由频繁项集产生强关联规则：根据定义，这些规则必须满足最小支持度和最小置信度。
如果一个项集是频繁的，则它的每个子集也是频繁的，一个长项集将包含组合个数较短的频繁子项集。
项集X 在数据集D 中是闭的，如果不存在真超项集Y 使得Y 与X 在D 中具有相同的支持度计数，项集X 是D 中的闭频繁项集，如果X 在D 中是闭的和频繁的，项集X 是D 中的极大频繁项集或极大项集。
2、频繁项集挖掘方法
挖掘最简单形式的频繁模式方法，Apriori 算法是一种发现频繁项集的基本算法。
（1）通过限制候选产生发现频繁项集
Apriori 算法是布尔关联规则挖掘频繁项集的原创性算法，算法使用频繁项集性质的先验知识，使用一种称为逐层搜索的迭代方法，其中k 项集用于探索k+1项集。
首先，通过扫描数据库，累计每个项的计数，并收集满足最小支持度的项，找出频繁1项集的集合。该集合记为L1。
然后，使用L1找出频繁2项集的集合L2，使用L2找出L3，如此下去，直到不能再找到频繁k 项集
缺点：每找出一个L k 需要一次数据库扫描，为了提高频繁项集逐层产生的效率，使用先验性质压缩搜索空间。
先验性质：频繁项集的所有非空子集也一定是频繁的。如果一个集合不能通过测试，则它的所有超集也都不能通过测试。
如何使用L K-1找出L K ？
一、连接步：为找出L K ，通过将L K-1与自身连接产生候选k 项集的集合。该候选项集的集合记为C K
二、剪枝步：C K 是L K 的超集。扫描数据库，确定C K 中每个候选的计数，从而确定L K
（2）由频繁项集产生关联规则
一旦由数据库D 中的事务找出频繁项集，就可以直接由它们产生强关联规则。
)
(_)(_)|()(A count Support B A count Support B A P B A confidence ?==?根据上式，关联规则可以产生如下：
对于每个频繁项集L ，产生L 的所有非空子集
对于L 的每个非空子集s ，如果conf s count Support t count Support min_)
(_)(_≥则输出规则s l s -?，其中min_conf 是最小置信度阈值。
（3）提高Apriori 算法的效率
提高算法的效率需要一些变形。其中一些变形如下：
——基于散列的技术，一种基于散列的技术可以用于压缩候选k 项集的集合C K
——事务压缩，不包含任何频繁k 项集的事务不可能包含任何频繁k+1项集。因此，这种事务在其后的考虑时，可以加上标记或删除，因为产生j 项集的数据库扫描不再需要他们
——划分，使用划分技术，只需要扫描两次数据库就可以挖掘频繁项集。首先，算法把D 中的事务划分成n 个非重叠的分区，如果D 中事务的最小相对支持度阈值为min_sup ，则每个分区的最小支持度计数为min_sup ×该分区中的事务数，对每个分区，找出所有的局部频繁项集。然后，第二次扫描D ，评估每个候选的实际支持度，以确定全局频繁项集。 D 中的事务把D 划
分成n
个分区找出每个分区的局部频繁项集(1次
扫描)组合所有局部频繁项集形成候选项集找出候选项集中的全局频繁项集(1次扫描)D 中的频繁项集
阶段一
阶段二
——抽样，抽样方法的基本思想是，选取给定数据库D 的随机样本S ，然后在S 而不是D 中搜索频繁项集。牺牲精度换取有效性，可能丢失一些全局频繁项集。为降低这种可能性，使用比最小支持度低的支持度阈值来找出S 的局部频繁项集。
——动态项集计数，将数据库划分为用开始点标记的块。可以在任何开始点添加新的候选项集
（4）挖掘频繁项集的模式增长方法
频繁模式增长（FP-growth ）：首先，将代表频繁项集的数据库压缩到一颗频繁模式树，概述仍保留项集的相关信息。然后，把这种压缩后的数据库划分成一组条件数据库，每个数据库关联一个频繁项或模式段，并分别挖掘每个条件数据库。
（5）使用垂直数据格式挖掘频繁项集
Apriori 算法和FP-growth 算法都从TID 项集格式({TID:itemset})的事务集中挖掘频繁模式，其中TID 是事务标识符，而itemset 是事务TID 中购买的商品，这种数据格式称为水平数据格式。或者，数据也可以用项-TID 集格式{item ：TID_set}表示，其中item 是项的名称，TID_set 是包含item 的事务的标识符的集合，这种格式称为垂直数据格式。
（6）挖掘闭模式和极大模式
从闭频繁项集的集合可以很容易的推出频繁项集的集合和它们的支持度。挖掘闭频繁项集的一种朴素方法是，首先挖掘频繁项集的完全集，然后删除这样的频繁项集，它们是某个频繁项集的真子集，并且具有相同支持度。 一种推荐的方法是在挖掘过程中直接搜索闭频繁项集，在挖掘过程中，一旦识别闭项集就尽快对搜索空间进行剪枝。剪枝包括以下几个策略：
项合并，如果包含频繁项集X 的每个事物都包含项集Y ，但不包含Y 的任何真超集，则X ∪Y 形成一个闭频繁项集，并且不必再搜索包含X 但不包含Y 的任何项集。
子项集剪枝：如果频繁项集X 是一个已经发现的闭频繁项集Y 的真子集，并且
support_count(X)=support_count(Y),则X 和X 在集合枚举树中的后代都不可能是闭频繁项集，因此可以剪枝。
项跳过：在深度优先挖掘闭项集时，每一层都有一个与头表和投影数据库相关联的前缀项集X 。如果一个局部频繁项P 在不同层的多个头表中都具有相同的支持度，则可以将P 从较高层头表中剪裁掉。
3、模式评估方法
提升度是一种简单的相关性度量，项集A 的出现独立于项集B 的出现，如果P(A ∪
B)=P(A)P(B)；否则，作为事件，项集A 和B 是依赖的和相关的。A 和B 出现之间的提升度可以通过公式计算
)
()()(),(B P A P B A P B A life ?= 如果计算出的值小于1，则为负相关，意味着一个出现可能导致另一个不出现；如果计
算出的值大于1，则A 和B 是正相关，意味着一个出现另一个也会出现；如果计算出的值等于1，则A 和B 是独立的，它们之间没有相关性。
X 2相关分析∑=期望值期望值观测值2
2
)-(χ 全置信度)}|(),|(m in{)}
sup(),m ax {sup()sup(),(_A B P B A P B A B A B A conf all =?= 最大置信度)}|(),|(max{),(max_A B P B A P B A conf = 余弦度量)
sup()sup()sup()()()(),(sin B A B A B P A P B A P B A e con ??=??= 零事务是不包含任何考察项集的事务
第七章 高级模式挖掘
1.挖掘模式
大部分研究都主要关注模式挖掘的三个方面：所挖掘的模式类型、挖掘方法和应用。基于模式的多样性，模式挖掘可以使用如下标准进行分类：
基本模式：频繁模式是满足最小支持度阈值的模式。如果不存在与P 具有相同支持度的超模式P ’，模式P 是一个闭模式。如果不存在P 的频繁超模式，模式P 是一个极大模式。
基于模式所涉及的抽象层：模式或关联规则可能具有处于高、低或多个抽象层的项，则挖掘的规则集由多层关联规则组成，反之，如果在给定的规则集中，规则不涉及不同抽象层的项或属性，则该集合包含单层关联规则。
基于规则或模式所涉及的维数：如果关联规则或模式中的项或属性只涉及一个维，则它是单维关联规则/模式。如果规则/模式涉及两个或多个维，则它是多为关联规则
基于规则或模式中所处理的值类型：如果规则考虑的关联是项是否出现，则为布尔关联规则；如果规则描述的是量化的项或属性之间的关联，则它是量化关联规则。
基于挖掘选择性模式的约束或标准：被发现的模式或规则可以是基于约束的、近似的、压缩的、近似匹配的。
根据数据类型和所涉及的应用分类：
基于所挖掘的数据类型和特征，在这种情况下，频繁模式的挖掘本质上是频繁项集挖掘，也可以挖掘结构模式，即结构数据集中的频繁子结构。
基于应用领域的特定语义：多样性的应用数据导致大量不同的模式挖掘方法
基于数据分析的使用方法：频繁模式挖掘充当中间步骤，作为分类的特征提取步骤使用为基于模式的分类，基于模式的聚类显示了在聚类高维数据方面的优势
模式挖掘研究
扩充的模式
频繁模式
关联规则
闭/极大模式
生成元
多层（一致、变化或基于项集的支持度）
多维模式（包括高维模式）
连续数据（基于离散化或基于统计）
近似模式
不确定模式
压缩模式
稀有模式/负模式
高维和巨型模式
分布、并行
和增量的
多候选产生（Apriori、划分、抽样…）
模式增长（FP-growth、Hmine、FPMax…）
垂直格式（Eclat、CHARM…）
兴趣度（主观的与客观的）
基于约束的挖掘
相关规则
异常规则
分布/并行挖掘
增量挖掘
流模式
序列和时间序列模式
结构（树、格、图）模式
空间（协定位）模式
图像、视频和多媒体模式
网络模式
基于模式的分类
基于模式的探索
基于模式的语义注释
协同过滤
保护隐私
扩充和应用
扩充的
数据类型
应用
挖掘有趣
的模式
基本
挖掘方法
多层和多
维模式
基本模式
模式和规则
的类型
挖掘方法
2、多层、多维空间中的模式挖掘
（1）挖掘多层关联规则
关注在多个抽象层以足够的灵活性挖掘模式并易于在不同的抽象空间转换的方法。
在多个抽象层的数据上挖掘产生的关联规则为多层关联规则。对于所有层使用一致的最小支持度称为一致支持度，即在每个抽象层上挖掘时，使用相同的最小支持度阈值。缺点是较低抽象层的项不大可能像较高抽象层的项那样频繁出现。如果最小支持度阈值设置太高，则可能错失在较低抽象层中出现的有意义的关联。如果阈值设置太低，则可能会产生出现在
SQL Server 数据库基本知识点一、数据类型
二、常用语句 (用到的数据库Northwind) 查询语句 简单的Transact-SQL查询只包括选择列表、FROM子句和WHERE子句。它们分别说明所查询列、查询的 表或视图、以及搜索条件等。例如，下面的语句查询Customers 表中公司名称为“Alfreds Futterkiste”的ContactName字段和Address字段。 SELECT ContactName, Address FROM Customers WHERE CompanyName='Alfreds Futterkiste' (一) 选择列表 选择列表(select_list)指出所查询列，它可以是一组列名列表、星号、表达式、变量(包括局部变量和全局变量)等构成。 1、选择所有列 例如，下面语句显示Customers表中所有列的数据： SELECT * FROM Customers 2、选择部分列并指定它们的显示次序查询结果集合中数据的排列顺序与选择列表中所指定的列名排列顺序相同。 例如： SELECT ContactName, Address FROM Customers 3、更改列标题 在选择列表中，可重新指定列标题。定义格式为： 列标题 as 列名 列名列标题如果指定的列标题不是标准的标识符格式时，应使用引号定界符，例如，下列语句使用汉字显示列标题： SELECT ContactName as 联系人名称, Address as地址 FROM Customers 4、删除重复行
SELECT语句中使用ALL或DISTINCT选项来显示表中符合条件的所有行或删除其中重复的数据行，默认 为ALL。使用DISTINCT选项时，对于所有重复的数据行在SELECT返回的结果集合中只保留一行。 SELECT DISTINCT(Country) FROM Customers 5、限制返回的行数 使用TOP n [PERCENT]选项限制返回的数据行数，TOP n说明返回n行，而TOP n PERCENT 时，说明n是 表示一百分数，指定返回的行数等于总行数的百分之几。 例如： SELECT TOP 2 * FROM Customers SELECT TOP 20 PERCENT * FROM Customers (二)FROM子句 FROM子句指定SELECT语句查询及与查询相关的表或视图。在FROM子句中最多可指定256个表或视图，它们之间用逗号分隔。在FROM子句同时指定多个表或视图时，如果选择列表中存在同名列，这时应使用对象名限定这些列 所属的表或视图。例如在Orders和Customers表中同时存在CustomerID列，在查询两个表中的CustomerID时应 使用下面语句格式加以限定： select * from Orders,Customers where Orders.CustomerID =Customers.CustomerID 在FROM子句中可用以下两种格式为表或视图指定别名： 表名 as 别名 表名别名 select * from Orders as a,Customers as b where a.CustomerID =b.CustomerID SELECT不仅能从表或视图中检索数据，它还能够从其它查询语句所返回的结果集合中查询数据。 例如： select * from Customers where CustomerID in (select CustomerID from Orders where EmployeeID=4) 此例中，将SELECT返回的结果集合给予一别名CustomerID，然后再从中检索数据。 (三) 使用WHERE子句设置查询条件 WHERE子句设置查询条件，过滤掉不需要的数据行。例如下面语句查询年龄大于20的数据：select CustomerID from Orders where EmployeeID=4
(大数据)北邮大数据技术课程重点总结
5.数据化与数字化的区别 数据化：将现象转变为可制表分析的量化形式的过程； 数字化：将模拟数据转换成使用0、1表示的二进制码的过程 6.基于协同过滤的推荐机制 基于协同过滤的推荐（这种机制是现今应用最为广泛的推荐机制）——基于模型的推荐（SVM、聚类、潜在语义分析、贝叶斯网络、线性回归、逻辑回归） 余弦距离（又称余弦相似度）：表示是否有相同的倾向 欧几里得距离（又称欧几里得相似度）：表示绝对的距离 这种推荐方法的优缺点： 它不需要对物品或者用户进行严格的建模，而且不要求物品的描述是机器可理解的；推荐是开放的，可以共用他人的经验，很好的支持用户发现潜在的兴趣偏好。 数据稀疏性问题，大量的用户只是评价了一小部分的项目，而大多数的项目是没有进行评分；冷启动问题，新物品和新用户依赖于用户历史偏好数据的多少和准确性，一些特殊品味的用户不能给予很好的推荐。 7.机器学习：构建复杂系统的可能方法/途径 机器学习使用场景的核心三要素：存在潜在模式、不容易列出规则并编程实现、有历史的数据 8.机器学习的基础算法之PLA算法和Pocket算法（贪心PLA） 感知器——线性二维分类器，都属于二分类算法 二者的区别：迭代过程有所不同，结束条件有所不同； 证明了线性可分的情况下是PLA和Pocket可以收敛。 9.机器为什么能学习 学习过程被分解为两个问题： 能否确保Eout(g)与Ein(g)足够相似？ 能否使Ein(g)足够小？ 规模较大的N，有限的dVC，较低的Ein条件下，学习是可能的。 切入点：利用具体特征的，基于有监督方式的，批量学习的分析，进行二分类预测。 10.VC维： 11.噪声的种类： 12.误差函数（损失函数） 13.给出数据计算误差 14.线性回归算法：简单并且有效的方法，典型公式 线性回归的误差函数：使得各点到目标线/平面的平均距离最小！ 15.线性回归重点算法部分：
1. 数据抽象：物理抽象、概念抽象、视图级抽象，模式、模式、外模式 提示： (1). 概念模式：(面向单个用户的) 是数据中全部数据的整体逻辑结构的描述。它由若干个概念记录类型组成。 (2). 外模式：(面向全局的) 是用户与数据库系统的接口，是用户用到的那部分数据的描述。它由若干个外部记录类型组成。(3). 模式：(面向存储的) 是数据库在物理存储方面的描述，它定义所有的部记录类型、索引、和文件的组织方式，以及数据控制方面的细节。 模式描述的是数据的全局逻辑结构，外模式描述的是数据的局部逻辑结构。对应与同一个模式可以有任意多个外模式。在数据库中提供两级映像功能，即外模式/模式映像和模式/模式映像。对于没一个外模式，数据库系统都有一个外模式/模式映像它定义了该外模式与模式之间的对应关系。这些映像定义通常包括在各自外模式的描述中，当模式改变时，由数据库管理员对各个外模式/模式的映像做相应改变，可以使外模式保持不变，从而应用程序不必修改，保证了数据的逻辑独立性。数据库中只有一个模式，也只有一个模式，所以模式/模式映像是唯一的，它定义了数据全局逻辑结构与存储结构之间的对应关系。当数据库的存储结构改变了，由数据库管理员对模式/模式映像做相应改变，可以使模式保持不变，从而保证了数据的物理独立性。 2. SQL语言包括数据定义、数据操纵(Data Manipulation)，数据控制(Data Control) 数据定义：Create Table，Alter Table，Drop Table，Craete/Drop Index等 数据操纵：Select ，insert，update，delete， 数据控制：grant，revoke 3. SQL常用命令 CREATE TABLE Student( ID NUMBER PRIMARY KEY， NAME V ARCHAR2(50) NOT NULL);//建表 CREATE VIEW view_name AS Select * FROM Table_name;//建视图 Create UNIQUE INDEX index_name ON TableName(col_name);//建索引 INSERT INTO tablename {column1，column2，…} values(exp1，exp2，…);//插入 INSERT INTO Viewname {column1，column2，…} values(exp1，exp2，…);//插入视图实际影响表 UPDA TE tablename SET name=’zang 3’ condition;//更新数据 DELETE FROM Tablename WHERE condition;//删除 GRANT (Select，delete，…) ON (对象) TO USER_NAME [WITH GRANT OPTION];//授权 REVOKE (权限表) ON(对象) FROM USER_NAME [WITH REVOKE OPTION] //撤权 列出工作人员及其领导的名字： Select https://www.doczj.com/doc/e32342700.html,，https://www.doczj.com/doc/e32342700.html, FROM EMPLOYEE E S WHERE E.SUPERName=https://www.doczj.com/doc/e32342700.html, 4. 视图 提示： 计算机数据库中的视图是一个虚拟表，其容由查询定义。同真实的表一样，视图包含一系列带有名称的列和行数据。但是，视图并不在数据库中以存储的数据值集形式存在。行和列数据来自由定义视图的查
《数据库原理》知识点总结标准化文件发布号：（9312-EUATWW-MWUB-WUNN-INNUL-DQQTY-
目录未找到目录项。 一数据库基础知识（第1、2章） 一、有关概念 1．数据 2．数据库（DB） 3．数据库管理系统（DBMS） Access 桌面DBMS VFP SQL Server Oracle 客户机/服务器型DBMS MySQL DB2 4．数据库系统（DBS） 数据库（DB） 数据库管理系统（DBMS） 开发工具 应用系统 二、数据管理技术的发展 1．数据管理的三个阶段 概念模型 一、模型的三个世界 1．现实世界
2．信息世界：即根据需求分析画概念模型（即E-R图），E-R图与DBMS 无关。 3．机器世界：将E-R图转换为某一种数据模型，数据模型与DBMS相关。 注意：信息世界又称概念模型，机器世界又称数据模型 二、实体及属性 1．实体：客观存在并可相互区别的事物。 2．属性： 3．关键词（码、key）：能唯一标识每个实体又不含多余属性的属性组合。 一个表的码可以有多个，但主码只能有一个。 例：借书表（学号，姓名，书号，书名，作者，定价，借期，还期） 规定：学生一次可以借多本书，同一种书只能借一本，但可以多次续借。 4．实体型：即二维表的结构 例 student(no，name，sex，age，dept) 5．实体集：即整个二维表 三、实体间的联系： 1．两实体集间实体之间的联系 1：1联系 1：n联系 m：n联系 2．同一实体集内实体之间的联系 1：1联系 1：n联系 m：n联系 四、概念模型（常用E-R图表示） 属性： 联系： 说明：① E-R图作为用户与开发人员的中间语言。 ② E-R图可以等价转换为层次、网状、关系模型。 举例： 学校有若干个系，每个系有若干班级和教研室，每个教研室有若干教员，其中有的教授 和副教授每人各带若干研究生。每个班有若干学生，每个学生选修若干课程，每门课程有若干学生选修。用E-R图画出概念模型。
目录未找到目录项。 一数据库基础知识（第1、2章） 一、有关概念 1．数据 2．数据库（DB） 3．数据库管理系统（DBMS） Access 桌面DBMS VFP SQL Server Oracle 客户机/服务器型DBMS MySQL DB2 4．数据库系统（DBS） 数据库（DB） 数据库管理系统（DBMS） 开发工具 应用系统 二、数据管理技术的发展 1．数据管理的三个阶段 概念模型 一、模型的三个世界 1．现实世界 2．信息世界：即根据需求分析画概念模型（即E-R图），E-R图与DBMS无关。 3．机器世界：将E-R图转换为某一种数据模型，数据模型与DBMS相关。
注意：信息世界又称概念模型，机器世界又称数据模型 二、实体及属性 1．实体：客观存在并可相互区别的事物。 2．属性： 3．关键词（码、key）：能唯一标识每个实体又不含多余属性的属性组合。 一个表的码可以有多个，但主码只能有一个。 例：借书表（学号，姓名，书号，书名，作者，定价，借期，还期） 规定：学生一次可以借多本书，同一种书只能借一本，但可以多次续借。 4．实体型：即二维表的结构 例student(no，name，sex，age，dept) 5．实体集：即整个二维表 三、实体间的联系： 1．两实体集间实体之间的联系 1：1联系 1：n联系 m：n联系 2．同一实体集内实体之间的联系 1：1联系 1：n联系 m：n联系 四、概念模型（常用E-R图表示） 属性： 联系： 说明：①E-R图作为用户与开发人员的中间语言。 ②E-R图可以等价转换为层次、网状、关系模型。 举例： 学校有若干个系，每个系有若干班级和教研室，每个教研室有若干教员，其中有的教授和副教授每人各带若干研究生。每个班有若干学生，每个学生选修若干课程，每门课程有若干学生选修。用E-R图画出概念模型。
二、名词解释 1.数据冗余定义：同一数据存储在不同的数据文件中的现象。 2.DBA 数据库管理员 3.事务指访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。 4.数据字典：数据库中所有对象及其关系的信息集合。 5.数据独立性包括数据的物理独立性和逻辑独立性。 6.物理独立性是指用户的应用程序与存储在磁盘上的数据库中数据是相互独立的 7.逻辑独立性是指用户的应用程序与数据库的逻辑结构是相互独立的 8. 存储过程是一组为了完成特定功能的SQL语句集 9.触发器可以查询其他表，而且可以包含复杂的SQL 语句。它们主要用于强制服从复杂的业务规则或要求 10.SQL语言中的视图 答：在SQL中，外模式一级数据结构的基本单位是视图，它是从若干基本表和(或)其它视图中构造出来的，视图并不存储对应的数据，只是将视图的定义存于数据字典中。 四、简答题 1.数据库管理系统的主要功能有哪些? 答：数据库定义、操纵、保护、存储、维护和数据字典。 2.数据库系统中的常见故障有哪些? 答：.事务故障，系统故障、介质故障。 3.简述SQL语言的组成。 答：分为四个部分： 数据定义、数据操纵、数据控制、嵌入式SQL语言的使用规定。 4.说明关系模型有哪三类完整性规则? 答：实体完整性、参照完整性、用户自定义完整性。 5.请阐述在网状模型和关系模型中，实体之间联系的实现方法。 答：在网状模型中，联系用指针实现。 在关系模型中，联系用关键码(或外键，或关系运算) 来实现。 6.DBS由哪几个部分组成？ 答：DBS由四部分组成：数据库、硬件、软件、数据库管理员。 7.数据库的并发操作会带来哪些问题？ 答:数据库的并发操作会带来三类问题:丢失更新问题;不一致分析问题和“脏数据”的读出。 8.简述客户/服务器模式DBS的一般结构。此时数据库应用的功能如何划分？ 答:DBS ：数据库系统（Database System),DBS是实现有组织地、动态地存储大量关联数据，方便多用户访问的计算机软件、硬件和数据资源组成的系统，即采用了数据库技术的计算机系统。 9.什么是日志文件？为什么要设立日志文件？ 答：（1）日志文件是用来记录事务对数据库的更新操作的文件。 （2）设立日志文件的目的是：进行事务故障恢复；进行系统故障恢复；协助后备副本进行介质故障恢复。 10.SQL中表达完整性约束的规则主要有哪几种？ 答：有主键约束、外键约束、属性值约束和全局约束等。 11.什么是分布式数据库的分布透明性？
UNIT 1 四个基本概念 1.数据(Data):数据库中存储的基本对象 2.数据库的定义 :数据库(Database,简称DB)是长期储存在计算机内、有组织的、可共享的大量数据集合 3.数据库管理系统（简称DBMS）：位于用户与操作系统之间的一层数据管理软件（系统软件）。 用途:科学地组织和存储数据;高效地获取和维护数据 主要功能: 数据定义功能; 数据操纵功能; 数据库的运行管理; 数据库的建立和维护功能(实用程序) 4.数据库系统（Database System，简称DBS）：指在计算机系统中引入数据库后的系统 数据库系统的构成 数据库 数据库管理系统（及其开发工具） 应用系统 数据库管理员（DBA)和用户 数据管理技术的发展过程 人工管理阶段 文件系统阶段 数据库系统阶段 数据库系统管理数据的特点如下 (1) 数据共享性高、冗余少；(2) 数据结构化；(3) 数据独立性高；(4) 由DBMS进行统一的数据控制功能 数据模型 用来抽象、表示和处理现实世界中的数据和信息的工具。通俗地讲数据模型就是现实世界数据的模拟。 数据模型三要素。
数据结构：是所研究的对象类型的集合，它是刻画一个数据模型性质最重要的方面;数据结构是对系统静态特性的描述 数据操作:对数据库中数据允许执行的操作及有关的操作规则;对数据库中数据的操作主要有查询和更改（包括插入、修改、删除）;数据操作是对系统动态特性的描述 数据的约束条件:数据及其联系应该满足的条件限制 E-R图 实体：矩形框表示 属性：椭圆形(或圆角矩形)表示 联系：菱形表示 组织层数据模型 层次模型 网状模型 关系模型(用“二维表”来表示数据之间的联系) 基本概念: 关系（Relation） :一个关系对应通常说的一张表 元组（记录）: 表中的一行 属性（字段）：表中的一列，给每一个属性名称即属性名 分量：元组中的一个属性值，分量为最小单位，不可分 主码（Key）：表中的某个属性组，它可以唯一确定一个元组。 域（Domain）：属性的取值范围。
目录 1.1.1 四个基本概念 (1) 数据(Data) (1) 数据库(Database,简称DB) (1) 长期储存在计算机内、有组织的、可共享的大量数据的集合、 (1) 基本特征 (1) 数据库管理系统(DBMS) (1) 数据定义功能 (1) 数据组织、存储和管理 (1) 数据操纵功能 (2) 数据库的事务管理和运行管理 (2) 数据库的建立和维护功能(实用程序) (2) 其它功能 (2) 数据库系统(DBS) (2) 1.1.2 数据管理技术的产生和发展 (3) 数据管理 (3)
数据管理技术的发展过程 (3) 人工管理特点 (3) 文件系统特点 (4) 1.1.3 数据库系统的特点 (4) 数据结构化 (4) 整体结构化 (4) 数据库中实现的是数据的真正结构化 (4) 数据的共享性高，冗余度低，易扩充、数据独立性高 (5) 数据独立性高 (5) 物理独立性 (5) 逻辑独立性 (5) 数据独立性是由DBMS的二级映像功能来保证的 (5) 数据由DBMS统一管理和控制 (5) 1.2.1 两大类数据模型：概念模型、逻辑模型和物理模型 (6) 1.2.2 数据模型的组成要素：数据结构、数据操作、数据的完整性约束条件. 7 数据的完整性约束条件: (7)
关系数据模型的优缺点 (8) 1.3.1 数据库系统模式的概念 (8) 型(Type)：对某一类数据的结构和属性的说明 (8) 值(Value)：是型的一个具体赋值 (8) 模式（Schema） (8) 实例（Instance） (8) 1.3.2 数据库系统的三级模式结构 (9) 外模式[External Schema]（也称子模式或用户模式）， (9) 模式[Schema]（也称逻辑模式） (9) 内模式[Internal Schema]（也称存储模式） (9) 1.3.3 数据库的二级映像功能与数据独立性 (9) 外模式/模式映像：保证数据的逻辑独立性 (10) 模式/内模式映象：保证数据的物理独立性 (10) 1.4 数据库系统的组成 (10) 数据库管理员(DBA)职责： (10)
数据的分析知识点总结 与典型例题 Company number：【WTUT-WT88Y-W8BBGB-BWYTT-19998】
目录 数据的分析知识点总结与典型例题 一、数据的代表 1、算术平均数： 把一组数据的总和除以这组数据的个数所得的商. 公式：n x x x n +???++21 使用：当所给数据1x ，2x ，…，n x 中各个数据的重要程度相同时，一般使 用该公式计算平均数. 2、加权平均数： 若n 个数1x ，2x ，…，n x 的权分别是1w ，2w ，…，n w ，则 n n n w w w w x w x w x +???+++???++212211，叫做这n 个数的加权平均数. 使用：当所给数据1x ，2x ，…，n x 中各个数据的重要程度（权）不同时， 一般选用加权平均数计算平均数. 权的意义：权就是权重即数据的重要程度. 常见的权：1）数值、2）百分数、3）比值、4）频数等。 3、组中值：（课本P128）
数据分组后，一个小组的组中值是指这个小组的两个端点的数的平均数，统计中常用各组的组中值代表各组的实际数据. 4、中位数： 将一组数据按照由小到大（或由大到小）的顺序排列，如果数据的个数是奇数，则处于中间位置的数就是这组数据的中位数；如果数据的个数是偶数，则中间两个数据的平均数就是这组数据的中位数. 意义：在一组互不相等的数据中，小于和大于它们的中位数的数据各占一半. 5、众数： 一组数据中出现次数最多的数据就是这组数据的众数. 特点：可以是一个也可以是多个. 用途：当一组数据中有较多的重复数据时，众数往往是人们所关心的一个量. 6、平均数、中位数、众数的区别： 平均数能充分利用所有数据，但容易受极端值的影响；中位数计算简单，它不易受极端值的影响，但不能充分利用所有数据；当数据中某些数据重复出现时，人们往往关心众数，但当各个数据的重复次数大致相等时，众数往往没有意义. ※典型例题： 考向1：算数平均数 1、数据-1，0，1，2，3的平均数是（C） A．-1 B．0 C．1 D．5
第一章：绪论 数据库（DB）：长期存储在计算机内、有组织、可共享的大量数据的集合。数据库中的数据按照一定的数据模型组织、描述和存储，具有娇小的冗余度、交稿的数据独立性和易扩展性，并可为各种用户共享。 数据库管理系统（DBMS）：位于用户和操作系统间的数据管理系统的一层数据管理软件。用途：科学地组织和存储数据，高效地获取和维护数据。包括数据定义功能，数据组织、存储和管理，数据操纵功能，数据库的事物管理和运行管理，数据库的建立和维护功能，其他功能。 数据库系统（DBS）：在计算机系统中引入数据库后的系统，一般由数据库。数据库管理系统（及其开发工具）、应用系统、数据库管理员构成。目的：存储信息并支持用户检索和更新所需的信息。 数据库系统的特点：数据结构化；数据的共享性高，冗余度低，易扩充；数据独立性高；数据由DBMS统一管理和控制。 概念模型实体，客观存在并可相互区别的事物称为实体。 属性，实体所具有的某一特性称为属性。 码，唯一标识实体的属性集称为码。 域，是一组具有相同数据类型的值的集合。 实体型，具有相同属性的实体必然具有的共同的特征和性质。 实体集，同一类型实体的集合称为实体集。 联系 两个实体型之间的联系一对一联系；一对多联系；多对多联系 关系模型关系，元组，属性，码，域，分量，关系模型 关系数据模型的操纵与完整性约束关系数据模型的操作主要包括查询，插入，删除和更新数据。这些操作必须满足关系完整性约束条件。关系的完整性约束条件包括三大类：实体完整性，参照完整性和用户定义的完整性。 数据库系统三级模式结构外模式，模式，内模式 模式：（逻辑模式）数据库中全体数据的逻辑结构和特征的描述，是所有用户的公共数据视图。一个数据库只有一个模式。
大数据技术 1.什么是数据挖掘，什么是机器学习： 什么是机器学习 关注的问题：计算机程序如何随着经验积累自动提高性能； 研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能； 通过输入和输出，来训练一个模型。 2.大数据分析系统层次结构：应用层、算法层、系统软件层、基础设施层 3.传统的机器学习流程 预处理-》特征提取-》特征选择-》再到推理-》预测或者识别。 手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，如果数据被很好的表达成了特征，通常线性模型就能达到满意的精度。 4.大数据分析的主要思想方法 4.1三个思维上的转变 关注全集（不是随机样本而是全体数据）：面临大规模数据时，依赖于采样分析；统计学习的目的——用尽可能少的数据来证实尽可能重大的发现；大数据是指不用随机分析这样的捷径，而是采用大部分或全体数据。 关注概率（不是精确性而是概率）：大数据的简单算法比小数据的复杂算法更有效 关注关系（不是因果关系而是相关关系）：建立在相关关系分析法基础上的预测是大数据的核心，相关关系的核心是量化两个数据值之间的数理关系，关联物是预测的关键。 4.2数据创新的思维方式 可量化是数据的核心特征（将所有可能与不可能的信息数据化）；挖掘数据潜在的价值是数据创新的核心；三类最有价值的信息：位置信息、信令信息以及网管和日志。 数据混搭为创造新应用提供了重要支持。 数据坟墓：提供数据服务，其他人都比我聪明！ 数据废气：是用户在线交互的副产品，包括了浏览的页面，停留了多久，鼠标光标停留的位置、输入的信息。 4.3大数据分析的要素 大数据“价值链”构成：数据、技术与需求（思维）；数据的价值在于正确的解读。
云计算与大数据基础知识 一、云计算是什么? 云计算就是统一部署的程序、统一存储并由相关程序统一管理着的数据！ 云计算cloud computing是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。因此，云计算甚至可以让你体验每秒超过10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。 云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。 通俗的理解是，云计算的“云”就是存在于互联网上的服务器集群上的资源，它包括硬件资源（服务器、存储器、CPU等）和软件资源（如应用软件、集成开发环境等），所有的处理都在云计算提供商所提供的计算机群来完成。 用户可以动态申请部分资源，支持各种应用程序的运转，无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于提高效率、降低成本和技术创新。 云计算的核心理念是资源池。 二、云计算的基本原理 云计算的基本原理是，在大量的分布式计算机集群上，对这些硬件基础设施通过虚拟化技术构建不同的资源池。如存储资源池、网络资源池、计算机资源池、数据资源池和软件资源池，对这些资源实现自动管理，部署不同的服务供用户应用，这使得企业能够将资源切换成所需要的应用，根据需求访问计算机和存储系统。 打个比方，这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。 三、云计算的特点 1、支持异构基础资源 云计算可以构建在不同的基础平台之上，即可以有效兼容各种不同种类的硬件和软件基础资源。硬件基础资源，主要包括网络环境下的三大类设备，即：计算(服务器)、存储(存储设备)和网络(交换机、路由器等设备);软件基础资源，则包括单机操作系统、中间件、数据库等。 2、支持资源动态扩展 支持资源动态伸缩，实现基础资源的网络冗余，意味着添加、删除、修改云计算环境的任一资源节点，或者任一资源节点异常宕机，都不会导致云环境中的各类业务的中断，也不会导致用户数据的丢失。这里的
期末复习顺便总结下,书本为高等教育出版社的《数据库系统概论》。 第一章知识点 数据库是长期储存之计算机内的、有组织的、可共享的大量数据的集合。?1，数据库数据特点P４ 永久存储,有组织，可共享。?2,数据独立性及其如何保证Ｐ10,P34 逻辑独立性:用户的应用程序与数据库的逻辑结构互相独立。（内模式保证） 物理独立性:用户的应用程序与存储在磁盘上的数据库中的数据相互（外模式保证） ３,数据模型的组成要素Ｐ13 数据结构、数据操作、完整性约束。 4,用ＥＲ图来表示概念模型P１7 实体、联系和属性。联系本身也是一种实体型,也可以有属性。 第二章 1，关系的相关概念（如关系、候选码、主属性、非主属性) P42-Ｐ４4单一的数据结构--－-关系。现实世界的实体以及实体间的各种联系均用关系来表示。 域是一组具有相同数据类型的值的集合。 若关系中的某一属性组的值能唯一地标识一个元组,则称该属性组为候选码 关系模式的所有属性组是这个关系模式的候选码,称为全码 若一个关系有多个候选码,则选定其中一个为主码 候选码的诸属性称为主属性 不包含在任何侯选码中的属性称为非主属性 2关系代数运算符Ｐ52
自然连接是在广义笛卡尔积R×Ｓ中选出同名属性上符合相等条件元组,再进行投影,去掉重复的同名属性，组成新的关系。 给定关系r(R）和s(S), Ｓ? R,则r ÷s是最大的关系t（R-S) 满足ｔx ｓ?ｒ ３,关系代数表达式 第三章
1,SQL的特点P7９-P80 1. 综合统一 ２. 高度非过程化 3. 面向集合的操作方式 4.以同一种语法结构提供多种使用方式 5. 语言简洁，易学易用 2，基本表的定义、删除和修改P8４-P8７ PRIＭARY KEY PRＩMＡRＹKEY (Sno,Ｃnｏ) ＵNIQUＥ FOREIGN ＫEＹ（Cpｎo) REFEREＮCＥS Couｒse(Cno) ＡLTER ＴABＬE <表名＞ [ ＡDＤ <新列名＞＜数据类型＞［完整性约束] ] [ DRＯP＜完整性约束名＞] ［ALＴER COLUMN<列名> <数据类型> ]; DROP TＡＢLＥ＜表名>［RESTRICＴ｜CAＳCADE］; 3,索引的建立与删除Ｐ８９－P９0 ＣREAＴE [UNＩQUE] [CLＵSTＥR] INＤEX <索引名> ＯN <表名＞(<列名>［<次序>][,<列名＞[<次序>] ］…)； 唯一索引UＮＩＱUＥ、非唯一索引或聚簇索引CLＵSTＥR
SELECT查询包括条件项、内连接、分组汇总（含HAVING）、排序、简单子查询（不考EXIS TS）及一些输出选项。 数据库管理系统（DBMS）特点（1）数据结构化（2）数据共享性好、冗余度低、（3）数据独立性强（4）DBMS统一管理。 数据库（DB），就是相关联的数据的集合。 数据库系统(DBS)，是指在计算机中引入数据库后的系统构成，由计算机软硬件、数据库、D BMS、应用程序以及数据库管理员（DBA）和数据库用户构成。 关系模型是一种数据模型关系模型中最重要的概念就是关系。关系（Relation），直观的看，就是由行和列组成的二维表，一个关系就是一张二维表。 关系中的一列称为关系的一个属性（Attribute），一行称为关系的一个元组（Tuple）。 组称为候选键（Candidate Key），从候选键中挑选一个作为该关系的主键（Primary Key）。一个关系中存放的另一个关系的主键称为外键（Foreign Key）。并不是任何的二维表都可以称为关系。关系具有以下特点： ?关系中的每一列属性都是原子属性，即属性不可再分； ?关系中的每一列属性都是同质的，即每一个元组的该属性取值都表示同类信息； ?关系中的属性间没有先后顺序； ?关系中元组没有先后顺序； ?关系中不能有相同的元组。 关系模型，就是对一个数据处理系统中所有数据对象的数据结构的形式化描述。将一个系统中所有不同的关系模式描述出来，就建立了该系统的关系模型。 关系数据库，是依据关系模型建立的数据库，是目前各类数据处理系统中最普遍采用的数据库类型。依照关系理论设计的DBMS，称为关系DBMS。数据库设计指：对于给定的应用环境，设计构造最优的数据库结构，建立数据库及其应用系统，使之能有效地存储数据，对数据进行操作和管理，以满足用户各种需求的过程。 联系有三种类型，转化为关系模式后，与其他关系模式可进行合并优化。 1:1的联系，一般不必要单独成为一个关系模式，可以将它与联系中的任何一方实体转化成的关系模式合并(一般与元组较少的关系合并)。 1:n的联系也没有必要单独作为一个关系模式，可将其与联系中的n方实体转化成的关系模式合并。 m:n的联系必须单独成为一个关系模式，不能与任何一方实体合并。
数据库基础知识 （A）1．数据库（DB）、数据库系统（DBS）、数据库管理系统（DBMS）三者之间的关系是（）。 A）DBS包括DB和DBMS B）DBMS包括DB和DBS C）DB包括DBS和DBMS D）DBS就是DB,也就是DBMS （C）2．数据库DB、数据库系统DBS、数据库管理系统DBMS之间的关系是（）。 A）DB包含DBS和DBMS B）DBMS包含DB和DBS C）DBS包含DB和DBMS D）没有任何关系 （B）3．DBMS的含义是：（）。 A）数据库系统 B）数据库管理系统 C）数据库管理员 D）数据库（A）4．英文缩写DBMS代表含义是（）。 A）数据库管理系统 B）数据库定义语言 C）Visual FoxPro D）数据库操作语言（A）5．数据库系统中对数据库进行管理的核心软件是（）。 A）DBMS B）DB C）OS D）DBS （C）6．数据库系统的核心是（）。 A）数据库 B）操作系统 C）数据库管理系统 D）文件 （B）7．VFP支持的数据模型是（）。 A）层次数据模型 B）关系数据模型 C）网状数据模型 D）树状数据模型（A）8．Visual FoxPro 支持的数据模型是（）。 A）关系数据库模型 B）网状数据库模型 C）线性数据库模型 D）层次数据库模型（D）9．用数据二维表来表示实体及实体之间联系的数据模型称为（）。 A）实体–联系模型 B）层次模型 C）网状模型 D）关系模型 （C）10．Visual FoxPro 是一种关系型数据库管理系统，所谓关系是指（）。 A）各条记录中的数据彼此有一定的关系 B）一个数据库文件与另一个数据库文件之间有一定的关系 C）数据模型符合满足一定条件的二维表格式 D）数据库中各个字段之间彼此有一定的关系 （C）11．关系型数据库管理系统的关系是指（）。 A）各条记录中的数据彼此有一定的关系 B）一个数据库文件与另一个数据库文件之间有一定的关系
欢迎阅读 数据库系统概述 一、有关概念 1．数据 2．数据库（DB ） 3．数据库管理系统（DBMS ） Access 桌面DBMS VFP 4 1一、模型的三个世界 1．现实世界 2．信息世界：即根据需求分析画概念模型（即E-R 图），E-R 图与DBMS 无关。 3．机器世界：将E-R 图转换为某一种数据模型，数据模型与DBMS 相关。 注意：信息世界又称概念模型，机器世界又称数据模型 二、实体及属性 1．实体：客观存在并可相互区别的事物。 2．属性： 3．关键词（码、key ）：能唯一标识每个实体又不含多余属性的属性组合。
一个表的码可以有多个，但主码只能有一个。 例：借书表（学号，姓名，书号，书名，作者，定价，借期，还期） 规定：学生一次可以借多本书，同一种书只能借一本，但可以多次续借。4．实体型：即二维表的结构 例student(no，name，sex，age，dept) 5．实体集：即整个二维表 三、实体间的联系： 1．两实体集间实体之间的联系 1：1联系 1：n联系 2 ② ① ② ③ ① ②可以处理多对多的实体关系。 ③查找网状数据库中的记录，速度最快。 三、关系模型：用二维表表示实体之间的联系。 1．重要术语： 关系：一个关系就是一个二维表； 元组：二维表的一行，即实体； 关系模式：在实体型的基础上，注明主码。 关系模型：指一个数据库中全部二维表结构的集合。 2．特点： ①关系模型是建立在严格的数学理论的基础上的；
②关系模型的存取路径对用户透明； ③查找关系数据库中的记录，速度最慢。 小结：数据有三种类型，DBMS就有三种类型，DB亦有三种类型。 数据库系统结构 一、数据库系统的体系结构 ①单机结构： DBMS、数据库、开发工具、应用系统安装在一台计算机上。 ②C/S结构：局域网结构 客户机：装开发工具、应用系统 ③ 1 ① ② ③ 2 ① ② 3 ① ② 1． ① ② ③数据控制：包括安全性控制、完整性控制、并发控制、数据库恢复。 2．DBMS的组成： DDL语言 DML语言 DCL语言 实用程序 注意： ①SQL集DDL，DML，DCL功能于一体； ②所有应用程序通过SQL语句才能访问数据库 一、基本概念
计算机网络考试重点总结（完整必看） 1.计算机网络：利用通信手段，把地理上分散的、能够以相互共享资源（硬件、软件和数据等）的方式有机地连接起来的、而各自又具备独立功能的自主计算机系统的集合 外部特征：自主计算机系统、互连和共享资源。内部：协议 2.网络分类：1）根据网络中的交换技术分类：电路交换网；报文交换网；分组交换网；帧中继网；ATM网等。2）网络拓朴结构进行：星型网；树形网；总线型网；环形网；网状网；混合网等。4）网络的作用地理范围：广域网。局域网。城域网（范围在广域网和局域网之间）个域网 网络协议三要素：语义、语法、时序或同步。语义：协议元素的定义。语法：协议元素的结构与格式。规则(时序)：协议事件执行顺序。 计算机网络体系结构：计算机网络层次结构模型和各层协议的集合。 3.TCP/IP的四层功能：1）应用层：应用层协议提供远程访问和资源共享及各种应用服务。2）传输层：提供端到端的数据传送服务；为应用层隐藏底层网络的细节。3）网络层：处理来自传输层的报文发送请求；处理入境数据报；处理ICMP报文。4）网络接口层：包括用于物理连接、传输的所有功能。 为何分层:目的是把各种特定的功能分离开来，使其实现对其他层次来说是可见的。分层结构使各个层次的设计和测试相对独立。各层分别实现不同的功能，下层为上层提供服务，各层不必理会其他的服务是如何实现的，因此，层1实现方式的改变将不会影响层2。 协议分层的原则：保证通信双方收到的内容和发出的内容完全一致。每层都建立在它的下层之上，下层向上层提供透明服务，上层调用下层服务，并屏蔽下层工作过程。 OSI七层，TCP/IP五层，四层：
1. 数据库的作用 持久化：永久得保存数据。 数据挖掘：通过以有信息，发掘出有价值的信息。 冗余：数据的重复出现，（插入，删除，修改）带来一些异常。查询时可以提高查询的效率。 2. 创建数据库，创建表，确定表中字段的类型 数据文件：.mdf(main data file主要数据文件) .ldf(log data file 日志数据文件) 数据完整性：保证数据库的数据是客观真实的，没有错误的。 数据库登录： 方式一：window身份验证，如果你具有登录操作系统的权限，你就可以登录登录数据库。 方式二：sql server身份验证，能够登录操作系统，还需要知道登录名和密码。 用户名sa 数据库管理者，他是数据库的最大权限拥有者 常用数据类型： 整型：bigint int smallint tinyint 货币：money smallmoney 时间：datetime smalldatetime 位：bit (0,1) 字符串：char varchar text（一个字符表示8位） Nchar nvarchar ntext(一个字符表示16位) 差异：1. 字符串类型需要加长度。Char(4) text,ntext不需要加长度 2. char varchar的区别 Char是固定长度的，char(8) 存储了’abc’会在’abc’之前加5个空格 Varchar 是可变长的varchar(20) 存储了’abc’,长度就是3 3. 如何分离附加数据库 4. 对数据库的增删改查(操作的是表中的数据) T_sql:sql+sql server对标准的加强 Sql当中不区分大小写。 增(insert)：insert into表名values(字段1的值，字段2的值……) insert into表名(字段1,字段2)values(字段1的值，字段2的值……)—插入部分数据，其他的字段可以不插入，是因为允许为空
SELEＣT查询包括条件项、内连接、分组汇总(含HＡVＩNG）、排序、简单子查询(不考ＥX ISＴS)及一些输出选项。 数据库管理系统(DＢMS）特点（1)数据结构化（2)数据共享性好、冗余度低、(3）数据独立性强(4)DBＭS统一管理。 数据库(ＤB)，就就是相关联得数据得集合。 数据库系统（DBS),就是指在计算机中引入数据库后得系统构成,由计算机软硬件、数据库、DBＭS、应用程序以及数据库管理员（DBA）与数据库用户构成。 关系模型就是一种数据模型关系模型中最重要得概念就就是关系.关系（Relatiｏn），直观得瞧，就就是由行与列组成得二维表,一个关系就就是一张二维表。 关系中得一列称为关系得一个属性(Attｒibｕｔe)，一行称为关系得一个元组(Tuple）。 组称为候选键（Cａndｉdate Kｅy）,从候选键中挑选一个作为该关系得主键（Primａｒy Kｅy)。一个关系中存放得另一个关系得主键称为外键(Forｅｉgn Key)。并不就是任何得二维表都可以称为关系。关系具有以下特点: ?关系中得每一列属性都就是原子属性,即属性不可再分; ?关系中得每一列属性都就是同质得,即每一个元组得该属性取值都表示同类信息; ?关系中得属性间没有先后顺序； ?关系中元组没有先后顺序; ?关系中不能有相同得元组。 关系模型,就就是对一个数据处理系统中所有数据对象得数据结构得形式化描述。将一个系统中所有不同得关系模式描述出来,就建立了该系统得关系模型。 关系数据库,就是依据关系模型建立得数据库,就是目前各类数据处理系统中最普遍采用得数据库类型.依照关系理论设计得DBＭS,称为关系DBＭS。数据库设计指:对于给定得应用环境，设计构造最优得数据库结构，建立数据库及其应用系统,使之能有效地存储数据，对数据进行操作与管理,以满足用户各种需求得过程. 联系有三种类型,转化为关系模式后，与其她关系模式可进行合并优化。 1：1得联系,一般不必要单独成为一个关系模式，可以将它与联系中得任何一方实体转化成得关系模式合并(一般与元组较少得关系合并). 1:ｎ得联系也没有必要单独作为一个关系模式,可将其与联系中得n方实体转化成得关系模式合并。 m:ｎ得联系必须单独成为一个关系模式,不能与任何一方实体合并. 在数据库输入与存放数据时，最主要得就是要满足三类数据完整性约束规则:实体完整性、参照完整性与用户定义得完整性。 实体完整性规则：定义了主键得关系中,不允许任何元组得主键属性值为空值。