https://www.doczj.com/doc/1f13254244.html,/category/db/orcl/basic/ any question please contact martin.tian@https://www.doczj.com/doc/1f13254244.html,
Previous Next
View PDF 5 Data Integrity
Previous Next
View PDF 第5章数据完整性
This chapter explains how integrity constraints enforce the business rules associated with a database and prevent the entry of invalid information into tables. 本章介绍完整性约束如何强制执行与数据库关联的业务规则，并防止向表中输入无效信息。
This chapter contains the following sections: 本章包含以下各节：
?Introduction to Data Integrity
o Techniques for Guaranteeing Data Integrity
o Advantages of Integrity Constraints
?Types of Integrity Constraints
o NOT NULL Integrity Constraints
o Unique Constraints
o Primary Key Constraints
o Foreign Key Constraints
o Check Constraints
?States of Integrity Constraints
o Checks for Modified and Existing Data
o Deferrable Constraints
o Examples of Constraint Checking ?数据完整性简介
o用于保证数据完整性的技术
o完整性约束的优势
?完整性约束的类型
o非空完整性约束
o唯一性约束
o主键约束
o外键约束
o检查性约束
?完整性约束的状态
o对现有数据和新数据的检查
o可延迟约束
o约束检查的示例
See Also: 另见：
"Overview of Tables""表概述" Introduction to Data Integrity ?数据完整性简介
Business rules specify conditions and relationships that must always be
true or must always be false. For example, each company defines its own
policies about salaries, employee numbers, inventory tracking, and so on. It is important that data maintain data integrity, which is adherence to
these rules, as determined by the database administrator or application
developer. 业务规则会指定一些条件和关系，它们要么必须始终为真，要么必须始终为假。例如，每个公司会定义其有关工资、雇员人数、库存跟踪，等方面的政策。保持数据的数据完整性很重要，它由数据库管理员或应用程序开发人员来确定，以遵从业务规则。
Techniques for Guaranteeing Data Integrity 用于保证数据完整性的技术
When designing a database application, developers have various options 在设计数据库应用程序时，开发人员有多种选项用于保证存储在数据库中的
for guaranteeing the integrity of data stored in the database. These
options include:
数据的完整性。这些选项包括：
?Enforcing business rules with triggered stored database procedures, as described in "Overview of Triggers"?如"触发器概述"中所述，通过数据库触发器存储过程，强制实施业务规则
?Using stored procedures to completely control access to data, as
described in "Introduction to Server-Side Programming"
?如"服务器端编程介绍"中所述，使用存储过程完全控制数据访问?Enforcing business rules in the code of a database application ?在数据库应用程序的代码中执行业务规则
?Using Oracle Database integrity constraints, which are rules defined at the column or object level that restrict values in the database ?使用Oracle完整性约束，它们是定义在列级或对象级上的，用来限制数据库中的值的规则
This chapter explains the basic concepts of integrity constraints. 本章介绍完整性约束的基本概念。Advantages of Integrity Constraints 完整性约束的优势
An integrity constraint is a schema object that is created and dropped using SQL. To enforce data integrity, use integrity constraints unless it is not possible. Advantages of integrity constraints over alternatives for enforcing data integrity include: 完整性约束是一个模式对象，它使用 SQL来创建和删除。若要强制实施数据完整性，请尽可能使用完整性约束。相对于其他强制数据完整性替代方案，完整性约束包括如下优点：
?Declarative ease ?容易声明
Because you define integrity constraints using SQL statements, no additional programming is required when you define or alter a table. The SQL statements are easy to write and eliminate programming errors. 在您定义或更改表时，使用 SQL 语句定义完整性约束，而无需任何额外的编程。SQL 语句易于编写，也易于排除编程错误。
?Centralized rules ?集中化的规则
Integrity constraints are defined for tables and are stored in the
data dictionary (see "Overview of the Data Dictionary"). Thus, data entered by all applications must adhere to the same integrity
constraints. If the rules change at the table level, then applications need not change. Also, applications can use metadata in the data dictionary to immediately inform users of violations, even before the database checks the SQL statement. 完整性约束定义在表上，并存储在数据字典中（请参阅"数据字典概述）。因此，由所有应用程序输入的数据都必须遵守相同的完整性约束。如果约束规则在表级发生了更改，应用程序不需要变更。此外，甚至在数据库检查 SQL 语句之前，应用程序就可以使用数据字典中的元数据立即告知用户的违例行为。
?Flexibility when loading data ?加载数据时的灵活性
You can disable integrity constraints temporarily to avoid performance overhead when loading large amounts of data. When the data load is complete, you can re-enable the integrity constraints. 当加载大量数据时，您可以暂时禁用完整性约束，以避免性能开销。当数据加载完成后，您可以重新启用完整性约束。
See Also: 另见：
?Oracle Database 2 Day Developer's Guide and Oracle Database Advanced Application Developer's Guide to learn how to maintain data integrity ?《Oracle 数据库 2 日开发人员指南》和《Oracle 数据库高级应用程序开发人员指南》了解如何维护数据完整性
?Oracle Database 2 Day DBA and Oracle Database Administrator's Guide to learn how to manage integrity constraints ?《Oracle 数据库 2 日 DBA》和《Oracle 数据库管理员指南》了解如何管理完整性约束
Types of Integrity Constraints 完整性约束的类型
Oracle Database enables you to apply constraints both at the table and column level. A constraint specified as part of the definition of a column or attribute is called an inline specification. A constraint specified as part of the table definition is called an out-of-line specification. Oracle 数据库使您能够在表级或列级应用约束。作为列或属性定义的一部分而指定的约束，称为行内规范约束。作为表定义的一部分而指定的约束称为行外规范约束。
The term key is used in the definitions of several types of integrity constraints. A key is the column or set of columns included in the
definition of certain types of integrity constraints. Keys describe the relationships between the tables and columns of a relational database.
Individual values in a key are called key values. 好几种类型的完整性约束定义中都使用键这个术语。键是某种类型的完整性约束的定义中包含的列或列集。键描述关系数据库中的表与列之间的关系。键中的单个值称为键值。
Table 5-1 describes the types of constraints. Each can be specified either inline or out-of-line, except for NOT NULL, which must be inline. 表 5-1 描述了约束的类型。除NOT NULL必须指定为行内规范，其它每一个都可以指定为行内或行外规范。
Table 5-1 Types of Constraints 表 5－1 约束的类型Constrai
nt Type Description See Also
NOT NULL Allows or disallows inserts or updates of
rows containing a null in a specified column.
"NOT NULL
Integrity
Constraints"
Unique key Prohibits multiple rows from having the
same value in the same column or
combination of columns but allows some
values to be null.
"Unique
Constraints"
Primary Combines a NOT NULL constraint and a "Primary Key 约束类型描述另见
NOT
NULL
允许或不允许在指定的列插入或更新包含空
值的行。
"非空完整性约束"
唯一键在相同的列、或多个列的组合中，不允许多
个行具有相同的值，但允许一些值为空。
"唯一性约束"
key unique constraint. It prohibits multiple rows
from having the same value in the same
column or combination of columns and
prohibits values from being null.
Constraints"
Foreign key Designates a column as the foreign key and establishes a relationship between the
foreign key and a primary or unique key,
called the referenced key.
"Foreign Key
Constraints"
Check Requires a database value to obey a specified condition. "Check Constraints"
REF Dictates types of data manipulation allowed on values in a REF column and how these
actions affect dependent values. In an
object-relational database, a built-in data
type called a REF encapsulates a reference
to a row object of a specified object type.
Referential integrity constraints on REF
columns ensure that there is a row object
for the REF. Oracle Database
Object-Relational
Developer's
Guide to learn
about REF
constraints
主键合并 NOT NULL 约束和唯一性约束。在相同
的列、或多个列的组合中，不允许多个行具
有相同的值，也不允许为空。
"主键约束"
外键指定一个列作为外键，在外键和主键或唯一
键之间建立关系，也称为引用键。
"外键约束"
检查性约
束
要求某个数据库值服从指定的条件。"检查性约束"
REF规定对REF 列中的值上的允许的数据操作类
型，这些操作如何影响依赖值。在一个对象-
关系的数据库中，一个叫做REF 的内置数据
类型，封装了对一个某种指定对象类型的行
对象的引用。在REF列上的引用完整性约束
确保该REF有一个行对象。
《Oracle 数据库
对象关系开发者
指南》了解 REF
约束
See Also: 另见：
?"Overview of Tables"
?Oracle Database SQL Language Reference to learn more about the types of constraints ?"表概述"
?《Oracle 数据库 SQL 语言参考》了解类型的约束的更多信息
NOT NULL Integrity Constraints 非空完整性约束
A NOT NULL constraint requires that a column of a table contain no null values. A null is the absence of a value. By default, all columns in a table allow nulls. NOT NULL 约束要求表中的列不包含空值。空值即值的缺失。默认情况下，一个表中的所有列都允许空值。
NOT NULL constraints are intended for columns that must not lack values. For example, the hr.employees table requires a value in the last_name column. An attempt to insert an employee row without a last name generates an error: NOT NULL约束主要用于不能缺少值的列。例如，hr.employees 表在last_name 列上需要有值。试图插入一个没有姓氏的雇员行会生成一个错误：
SQL> INSERT INTO hr.employees (employee_id, last_name) values (999, 'Smith'); SQL> INSERT INTO hr.employees (employee_id, last_name) values (999, 'Smith');
. .
. .
. .
ERROR at line 1: ERROR at line 1:
ORA-01400: cannot insert NULL into ("HR"."EMPLOYEES"."LAST_NAME") ORA-01400: cannot insert NULL into ("HR"."EMPLOYEES"."LAST_NAME")
You can only add a column with a NOT NULL constraint if the table does
not contain any rows or if you specify a default value.
You cannot add a column with a NOT NULL constraint if table has any rows unless you also specify the DEFAULT clause 如果表已包含有任何行，则您不能添加一个具有NOT NULL 约束的列，除非您还为其指定了DEFAULT子句
See Also: 另见：
?Oracle Database 2 Day Developer's Guide for examples of adding NOT NULL constraints to a table ?《Oracle 数据库 2 日开发人员指南》关于向表中添加 NOT NULL 约束的示例
?Oracle Database SQL Language Reference for restrictions on using
NOT NULL constraints
?《Oracle 数据库 SQL 语言参考》关于使用 NOT NULL 约束的限制
?Oracle Database Advanced Application Developer's Guide to learn when to use the NOT NULL constraint ?《Oracle 数据库高级应用开发指南》了解何时使用 NOT NULL 约束
Unique Constraints 唯一性约束
A unique key constraint requires that every value in a column or set of columns be unique. No rows of a table may have duplicate values in a column (the unique key) or set of columns (the composite unique key) with a unique key constraint. 唯一键约束要求在一个列或列集中的每个值是唯一的。在一个表中，不允许多个行在有唯一键约束的列（唯一键）或列集（复合唯一键）上具有重复值。
Note: 注意：
The term key refers only to the columns defined in the integrity constraint. Because the database enforces a unique constraint by implicitly
creating or reusing an index on the key columns, the term unique key is sometimes incorrectly used as a synonym for unique key constraint or
unique index. 术语键仅指在完整性约束中定义的列。因为数据库通过在键列上隐含创建或重用索引来强制执行唯一性约束，术语唯一键有时会被错误地用作唯一键约束或唯一索引的同义词。
Unique key constraints are appropriate for any column where duplicate values are not allowed. Unique constraints differ from primary key constraints, whose purpose is to identify each table row uniquely, and typically contain values that have no significance other than being unique. Examples of unique keys include: 唯一键约束适合于任何不允许重复值的列。唯一约束与主键约束不同，主键的目的是唯一地标识表中的每一行，通常它只要求唯一，而并不一定要有什么实际意义。唯一键的示例包括：
? A customer phone number, where the primary key is the customer
number
?客户电话号码，其主键是客户号
? A department name, where the primary key is the department
number
?部门名称，其主键是部门编号
As shown in Example 2-1, a unique key constraint exists on the email column of the hr.employees table. The relevant part of the statement is as follows: 如示例 2-1所示，在 hr.employees 表的email列上存在一个唯一键约束。相关部分的语句如下所示：
CREATE TABLE employees ( ...
, email VARCHAR2(25)
CONSTRAINT emp_email_nn NOT NULL ... , CONSTRAINT emp_email_uk UNIQUE (email) ... ); CREATE TABLE employees ( ...
, email VARCHAR2(25)
CONSTRAINT emp_email_nn NOT NULL ... , CONSTRAINT emp_email_uk UNIQUE (email) ... );
The emp_email_uk constraint ensures that no two employees have the same email address, as shown in Example 5-1. 如示例 5-1 所示，emp_email_uk 约束可以确保没有任何两名雇员具有相同的电子邮件地址。
Example 5-1 Unique Constraint 示例 5-1 唯一约束
SQL> SELECT employee_id, last_name, email FROM employees WHERE email = 'PFAY';
EMPLOYEE_ID LAST_NAME EMAIL
----------- ------------------------- ------------------------- 202 Fay PFAY
SQL> INSERT INTO employees (employee_id, last_name, email,
hire_date, job_id)
1 VALUES (999,'Fay','PFAY',SYSDATE,'ST_CLERK');
.
.
.
ERROR at line 1:
ORA-00001: unique constraint (HR.EMP_EMAIL_UK) violated SQL> SELECT employee_id, last_name, email FROM employees WHERE email = 'PFAY';
EMPLOYEE_ID LAST_NAME EMAIL
----------- ------------------------- ------------------------- 202 Fay PFAY
SQL> INSERT INTO employees (employee_id, last_name, email,
hire_date, job_id)
1 VALUES (999,'Fay','PFAY',SYSDATE,'ST_CLERK');
.
.
.
ERROR at line 1:
ORA-00001: unique constraint (HR.EMP_EMAIL_UK) violated
Unless a NOT NULL constraint is also defined, a null always satisfies a unique key constraint. Thus, columns with both unique key constraints and NOT NULL constraints are typical. This combination forces the user to enter values in the unique key and eliminates the possibility that new row data conflicts with existing row data. 除非也指定了NOT NULL 约束，否则空值也始终满足唯一键约束。因此，典型的情况是在列上同时具有唯一键约束和非空约束。这种组合强制用户输入的是唯一值，并消除新行数据与现有行数据发生冲突的可能性。
Note: 注意：
Because of the search mechanism for unique key constraints on multiple columns, you cannot have identical values in the non-null columns of a partially null composite unique key constraint. 鉴于在多个列上的唯一键约束的搜索机制，对含有部分空值的复合唯一键约束中，在非空列中不能有相同的值。
See Also: 另见：
?"Unique and Nonunique Indexes"
?Oracle Database 2 Day Developer's Guide for examples of adding UNIQUE constraints to a table ?"唯一索引和非唯一索引"
?《Oracle 数据库 2 日开发人员指南》有关向表中添加 UNIQUE 约束的示例
Primary Key Constraints 主键约束
In a primary key constraint, the values in the group of one or more columns subject to the constraint uniquely identify the row. Each table can have one primary key, which in effect names the row and ensures that no duplicate rows exist. 在一个主键约束中的列或列集，其值能唯一地标识行。每个表只能有一个主键，起到确定行的作用，并确保不存在任何重复的行。
A primary key can be natural or a surrogate. A natural key is a
meaningful identifier made of existing attributes in a table. For example, a natural key could be a postal code in a lookup table. In contrast, a
surrogate key is a system-generated incrementing identifier that ensures
uniqueness within a table. Typically, surrogate keys are generated by a sequence. 主键可以是自然键或代理键。自然键是由表中的现有属性组成的一个有意义的标识符。例如，一个自然键可能是查找表中的邮政编码。相比之下，代理键是一个系统生成的递增标识符，以确保在一个表中的唯一性。通常，由一个序列生成代理键。
The Oracle Database implementation of the primary key constraint
guarantees that the following statements are true:
Oracle数据库实现的主键约束可以保证如下行为：
?No two rows have duplicate values in the specified column or set of
columns.
?任何两行在指定的列或列集上都不具有重复值。
?The primary key columns do not allow nulls. ?主键列不允许空值。
A typical situation calling for a primary key is the numeric identifier for an employee. Each employee must have a unique ID. A employee must be described by one and only one row in the employees table. 需要用到主键的典型情况是雇员的编号标识。每个员工必须具有唯一的id。一名雇员只能由employees表中的有且仅有的一行来描述
Example 5-1 indicates that an existing employee has the employee ID of 202, where the employee ID is the primary key. The following example shows an attempt to add an employee with the same employee ID and an employee with no ID: 示例 5-1 指示一个雇员 ID 为 202的现有员工，其雇员 ID 是主键。下面的示例显示了试图添加一名具有相同雇员 ID 的雇员，和一名没有雇员 ID 的雇员：
SQL> INSERT INTO employees (employee_id, last_name, email, hire_date, job_id)
1 VALUES (202,'Chan','ICHAN',SYSDATE,'ST_CLERK');
.
.
.
ERROR at line 1:
ORA-00001: unique constraint (HR.EMP_EMP_ID_PK) violated SQL> INSERT INTO employees (last_name) VALUES ('Chan');
.
.
.
ERROR at line 1:
ORA-01400: cannot insert NULL into ("HR"."EMPLOYEES"."EMPLOYEE_ID")SQL> INSERT INTO employees (employee_id, last_name, email, hire_date, job_id)
1 VALUES (202,'Chan','ICHAN',SYSDATE,'ST_CLERK');
.
.
.
ERROR at line 1:
ORA-00001: unique constraint (HR.EMP_EMP_ID_PK) violated SQL> INSERT INTO employees (last_name) VALUES ('Chan');
.
.
.
ERROR at line 1:
ORA-01400: cannot insert NULL into ("HR"."EMPLOYEES"."EMPLOYEE_ID")
The database enforces primary key constraints with an index. Usually, a primary key constraint created for a column implicitly creates a unique index and a NOT NULL constraint. Note the following exceptions to this rule: 数据库使用索引来强制主键约束。通常，在某列上创建的主键约束会隐含创建一个唯一索引和一个非空约束。但请注意，此规则有如下例外情况：
?In some cases, as when you create a primary key with a deferrable constraint, the generated index is not unique. ?有时，当您使用一个可延迟的约束选项来创建一个主键时，其生成的索引不是唯一的。
Note: 注意：
You can explicitly create a unique index with the CREATE UNIQUE
INDEX statement.
您可以使用CREATE UNIQUE INDEX 语句，显式创建一个唯一索引。
?If a usable index exists when a primary key constraint is created, then the constraint reuses this index and does not implicitly create
a new one. ?当你创建主键约束时，如果有一个现成的索引可用，则该主键约束会重用此索引，而不会隐式创建一个额外的新索引。
By default the name of the implicitly created index is the name of the primary key constraint. You can also specify a user-defined name for an index. You can specify storage options for the index by including the ENABLE clause in the CREATE TABLE or ALTER TABLE statement used to create the constraint. 默认情况下，隐式创建的索引名称即是主键约束的名称。您也可以为索引指定一个用户定义的名称。您可以通过在用来创建该约束的CREATE TABLE 或ALTER TABLE语句中包括 ENABLE 子句，来为索引指定存储选项。
See Also: 另见：
Oracle Database 2 Day Developer's Guide and Oracle Database Advanced 《Oracle 数据库 2 日开发人员指南》和《Oracle 数据库高级应用开发指
Application Developer's Guide to learn how to add primary key constraints
to a table
南》了解如何向表中添加主键约束Foreign Key Constraints 外键约束
Whenever two tables contain one or more common columns, Oracle
Database can enforce the relationship between the two tables through a
foreign key constraint, also called a referential integrity constraint. The constraint requires that for each value in the column on which the
constraint is defined, the value in the other specified other table and
column must match. An example of a referential integrity rule is an employee can work for only an existing department. 只要两个表包含一个或多个公共列，则数据库可以通过一个外键约束（也称为参照完整性约束）来强制建立两个表之间的关系。该约束要求定义约束的列中的每个值，必须与另一个指定表中的指定列中的值相匹配。参照完整性规则的一个例子是，雇员只可以为一个现有的部门工作。
Table 5-2 lists terms associated with referential integrity constraints. 表 5-2 列出了与参照完整性约束相关的术语。Table 5-2 Referential Integrity Constraint Terms 表 5-2 参照完整性约束术语
Term Definition 术语定义
Foreign key The column or set of columns included in the definition of the constraint that reference a referenced key. For example, the
department_id column in employees is a foreign key
that references the department_id column in
departments.
Foreign keys may be defined as multiple columns. However,
a composite foreign key must reference a composite
primary or unique key with the same number of columns and
the same data types.
The value of foreign keys can match either the referenced
primary or unique key value, or be null. If any column of a
composite foreign key is null, then the non-null portions of
the key do not have to match any corresponding portion of a
parent key. 外键约束定义中包含的列或列集，它引用了参考键。例如，
employees表中的department_id列是一个外键，它引用
了departments表中的department_id列。
外键可以定义在多个列上。但是，复合外键必须引用具有相同
数量和相同数据类型列的复合主键或复合唯一键。
外键的值，可以要么匹配被引用主键或唯一键的值，要么为
空。如果一个复合外键的任何列为空，则该键的非空部分不一
定要匹配父项中的任何相应部分。
Referenced key The unique key or primary key of the table referenced by a
foreign key. For example, the department_id column in
departments is the referenced key for the
department_id column in employees.
被引用键被外键所引用的表中的唯一键或主键。例如，相对于
employees表中的department_id 列来说，
departments表中的department_id列是被引用键。
Dependent The table that includes the foreign key. This table is 依赖表或子包含外键的表。此表依赖于父表中被引用的唯一键或主键的
or child table dependent on the values present in the referenced unique or
primary key. For example, the employees table is a child
of departments.
表值。例如，employees表是departments表的一个子表。
Referenced or parent table The table that is referenced by the foreign key of the child
table. It is this table's referenced key that determines
whether specific inserts or updates are allowed in the child
table. For example, the departments table is a parent of
employees.
被引用表或
父表
由子表的外键引用的表。正是该表中的被引用值决定了在子表
中特定的插入或更新是否可被允许。Departments表是
employees表的父表。
Figure 5-1 shows a foreign key on the employees.department_id column. It guarantees that every value in this column must match a value in the departments.department_id column. Thus, no erroneous department numbers can exist in the employees.department_id column. 图 5-1 显示在 employees.department_id 列上的一个外键。它保证在此列中的每个值必须与 departments.department_id 列中的某个值相匹配。因此，在 employees.department_id 列中不会存在错误的部门编号。
Figure 5-1 Referential Integrity Constraints 图 5-1 引用完整性约束
Description of "Figure 5-1 Referential Integrity Constraints"Description of "Figure 5-1 Referential Integrity Constraints" See Also: 另见：
Oracle Database 2 Day Developer's Guide and Oracle Database Advanced Application Developer's Guide to learn how to add foreign key constraints to a table 《Oracle 数据库 2 日开发人员指南》和《Oracle 数据库高级应用开发指南》了解如何向表中添加外键约束
Self-Referential Integrity Constraints 自引用完整性约束
Figure 5-2 shows a self-referential integrity constraint. In this case, a foreign key references a parent key in the same table. 图 5-2 显示了一个自引用的完整性约束。在这种情况下，外键引用同一个表中的父键。
In Figure 5-2, the referential integrity constraint ensures that every value in the employees.manager_id column corresponds to an existing value in the employees.employee_id column. For example, the manager for employee 102 must exist in the employees table. This constraint eliminates the possibility of erroneous employee numbers in the
manager_id column. 在图 5-2 中，参照完整性约束可以确保在 employees.manager_id 列中的每个值对应于 employees.employee_id 列中的一个现有值。例如，员工 102 的经理必须存在于employees表中。此约束消除了在 manager_id 列中存在错误的雇员人数的可能性。
Figure 5-2 Single Table Referential Constraints 图 5-2 单表引用约束
Description of "Figure 5-2 Single Table Referential Constraints"Description of "Figure 5-2 Single Table Referential Constraints" Nulls and Foreign Keys 空值和外键
The relational model permits the value of foreign keys to match either the referenced primary or unique key value, or be null. For example, a user could insert a row into hr.employees without specifying a department ID. 关系模型允许外键的值可以匹配被引用主键或唯一键值，或者为空。例如，用户可以往hr.employees表插入行，而无需指定一个部门 id。
If any column of a composite foreign key is null, then the non-null portions of the key do not have to match any corresponding portion of a parent key. 如果一个复合外键的任何列为空，则该键的非空部分不一定要匹配父项中的任何相应部分。
Parent Key Modifications and Foreign Keys 父键修和外键
The relationship between foreign key and parent key has implications for deletion of parent keys. For example, if a user attempts to delete the 删除父键会影响外键和父键之间的关系。例如，如果用户试图删除某个部门的记录，那么属于这个部门的雇员记录会发生事情呢？
record for this department, then what happens to the records for employees in this department?
When a parent key is modified, referential integrity constraints can specify the following actions to be performed on dependent rows in a child table: 在父键被修改时，参照完整性约束可以指定在子表中的相关行上，执行以下某种操作之一：
?No action on deletion or update ?对删除或更新操作，不采取任何动作
In the normal case, users cannot modify referenced key values if the results would violate referential integrity. For example, if employees.department_id is a foreign key to departments, and if employees belong to a particular department, then an attempt to delete the row for this department violates the constraint. 在正常的情况下，如果结果会违反参照完整性，用户不能修改被引用的键值。例如，如果employees.department_id是对departments表的一个外键，且有一些雇员属于某个特定部门，则试图删除该部门所在的行会违反约束。
?Cascading deletions ?级联删除
A deletion cascades (DELETE CASCADE) when rows containing referenced key values are deleted, causing all rows in child tables with dependent foreign key values to also be deleted. For example, the deletion of a row in departments causes rows for all employees in this department to be deleted. 级联删除(DELETE CASCADE)即是当包含被引用键值的行被删除时，导致子表中的所有的外键依赖值所在行也会被删除。例如，删除departments表中的某行，会导致这个部门中的所有雇员行也被删除。
?Deletions that set null ?对删除置空
A deletion sets null (DELETE SET NULL) when rows containing referenced key values are deleted, causing all rows in child tables with dependent foreign key values to set those values to null. For example, the deletion of a department row sets the
department_id column value to null for employees in this department. 删除置空(DELETE SET NULL)即是当包含被引用键值的行被删除时，导致子表中的所有的外键依赖值被全部置空。例如，删除部门表中的某行，会导致将该部门中的所有雇员行的department_id列被置为空。
Table 5-3 outlines the DML statements allowed by the different referential actions on the key values in the parent table, and the foreign key values in the child table. 表 5-3 列出了在父表中的键值及子表中的外键值上，针对不同的引用性操作，所允许的DML 语句。
Table 5-3 DML Statements Allowed by Update and Delete No
Action
表 5-3 Update和Delete No Action所允许的DML 语句
DML
Statement Issued Against Parent Table Issued Against Child Table
INSERT Always OK if the parent key OK only if the foreign key
DML 语句对父表发出对子表发出
value is unique value exists in the parent
key or is partially or all
null
UPDATE NO ACTION Allowed if the statement does
not leave any rows in the child
table without a referenced
parent key value
Allowed if the new foreign
key value still references a
referenced key value
DELETE NO ACTION Allowed if no rows in the child
table reference the parent key
value
Always OK
DELETE
CASCADE
Always OK Always OK
DELETE SET NULL Always OK Always OK
INSERT若该父键值是唯一的，则总是可
以
只有当外键值存在相应父
键、或部分为空、或全为
空时才可以
UPDATE NO
ACTION
只要该语句在子表中不留下任何
这样的行——其外键值在父表中
不存在，则允许
只要新的外键值仍可以引
用父表中的某个被引用键
值，则允许
DELETE NO
ACTION
只要子表中没有行引用该父键
值，则允许
总是可以
DELETE
CASCADE
总是可以总是可以
DELETE
SET NULL
总是可以总是可以
Note: 注意：
Other referential actions not supported by FOREIGN KEY integrity constraints of Oracle Database can be enforced using database triggers. See "Overview of Triggers". 其他Oracle数据库外键完整性约束不支持的引用性动作，可以使用数据库触发器强制执行。请参阅"触发器概述"。
See Also: 另见：
Oracle Database SQL Language Reference to learn about the ON
DELETE clause
《Oracle 数据库 SQL 语言参考》了解ON DELETE子句Indexes and Foreign Keys 索引和外键
As a rule, foreign keys should be indexed. The only exception is when the matching unique or primary key is never updated or deleted. Indexing the foreign keys in child tables provides the following benefits: 作为一条规则——总是应该为外键编制索引。唯一的例外是，当匹配的唯一键或主键永远不会被更新或删除时。在子表中的外键上建立索引提供了下列好处：
?Prevents a full table lock on the child table. Instead, the database acquires a row lock on the index. ?可防止在子表上的全表锁定。相反，数据库只需要在索引上获取一个行锁。
?Removes the need for a full table scan of the child table. As an illustration, assume that a user removes the record for department
10 from the departments table. If
employees.department_id is not indexed, then the database must scan employees to see if any employees exist in ?消除在子表上进行全表扫描的需要。作为一个说明，假定用户从部门表中删除部门 10 的记录。如果没有为employees.department_id建立索引，则数据库必须扫描employees表，以查看是否存在属于部门10的雇员。
department 10.
See Also: 另见：
"Locks and Foreign Keys" and "Overview of Indexes""锁和外键"和索引概述" Check Constraints 检查性约束
A check constraint on a column or set of columns requires that a specified condition be true or unknown for every row. If DML results in the condition of the constraint evaluating to false, then the SQL statement is rolled back. 在一个列或列集上的检查约束，要求所指定的条件为真，或对每一行来说是未知的。如果DML语句导致约束条件的计算结果为假，则 SQL 语句将被回滚。
The chief benefit of check constraints is the ability to enforce very specific integrity rules. For example, you could use check constraints to enforce the following rules in the hr.employees table: 检查约束的主要好处是，具备强制执行非常具体的完整性规则的能力。例如可以使用检查性约束在 hr.employees 表中强制执行下列规则：
?The salary column must not have a value greater than 10000. ?在salary列中不能有大于 10000 的值。
?The commission column must have a value that is not greater
than the salary.
?commission列必须有一个值，但不能大于salary。
The following example creates a maximum salary constraint on employees and demonstrates what happens when a statement attempts to insert a row containing a salary that exceeds the maximum: 下面的示例在employees表上创建了一个最高薪金约束，并演示了当一个语句尝试插入一个其所包含的薪水超过了最大值的行时，会发生什么情况：
SQL> ALTER TABLE employees ADD CONSTRAINT
max_emp_sal CHECK (salary < 10001);
SQL> INSERT INTO employees
(employee_id,last_name,email,hire_date,job_id,sala ry)
1 VALUES
(999,'Green','BGREEN',SYSDATE,'ST_CLERK',20000); SQL> ALTER TABLE employees ADD CONSTRAINT
max_emp_sal CHECK (salary < 10001);
SQL> INSERT INTO employees
(employee_id,last_name,email,hire_date,job_id,sala ry)
1 VALUES
(999,'Green','BGREEN',SYSDATE,'ST_CLERK',20000);
. .
. .
. .
ERROR at line 1: ERROR at line 1:
ORA-02290: check constraint (HR.MAX_EMP_SAL) violated ORA-02290: check constraint (HR.MAX_EMP_SAL) violated
A single column can have multiple check constraints that reference the column in its definition. For example, the salary column could have one constraint that prevents values over 10000 and a separate constraint that prevents values less than 500. 单个列可以在其定义中包括多个检查性约束。例如salary列可以有一个防止其值超过 10000 的约束，和另一个可以防止其值小于 500的约束。
If multiple check constraints exist for a column, then they must be designed so their purposes do not conflict. No order of evaluation of the conditions can be assumed. The database does not verify that check conditions are not mutually exclusive. 如果在某列上存在多个检查约束，则他们必须被合理设计，保证他们的目的不会发生冲突。不能假定多个条件计算之间的顺序。数据库不会验证这些检查条件是否相互排斥。
See Also: 另见：
Oracle Database SQL Language Reference to learn about restrictions for
check constraints
《Oracle 数据库 SQL 语言参考》了解检查约束的限制States of Integrity Constraints 完整性约束的状态
As part of constraint definition, you can specify how and when Oracle Database should enforce the constraint, thereby determining the constraint state. 作为约束定义的一部分，您可以指定数据库应如何及何时强制执行该约束条件，从而确定约束状态。
Checks for Modified and Existing Data 对现有数据和新数据的检查――针对数据
The database enables you to specify whether a constraint applies to existing data or future data. If a constraint is enabled, then the database checks new data as it is entered or updated. Data that does not conform to the constraint cannot enter the database. For example, enabling a NOT NULL constraint on employees.department_id guarantees that every future row has a department ID. If a constraint is disabled, then the table can contain rows that violate the constraint. 数据库使您可以指定将某个约束应用于现有数据还是应用于新数据。如果约束是启用的，则当输入或更新数据时，数据库会检查新的数据。不符合该约束的数据不能输入到数据库。例如，对 employees.department_id 启用NOT NULL 约束，可以保证新插入的每一行都有一个部门 id。如果约束是禁用的，则表可能会包含违反约束的行。
You can set constraints to validate (VALIDATE) or not validate (NOVALIDATE) existing data. If VALIDATE is specified, then existing data must conform to the constraint. For example, enabling a NOT NULL constraint on employees.department_id and setting it to VALIDATE checks that every existing row has a department ID. If NOVALIDATE is specified, then existing data need not conform to the constraint. 您可以设置约束来验证（VALIDATE）或不验证 (NOVALIDATE) 现有数据。如果指定了 VALIDATE ，则现有数据必须符合该约束。例如，对employees.department_id启用 NOT NULL 约束并将其设置为 VALIDATE，则会检查每个现有行都有一个部门 id。如果指定了 NOVALIDATE，则现有数据不需要符合该约束。
The behavior of VALIDATE and NOVALIDATE always depends on whether the constraint is enabled or disabled. Table 5-4 summarizes the relationships. VALIDATE 和 NOVALIDATE 的行为都取决于约束是启用的还是禁用的。表5-4 总结了这些选项组合。
Table 5-4 Checks on Modified and Existing Data 表 5-4对已修改数据和现有数据的检查
Modifie d Data Existing
Data Summary
ENABLE VALIDAT
E Existing and future data must obey the constraint.
An attempt to apply a new constraint to a
新数据现有数据总结
populated table results in an error if existing rows violate the constraint.
ENABLE NOVALID
ATE The database checks the constraint, but it need not be true for all rows. Thus, existing rows can violate the constraint, but new or modified rows must conform to the rules.
DISABL E VALIDAT
E
The database disables the constraint, drops its
index, and prevents modification of the constrained
columns.
DISABL E NOVALID
ATE
The constraint is not checked and is not necessarily
true.
ENABLE VALIDAT
E
现有的和将来的数据都必须遵守约束。如果试图在
一个已填充的表上应用一个新的约束，而现有的行
违反该约束，则会导致一个错误。
ENABLE NOVALID
ATE
数据库会检查该约束，但不需要对所有行为真。因
此，现有的行可以违反该约束，但新的或修改后的
行必须遵守该约束。
DISABL
E
VALIDAT
E
数据库禁用该约束、删除其上的索引，并防止修改
受约束的列。
DISABL
E
NOVALID
ATE
不检查约束，也不需要为真。
See Also: 另见：
Oracle Database SQL Language Reference to learn about constraint states 《Oracle 数据库 SQL 语言参考》了解约束状态Deferrable Constraints 可延迟约束――针对约束
Every constraint is either in a not deferrable (default) or deferrable state. This state determines when Oracle Database checks the constraint for validity. The following graphic depicts the options for deferrable constraints. 约束可能处于不可延迟（默认值）或可延迟两种状态之一。该状态确定数据库何时检查约束的有效性。下图描述了可延迟约束的选项。
Description of the illustration cncpt313.gif Description of the illustration cncpt313.gif Nondeferrable Constraints 不可延迟约束
If a constraint is not deferrable, then Oracle Database never defers the validity check of the constraint to the end of the transaction. Instead, the database checks the constraint at the end of each statement. If the constraint is violated, then the statement rolls back. 如果一个约束不可延迟，则Oracle数据库决不会将约束的有效性检查延迟到事务结束。相反，数据库在每个语句的结尾检查约束。如果违反了约束，则该语句被回滚。
For example, assume that you create a nondeferrable NOT NULL例如，假设您在https://www.doczj.com/doc/1f13254244.html,st_name 列上创建一个不可延迟的 NULL 约
constraint for the https://www.doczj.com/doc/1f13254244.html,st_name column. If a user attempts to insert a row with no last name, then the database immediately rolls back the statement because the NOT NULL constraint is violated. No row is inserted. 束。如果用户试图插入一个没有姓氏的行，则数据库会立即回滚该语句，因为违反了 NOT NULL 约束。在这种情况下，将不会插入任何行。
Deferrable Constraints 可延迟约束
A deferrable constraint permits a transaction to use the SET CONSTRAINT clause to defer checking of this constraint until a COMMIT statement is issued. If you make changes to the database that might violate the constraint, then this setting effectively lets you disable the
constraint until all the changes are complete. 可延迟约束允许事务使用SET CONSTRAINT子句将约束检查推迟到发出COMMIT 语句时。如果你对数据库中做了可能违反约束的更改，则此设置让您有效地禁用该约束，直到完成所有更改。
You can set the default behavior for when the database checks the deferrable constraint. You can specify either of the following attributes: 您可以设置数据库检查可延迟约束时的默认行为。您可以指定下列属性之一：
?INITIALLY IMMEDIATE?INITIALLY IMMEDIATE
The database checks the constraint immediately after each statement executes. If the constraint is violated, then the database rolls back the statement.
数据库在每个语句执行后，立即检查约束。如果违反了约束，则数据库回滚该语句。 与 NOT DEFERRABLE的区别是什么？？？
not deferrable 与initially immediate是一样的,与deferrable initially immediate则不同。后者允许将constraint再改为initially deferred, 前者不允许更改:
>create table test2 (f1 number(3) constraint fk references test(f1) initially immediate);
>alter table test2 modify constraint fk initially deferred;
alter table test2 modify constraint fk initially deferred
*
ERROR 位于第 1 行:
ORA-02447: 无法延迟不可延迟的约束条件
> create table test2 (f1 number(3) constraint fk references test(f1) deferrable initially immediate);
> alter table test2 modify constraint fk initially deferred;
表已更改。
?INITIALLY DEFERRED?INITIALLY DEFERRED
The database checks the constraint when a COMMIT is issued. If the constraint is violated, then the database rolls back the 发出 COMMIT 时，数据库检查约束。如果违反了约束，则数据库回滚该事务。
transaction.
Assume that a deferrable NOT NULL constraint on
https://www.doczj.com/doc/1f13254244.html,st_name is set to INITIALLY DEFERRED. A user creates a transaction with 100 INSERT statements, some of which have null values for last_name. When the user attempts to commit, the database rolls back all 100 statements. However, if this constraint were
set to INITIALLY IMMEDIATE, then the database would not roll back the transaction. 假定一个在 https://www.doczj.com/doc/1f13254244.html,st_name列上的可延迟的NOT NULL约束被设置为INITIALLY DEFERRED。用户创建了一个包含100个 INSERT 语句的事务，其中一些在last_name列上具有空值。当用户尝试提交时，数据库将回滚所有 100 个语句。但是，如果这种限制被设置为INITIALLY IMMEDIATE，则数据库将不会回滚整个事务。（只会回滚那些含有NULL 值的行）
If a constraint causes an action, then the database considers this action as part of the statement that caused it, whether the constraint is deferred or immediate. For example, deleting a row in departments causes the deletion of all rows in employees that reference the deleted department row. In this case, the deletion from employees is considered part of the DELETE statement executed against departments. 如果一个约束导致一个动作，则数据库认为此动作是引发它的语句的一部分，而无论该约束是可延迟的或立即的。例如，从departments表中删除一行，会导致删除employees表中引用了相应的被删部门的雇员。在这种情况下，从employees表中删除雇员被认为是对departments表执行的 DELETE 语句的一部分。
See Also: 另见：
Oracle Database SQL Language Reference for information about constraint
attributes and their default values
《Oracle 数据库 SQL 语言参考》关于约束属性及其默认值的信息Examples of Constraint Checking 约束检查的示例
Some examples may help illustrate when Oracle Database performs the
checking of constraints. Assume the following:
一些例子可以帮助说明数据库何时执行检查约束。假定如下：?The employees table has the structure shown in Figure 5-2. ?employees表具有如图 5-2所示的结构。
?The self-referential constraint makes entries in the manager_id column dependent on the values of the employee_id column. ?自引用约束要求在 manager_id 列中的条目依赖 employee_id 列的值。
Insertion of a Value in a Foreign Key Column When No Parent
Key Value Exists
当父键值不存在时，往外键列中插入值
Consider the insertion of the first row into the employees table. No rows currently exist, so how can a row be entered if the value in the manager_id column cannot reference any existing value in the employee_id column? Some possibilities are: 考虑向employees表中插入第一行的情况。由于当前不存在任何行，那么如果 manager_id 列中的值不能引用在 employee_id 列中的任何现有值，如何才能输入新行呢？一些可能情况是：
? A null can be entered for the manager_id column of the first row, if the manager_id column does not have a NOT NULL constraint defined on it. ?如果在manager_id 列上没有定义NOT NULL 约束，可以为第一行中的manager_id 列输入一个空值。
Because nulls are allowed in foreign keys, this row is inserted into
the table.
因为在外键中允许使用空值，此行可以被插入到表中。
?The same value can be entered in the employee_id and manager_id columns, specifying that the employee is his or her own manager. ?如果该雇员是他或她自己的经理，可以在 employee_id 和manager_id 列中输入相同的值。
This case reveals that Oracle Database performs its constraint checking after the statement has been completely run. To allow a row to be entered with the same values in the parent key and the foreign key, the database must first run the statement (that is, insert the new row) and then determine whether any row in the table has an employee_id that corresponds to the
manager_id of the new row. 这种情况表明数据库是在完全运行该语句之后，执行其约束检查的。若要允许输入在父键和外键中具有相同值的行，数据库必须首先运行该语句（也就是插入新的行），然后再确定表中是否有任何行其employee_id对应新行的manager_id列。
? A multiple row INSERT statement, such as an INSERT statement with nested SELECT statement, can insert rows that reference one another. ?一个多行的INSERT 语句，如一个具有嵌套 SELECT 语句的INSERT 语句，可以插入相互引用的多个行。
For example, the first row might have 200 for employee ID and 300
for manager ID, while the second row has 300 for employee ID and 200 for manager. Constraint checking is deferred until the complete
execution of the statement. All rows are inserted first, and then all
rows are checked for constraint violations. 例如，第一行可能具有雇员 ID 200 和经理 ID 300，而第二行的雇员ID 300 和经理ID 200。约束检查被推迟到整个语句执行完成。首先，所有行先被插入，然后对所有行进行违反约束检查。
Default values are included as part of an INSERT statement before the statement is parsed. Thus, default column values are subject to all integrity constraint checking. 在语句进行解析之前，其默认值作为 INSERT 语句的一部分被包括在内。因此，默认列值都要遵从所有完整性约束检查。
An Update of All Foreign Key and Parent Key Values 同时更新外键和父键的值
Consider the same self-referential integrity constraint in a different
scenario. The company has been sold. Because of this sale, all employee numbers must be updated to be the current value plus 5000 to coordinate with the employee numbers of the new company. Because manager
numbers are really employee numbers (see Figure 5-3), the manager
numbers must also increase by 5000. 考虑该自引用完整性约束在另一个不同场景中的情况。假如该公司已出售。由于这次出售，所有雇员编号必须都更新为其当前值加 5000，以适应新公司的员工编号。因为经理编号是真正雇员编号（请参阅图 5-3)，经理编号也必须增加 5000。
Figure 5-3 The employees Table Before Updates 图 5-3 的雇员表前更新
实用标准文档 文案大全第1章数据结构基础 结构之美无处不在： 说到结构，任何一件事物都有自己的结构，就如可以看得见且触摸得到的课桌、椅子，还有看不见却也存在的化学中的分子、原子。可见，一件事物只要存在，就一定会有自己的结构。一幅画的生成，作家在挥毫泼墨之前，首先要在数尺素绢之上做结构上的统筹规划、谋篇布局。一件衣服的制作，如果在制作之前没有对衣服的袖、领、肩、襟、身等各个部位周密筹划，形成一个合理的结构系统，便无法缝制出合体的衣服。还有教育管理系统的结构、通用技术的学科结构和课堂教学结构等。试想一下，管理大量数据是否也需要用到数据结构呢？ 本章知识要点： 数据结构的基本概念 数据类型和抽象数据类型 算法和算法分析 1.1 数据结构的基本概念 计算机科学是一门研究数据表示和数据处理的科学。数据是计算机化的信息，它是计算机可以直接处理的最基本和最重要的对象。无论是进行科学计算，还是数据处理、过程控制、对文件的存储和检索以及数据库技术等计算机应用，都是对数据进行加工处理的过程。因此，要设计出一个结构良好而且效率较高的程序，必须研究数据的特性、数据间的相互关系及其对应的存储表示，并利用这些特性和关系设计出相应的算法和程序。 计算机在发展的初期，其应用围是数值计算，所处理的数据都是整型、实型和布尔型等简单数据，以此为加工、处理对象的程序设计称为数值型程序设计。随着计算技术的发展，计算机逐渐进入到商业、制造业等其他领域，广泛地应用于数据处理和过程控制中。与此相对应，计算机所处理的数据也不再是简单的数值，而是字符串、图形、图像、语音和视频等复杂的数据。这些复杂的数据不仅量大，而且具有一定的结构。例如，一幅图像是一个由简单数值组成的矩阵，一个图形中的几何坐标可以组成表。此外，语言编译过程
大数据是当前很热的一个词。这几年来，云计算、继而大数据，成了整个社会的热点，不管什么，都要带上“大数据”三个字才显得时髦。大数据究竟是什么东西?有哪些相关技术?对普通人的生活会有怎样的影响?我们来一步步弄清这些问题。 一、基本概念 在讲什么是大数据之前，我们首先需要厘清几个基本概念。 1.数据 关于数据的定义，大概没有一个权威版本。为方便，此处使用一个简单的工作定义:数据是可以获取和存储的信息。 直观而言，表达某种客观事实的数值是最容易被人们识别的数据(因为那是“数”)。但实际上，人类的一切语言文字、图形图画、音像记录，所有感官可以察觉的事物，只要能被记下来，能够查询到，就都是数据(data)。
不过数值是所有数据中最容易被处理的一种，许多和数据相关的概念，例如下面的数据可视化和数据分析，最早是立足于数值数据的。 传统意义上的数据一词，尤其是相对于今天的“大数据”的“小数据”,主要指的就是数值数据，甚至在很多情况下专指统计数值数据。这些数值数据用来描述某种客观事物的属性。 2.数据可视化 对应英语的data visulization(或可译为数据展示)，指通过图表将若干数字以直观的方式呈现给读者。比如非常常见的饼图、柱状图、走势图、热点图、K线等等，目前以二维展示为主，不过越来越多的三维图像和动态图也被用来展示数据。 3.数据分析 这一概念狭义上，指统计分析，即通过统计学手段，从数据中精炼对现实的描述。例如:针对以关系型数据库中以table形式存储的数据，按照某些指定的列进行分组，然后计算不同组的均值、方差、分布等。再以可视化的方式讲这些计算结果呈现出来。目前很多文章中提及的数据分析，其实是包括数据可视化的。
大数据概念 大数据（big data），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产[1] 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[2] 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety （多样）、Value（价值）、Veracity（真实性）。 应用学科:计算机，信息科学，统计学 适用领域范围: BI，工业4.0，云计算，物联网，互联网+, 人工智能 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 意义 现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，显示大数据对于阿里巴巴集团来说举足轻重。 有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。 大数据的价值体现在以下几个方面： 1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销 2) 做小而美模式的中长尾企业可以利用大数据做服务转型 3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。”这确实是需要警惕的。在这个快速发展的智能硬件时代，困扰应用开发者的一个重要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点。
考试：大数据概述及基本概念 试卷年份：2015年 题量：10题 答题时间：分钟 总分：100分 合格线：60分 1 【单选】下列不属于商业大数据类型的是（） A. 传统企业数据 B. 机器和传感器数据 C. 社交数据 D. 电子商务数据 A B C D 正确答案：D 2 【单选】信息技术是指有关信息的收集、识别、提取、变换、存贮、传递、处理、检索、检测、分析和利用等的技术。凡涉及到这些过程和技术的工作部门，都可称作（）部门 A. 技术 B. 研究 C. 信息 D. 管理 A B C D 正确答案：C 3 【单选】数据本身所承载的信息内容是指（） A. 内容维度 B. 关系维度 C. 时空维度 D. 维度的交叉综合 A B
C D 正确答案：A 4 【多选】大数据平台的三个重要的技术部分有（） A. 数据交易技术 B. 数据交互技术 C. 数据存储技术 D. 数据处理技术 A B C D 正确答案：A B D 5 【多选】互连网上出现的海量信息可以划分为三种，分别为（） A. 结构化信息 B. 非结构化信息 C. 半结构化信息 D. 特殊化信息 A B C D 正确答案：A B C 6 【多选】“大数据”的特点是（） A. 数据体量大 B. 数据类别大 C. 数据处理速度快 D. 数据真实性高 A B C D 正确答案：A B C D 7 【判断】结构化数据是指不方便用数据库二维逻辑表来表现的数据（）
A. 正确 B. 错误 正确 错误 正确答案：错误 8 【判断】数据存储是大数据平台的根本。没有了存储平台，数据也就没有了载体（） A. 正确 B. 错误 正确 错误 正确答案：正确 9 【判断】可视化是给机器看的，数据挖掘就是给人看的（） A. 正确 B. 错误 正确 错误 正确答案：错误 10 【判断】全球数据的90%产生于过去2年内（） A. 正确 B. 错误 正确 错误 正确答案：正确
大数据的定义及基本特征 无论是2001年梅塔集团分析师道格〃莱尼提出的大数据技术萌芽，还是2008年IBM公司的史密斯首次以“BIG DATA”的名词初步定义了大数据的含义，时至今日，科学届对大数据还没有给出一个完整准确的定义，不同领域的科学家们都从不同的视角诠释了大数据的基本含义。但是，纵观大数据发展的前世今生，以及今后的发展趋势，大数据的含义可以归结为： 大数据是人类认知世界的技术理念，是在信息技术支撑下，利用全新的数据分析处理方法，在海量、复杂、散乱的数据集合中提取有价值信息的技术处理过程，其核心就是对数据进行智能化的信息挖掘，并发挥其作用。 有人说世界的本质就是数据，在当今充满数字化数据的时代，数据处理变得更加容易、更加快速，人们能够在瞬间处理成千上万的海量数据，为了在数据中理解信息内容，发现信息与信息之间的关系，人类从没有像今天这样对数据有那么深刻的认识，实际上，我们应该重新认识数据的特征：（1）海量的数据规模（Volume）。具有当前任何一种单体设备难以直接存储、管理和使用的数据量，大数据中所说的“大”也包括数据的全面性。 （2）快速的数据流转和动态的数据变化（Velocity）。数据会随着时间和环境发生变化。
（3）多样的数据类型（Variety）。刻画特定事物特征或规律的数据是以多种形式存在的。 （4）巨大的数据价值（Value）。数据就是资源，许多看似杂乱无章的数据，其潜在蕴含着巨大的价值，数据的价值是由不同的应用目的而体现。 （5）智能化数据挖掘（Intelligence）。无论数据有多少，还是以何种形式呈现，人类要想从数据中发现事物的真相，必须应用全新的方法分析数据，以得到有价值的信息。
大数据的概念、算法及应用 一、大数据基本概念 大数据Big Data是指大小超出了常用的软件工具在运行时间内可以承受的收集，管理和处理数据能力的数据集;大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数据集规模产生的相对概念。 大数据的预处理 主要完成对已接收数据的辨析、抽取、清洗等操作。 (1)抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。 (2)清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。 大数据带来的数学问题 在数学上来看，计算机中存在不断变大的数据集，不存在绝对的大数据，计算机中的所有数据集都是有限集合。 ?大数据采样——把大数据变小、找到与算法相适应的极小样本集、采样对算法误差的影响 ?大数据表示——表示决定存储、表示影响算法效率 ?大数据不一致问题——导致算法失效和无解、如何消解不一致 ?大数据中的超高维问题——超高维导致数据稀疏、算法复杂度增加 ?大数据中的不确定维问题——多维度数据并存、按任务定维难 ?大数据中的不适定性问题——高维导致问题的解太多难以抉择 大数据的特征 ?稠密与稀疏共存：局部稠密与全局稀疏 ?冗余与缺失并在：大量冗余与局部缺失 ?显式与隐式均有：大量显式与丰富隐式 ?静态与动态忽现：动态演进与静态关联 ?多元与异质共处：多元多变与异质异性 ?量大与可用矛盾：量大低值与可用稀少 目前大数据的外延 大数据规模大小是一个不断演化的指标： 当前任务处理的单一的数据集,从数十TB到十几PB级的数据规模(TB?PB?EB?ZB) 处理大数据的可等待的合理时间依赖任务的目标： 地震数据预测要求在几分钟内才有效、气象数据应该在小时级别、失联飞机数据处理要在7天之内、数据挖掘一般要求在12小时内 回到顶部 二、大数据悖论 大数据已被定义为科学探索的第四范式。继几千年前的实验科学、数百年前的理论科学和数十年前的计算科学之后，当今的数据爆炸孕育了数据密集型科学，将理论、实验和计算仿真等范式统一起来。大数据已被誉为“非竞争性”生产要素。大数据具有“取之不尽，用之不竭”的特性，在不断的再利用、重组和扩展中持续释放其潜在价值，在广泛的公开、共享中不断创造着新的财富。根源在于，大数据的价值在于预测未知领域、非特定因素的未来趋势，在于破解长期的、普遍的社会难题。而目前的大数据技术和应用，依然局限于历史和实时数据的关联分析，局限于满足短线的、特定的市场需求。解决悖论的过程，恰恰是理论和方法
马建光等：大数据的概念、特征及其应用 (2013-09-05 16:15:35) 转载▼ 分类：学习资料 标签： 杂谈 大数据的概念、特征及其应用 马建光，姜巍 (国防科技大学人文与社会科学学院，湖南长沙410074) 源自：国防科技2013年4月 ［摘要］随着互联网的飞速发展，特别是近年来随着社交网络、物联网、云计算以及多种传感器的广泛应用，以数量庞大，种类众多，时效性强为特征的非结构化数据不断涌现，数据的重要性愈发凸显，传统的数据存储、分析技术难以实时处理大量的非结构化信息，大数据的概念应运而生。如何获取、聚集、分析大数据成为广泛关注的热点问题。介绍大数据的概念与特点，分别讨论大数据的典型的特征，分析大数据要解决的相关性分析、实时处理等核心问题，最后讨论大数据可能要面临的多种挑战。 ［关键词］大数据; 非结构化信息; 解决核心问题; 未来挑战 一、引言 自上古时代的结绳记事起，人类就开始用数据来表征自然和社会，伴随着科技和社会的发展进步，数据的数量不断增多，质量不断提高。工业革命以来，人类更加注重数据的作用，不同的行业先后确定了数据标准，并积累了大量的结构化数据，计算机和网络的兴起，大量数据分析、查询、处理技术的出现使得高效的处理大量的传统结构化数据成为可能。而近年来，随着互联网的快速发展，音频、文字、图片视频等半结构化、非结构化数据大量涌现，社交网络、物联网、云计算广泛应用，使得个人可以更加准确快捷的发布、获取数据。在科学研究、互联网应用、电子商务等诸多应用领域，数据规模、数据种类正在以极快的速度增长，大数据时代已悄然降临。 首先，全球数据量出现爆炸式增长，数据成了当今社会增长最快的资源之一。根据国际数据公司IDC 的监测统计［1］，即使在遭遇金融危机的2009 年，全球信息量也比2008 年增长了62%，达到80 万PB ( 1PB 等于10亿GB) ，到2011 年全球数据总量已经达到1. 8ZB ( 1ZB 等于1 万亿GB，) ，并且以每两年翻一番的速度飞速增长，预计到2020 年全球数据量总量将达到40 ZB，10年间增长20 倍以上，到2020 年，地球上人均数据预计将达5247GB。在数据规模急剧增长的同时，数据类型也越来越复杂，包括结构化数据、半结构化数据、非结构化数据等多种类型，其中采用传统数据处理手段难以处理的非结构化数据已接近数据总量的75%。 如此增长迅速、庞大繁杂的数据资源，给传统的数据分析、处理技术带来了巨大的挑战。为了应对这样的新任务，与大数据相关的大数据技术、大数据工程、大数据科学和大数据应用等迅速成为信息科学领域的热点问题，得到了一些国家政府部门、经济领域以及科学领域有关专家的广泛关注。2012 年3 月22 日，奥巴马宣布美国政府五大部门投资2 亿美元启动“大数据研究和发展计划( Big Data Research and Development Initiative) ”［2］，欲大力推
大数据概念 研究机构Gartner—大数据概念 "大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能 力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无 法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务（AWS）、大数据科学 家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数 据的极限"。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪
些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开 源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。 大数据分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。 大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。 大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。 大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。 大数据技术
一.大数据的概念 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法[2]）大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。 “大数据”作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。 二.大数据的相关技术 1．大数据采集技术 数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。 大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。 2．大数据预处理技术 主要完成对已接收数据的辨析、抽取、清洗等操作。 1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。 2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项， 因此要对数据通过过滤“去噪”从而提取出有效数据。 3．大数据存储及管理技术 大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化，半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术。 开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据
2017年公需课大数据概述及基本概念考题 1 【单选】信息技术是指有关信息的收集、识别、提取、变换、存贮、传递、处理、检索、检测、分析和利用等凡涉及到这些过程和技术的工作部门，都可称作（）部门 ? A. 技术 ? B. 研究 ? C. 信息 ? D. 管理 ? A ? B ? C ? D ?正确答案：C 2 【单选】下列单位不是数据单位的是（） ? A. bit ? B. NB ? C. GB ? D. TB ? A ? B
? C ? D ?正确答案：B 3 【单选】下列不属于商业大数据类型的是（）? A. 传统企业数据 ? B. 机器和传感器数据 ? C. 社交数据 ? D. 电子商务数据 ? A ? B ? C ? D ?正确答案：D 4 【多选】云计算包括有三个部分，分别是（）? A. 基础设施服务 ? B. 平台服务 ? C. 软件服务 ? D. 数据服务
? A ? B ? C ? D ?正确答案：A B C 5 【多选】大数据技术的出现实现了巨大的社会价值，主要表现在（）? A. 能够推动实现巨大经济效益 ? B. 能够推动信息技术高速发展 ? C. 能够推动增强社会管理水平 ? D. 如果没有高性能的分析工具，大数据的价值就得不到释放 ? B ? C ? D ?正确答案：A C D 6 【多选】互连网上出现的海量信息可以划分为三种，分别为（） ? A. 结构化信息 ? B. 非结构化信息 ? C. 半结构化信息
? D. 特殊化信息 ? A ? B ? C ? D ?正确答案：A B C 7 【判断】大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内管理、处理、并整理成为帮助企业经营决策更积极目的的资讯（） ? A. 正确 ? B. 错误 ?正确 ?错误 ?正确答案：正确 8 【判断】信息是数据的表达，数据是信息的内涵（） ? A. 正确 ? B. 错误 ?正确 ?错误
一、大数据 1、什么是大数据？ 大数据（Big data或Megadata）：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间达到截取、管理、处理、并整理成为人类所能解读的形式的信息。 2、大数据特点 ①Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z （10亿个T）。 ②Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。 ③Value：数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。 ④Velocity：数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。 ⑤Veracity：数据的准确性和可信赖度，即数据的质量。
二、数据仓库 1、什么是数据仓库？ 在计算中，数据仓库（DW或DWH）也称为企业数据仓库（EDW），是用于报告和数据分析的系统，被视为商业智能的核心组件。DWs从一个或多个不同源的综合数据的中央储存库。他们将当前和历史数据存储在一个地方，用于为整个企业的工作人员创建分析报告。 2、数据仓库两种操作方式的特点 ①在线分析处理（OLAP）的特点是交易量相对较低。查询往往非常复杂，涉及到聚合。对于OLAP系统，响应时间是一种有效性度量。数据挖掘技术广泛使用OLAP应用程序。OLAP数据库以多维模式（通常为星型模式）存储汇总的历史数据。与数据集市相比，OLAP 系统通常具有数小时的数据延迟，而数据集市预计延迟将接近一天。OLAP方法用于分析来自多个来源和视角的多维数据。OLAP中的三个基本操作是：总结（合并），钻取和切片和切块。 ②联机事务处理（OLTP）的特点是大量短暂的在线事务（INSERT，UPDATE，DELETE）。OLTP系统强调非常快速的查询处理并保持多访问环境中的数据完整性。对于OLTP系统，有效性以每秒交易次数来衡量。OLTP数据库包含详细和当前的数据。用于存储事务数据库的模式是实体模型（通常是3NF）。规范化是对在该系统中数据建模技术的规范。 三、ETL与DM的区别
大数据时代的数据概念分析及其他 一、概念： "大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。"大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。 百度概念: 大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、Veracity。 研究机构Gartner概念： "大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务（AWS）、大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限"。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。 二、大数据分析 从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？ 大数据分析的五个基本方面： 1、可视化分析Analytic Visualizations 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者
《大数据技术与应用基础》教学大纲 学时： 60 代码： 适用专业： 制定： 审核： 批准： 一、课程的地位、性质和任务 大数据技术的发展，已被列为国家重大发展战略。而在过去的几年里，无论是聚焦大数据发展 的《促进大数据发展行动纲要》，还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用 发展的重视。目前国内大数据发展还处于加速期、转型期，数据与传统产业的融合还处于起步阶段，各 行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧，各行业对大数据技术研究的 热情越来越高，在未来几年，各领域的数据分析都将大规模应用。 本课程在注重大数据时代应用环境前提下，考虑大数据处理分析需求多样复杂的基本情况，从 初学者角度出发，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具。 考虑到当前大数据发展处于起步并逐步赶超先进的阶段，其应用领域丰富广泛，在教学过程中应注 重掌握大数据分析的实践操作。本课程通过丰富简单易上手的实例，让学生能够切实体会和掌握各 种类型工具的特点和应用。 二、课程教学基本要求 1.了解大数据的发展和基本概念，理解并掌握大数据的特征及主要技术层面。 2.掌握 Scrapy 环境的搭建，了解网络爬虫获取数据的过程，熟悉爬虫项目的创建。 3.深刻了解 hadoop 的基础理论，理解并掌握 Hadoop 单机及集群环境的部署方法。 4.掌握 HDFS 的基本概念和 HDFS 在 hadoop 中的作用，理解并识记 HDFS 的使用，了解HDFS的JAVA API 接口及数据流原理；让学生明白Map 过程与 Reduce过程这两个独立部分各自的原理及合作途径，知道如何独立编写满足自己需求的MapReduce程序。 5.理解 HBase 中涉及的基本概念，掌握 HBase 的简单应用；让学生了解数据仓库的基础概念，熟 悉 Hive 与 HDFS 、 MapReduce 直接的关心。 6. 熟悉 Spark 和 RDD 的基本概念，熟悉spark 接口的使用，解决实战时的步骤及思路。 7. 明白 Hadoop 和 Storm 之间的差别，掌握对Storm 的使用。理解 Apex 的工作过程并能简单应用。 8.了解 Druid 的基本概念、应用场景以及集群架构，掌握批量数据加载、流数据加载的操作。 了解 Flink的重要概念和基本架构，掌握Flink简单的使用实例。 9.理解Elasticsearch的基本架构，掌握Elasticsearch的一些入门操作。了解并基本掌握怎样利用所学的工具对目标实例进行数据分析。 三、课程的内容 1．大数据概述
《大数据技术与应用基础》教学大纲 学时：60 代码： 适用专业： 制定： 审核： 批准： 一、课程的地位、性质和任务 大数据技术的发展，已被列为国家重大发展战略。而在过去的几年里，无论是聚焦大数据发展的《促进大数据发展行动纲要》，还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用发展的重视。目前国内大数据发展还处于加速期、转型期，数据与传统产业的融合还处于起步阶段，各行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧，各行业对大数据技术研究的热情越来越高，在未来几年，各领域的数据分析都将大规模应用。 本课程在注重大数据时代应用环境前提下，考虑大数据处理分析需求多样复杂的基本情况，从初学者角度出发，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具。考虑到当前大数据发展处于起步并逐步赶超先进的阶段，其应用领域丰富广泛，在教学过程中应注重掌握大数据分析的实践操作。本课程通过丰富简单易上手的实例，让学生能够切实体会和掌握各种类型工具的特点和应用。 二、课程教学基本要求 1. 了解大数据的发展和基本概念，理解并掌握大数据的特征及主要技术层面。 2. 掌握Scrapy环境的搭建，了解网络爬虫获取数据的过程，熟悉爬虫项目的创建。 3. 深刻了解hadoop的基础理论，理解并掌握Hadoop单机及集群环境的部署方法。 4. 掌握HDFS的基本概念和HDFS在hadoop中的作用，理解并识记HDFS的使用，了解HDFS的JAVA API接口及数据流原理；让学生明白Map过程与Reduce过程这两个独立部分各自的原理及合作途径，知道如何独立编写满足自己需求的MapReduce程序。 5. 理解HBase中涉及的基本概念，掌握HBase的简单应用；让学生了解数据仓库的基础概念，熟悉Hive与HDFS、MapReduce直接的关心。 6. 熟悉Spark和RDD的基本概念，熟悉spark接口的使用，解决实战时的步骤及思路。 7. 明白Hadoop和Storm之间的差别，掌握对Storm的使用。理解Apex的工作过程并能简单应用。 8. 了解Druid的基本概念、应用场景以及集群架构，掌握批量数据加载、流数据加载的操作。了解Flink的重要概念和基本架构，掌握Flink简单的使用实例。 9. 理解Elasticsearch的基本架构，掌握Elasticsearch的一些入门操作。了解并基本掌握怎样利用所学的工具对目标实例进行数据分析。 三、课程的内容 1．大数据概述
对大数据的基本特征有很多看法，但学术界普遍认可的是“3V”或“4V”的说法。3V特性是指容量巨大（V olume）、品种复杂（Velocity）、处理速度快，4V在此基础之上增加了价值密度低（Value）。随着数据挖掘技术和数据处理技术的发展，大数据的价值开始体现出来。 （1）容量巨大。十年前，我们对数据容量认知单位仅限于MB 和GB，但现在业务中使用的最基本的数据容量单位已达到TB。百度、腾讯、阿里等网络公司已经达到ZB（1ZB=1万亿GB）。目前，全球数据量仍在增长，年增长率超过40%。 （2）种类复杂。我们通常所说的数据是一个整体性的概念，按照不同的划分方式，数据可以被划分为多种类型，最常用和最基本的就是利用数据关系进行划分，有结构化数据、半结构化数据和非结构化数据，在小数据时代基本以结构化数据为主，随着数据技术的不断发展才出现了半结构化和非结构化数据。另外，从数据来源上划分，有社交媒体数据、传感器数据和系统数据。从数据格式上划分，有文本数据、图片数据、音频数据、视频数据等。近几年数据的种类增加
了很多，主要原因是移动设备、传感器以及通讯手段的增加，如此复杂多变的数据种类，带来的将是数据分析和数据处理的困难，势必会引发相应技术的变革。 （3）处理速度快。数据的数量和类型都在不断增加，直接影响到的就是数据的处理速度。大数据时代的基本要求就是速度要快，在数据资源化的趋势下，当今时代数据已然成为一种资源，但数据同现实中的物质资源不同，物质资源是不会消失和失去自身价值的，由于数据自身具有时效性，其所能挖掘的价值可能稍纵即逝，如果大量的数据来不及处理，就会变成数据垃圾。所以，现在的网络市场，各大互联网公司进行的不仅仅是数据的竞争，同时还是速度的竞争，要想在市场中占据主动地位，就必须要对拥有的数据进行快速的、实时的处理。 （4）价值密度低。价值性是大数据最本质的特性之一，大数据之所以能够得到各行各业的重视，主要原因就是其背后巨大的潜在价值，但是它的价值密度却很低。价值密度我们可以理解成有用数据在总数据中所占的比例。价值密度低的原因一方面是因为庞大的数据量和复杂的数据类型，基数过大带来的不仅是有价值的数据，更多的是垃圾数据和无用数据；另一方面是因为处理速度过慢，无法迅速准确的获取有价值的数据。纵使价值密度低，也无法阻挡人们对大数据的狂热，其根源还是在于数据背后所隐藏的巨大价值，大数据预测，将是大数据发展的主要方向。 以上就是全部内容，希望对大家有所帮助，感谢您的阅读！
大数据概念及其应用 一、大数据的概念 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法来分析的巨量数据）。 大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Veracity（精确）。网络的发展引起了信息量的飞速增长，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 二、大数据与数据仓库、OLAP、数据挖掘技术的关系 大数据技术指的是对大量信息进行专业处理、获取具有指导意义的信息以帮助决策的技术，而数据仓库、OLAP（联机分析处理）、数据挖掘技术就是处理和分析“大数据” 的主要方法。也就是说，实现大数据的分析和利用需要以数据仓库、OLAP、数据挖掘技术为手段。 具体来说，当海量数据摆在眼前，针对用户可能关注的方面，按照一定的主题域进行组织，形成数据仓库；再通过联机分析处理（OLAP）对信息的多种可能的观察形式进行快速、稳定一致和交互性的存取，形成多个维度的信息；再通过数据挖掘技术，发现数据内部隐含的规律并展示给用户，以指导用户决策。关系图如下： 三、大数据技术的应用 数据的丰富意味着信息的丰富，对海量信息的合理分析整合，对于企业管理层决策和政府部门决策都有很大的指导意义。有实力的企业和政府部门都可以建立一套大数据处理系统，来指导其决策的作出，甚至在数据大爆炸的情况下，专门处理大数据的企业也将迎来春天，因为还有很多企业不具备建立完善的大数据分析处理系统的能力。
什么是大数据？大数据概念解析 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。[1] 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[2]中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM 提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。[3] 大数据定义 对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。[1] 麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。[4] 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。[5] 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。[2] 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。 大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 它们按照进率1024（2的十次方）来计算： 1 Byte =8 bit
“云计算与大数据环境下银行变革”学习心得 一、大数据基本概念 1、大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法 通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据不但 包含类似交易信息、账户信息等标准结构化数据，也包括用户 评论类似大众点评等非结构化数据。 2、大数据的目的不是要告诉我们“为什么”，而是告诉我们结果“是 什么”。比如每年度淘宝网数据盛典中的分析结果，“最疼爱老 婆的男人地区是浙江宁波”，“山西人最孝顺，安徽人最爱宠物” 等等，从数据分析结果中没办法看到“为什么”，而只能看到“结 果就是这样”。 3、数据渐渐由服务、产品等产生的副产品变为银行业最重要的金 融资产。2012年3月，美国发布“大数据研究与发展计划”， 将大数据比喻为美国的新石油。 与其他行业相比，大数据对银行更具潜在价值，麦肯锡的研究显示，金融业在大数据价值潜力指数中排名第一。这主要是因为：一方面，大数据决策模式对银行更具针对性。以百度、阿里巴巴、腾讯为首的互联网巨头，正在毫不讲理的进行跨界经营，大力发展互联网金融，业务领域涉及结算、支付、贷款等各个银行传统业务，尤其余额宝、财务通等各种互联网宝宝的出现，更是直接导致了银行存款的搬家。面对如此情况，银行的经营模式、服务模式、营销模式必须要转
型、需要大力开展金融创新和管理升级，而大数据技术、践行大数据思维就是一种很好的工具。 另一方面，银行具备实施大数据的基本条件：(一)数据众多。银行不仅拥有所有客户的账户和资金收付交易等结构化数据，还拥有客服音频、网点视频、网上银行记录、电子商城记录等非结构化数据;(二)拥有处理传统数据的经验;(三)较高的薪酬能够吸引到实施大数据的人才;(四)充分的预算可以利用多项大数据新技术。 二、大数据的特性 1、大数据包含的数据分类： (一)基本数据：包含姓名、电话、住址、单位、学历、家庭信息、 财产信息等； (二)账户数据：包含存款时点数、日均数、资产结构、产品持有率 等； (三)交易数据：交易时间、交易地点、渠道等； (四)交互数据：客户爱好习惯、习惯接受方式、投资偏好等； (五)评论数据：反映问题、投诉建议等。 目前国内银行应用范围主要在前两项，例如建行客户在建行柜面办理业务，刷卡后直接显示该客户在建行已持有产品情况，还可向其推荐的产品种类，甚至推销的口头用语直接显示在屏幕上。交易数据国内一部分银行已经在使用。交互数据目前主要是国外银行有应用，例如花旗银行，该类型数据非常有利于银行客户的平稳过渡和交接。国内维护客户主要靠专人的客户经理，一旦客户经理调整岗位或者离