关系型与非关系型数据库（全文）
胡经国
本文作者的话
本文是根据有关文献和资料编写的《漫话云计算》系列文稿之一。以此作为云计算学习笔录，供云计算业外读者进一步学习和研究参考。希望能够得到大家的指教和喜欢！
下面是正文
一、云计算时代对数据库技术的新需求
随着云计算时代的到来，各种类型的互联网应用层出不穷，对数据模型、分布式架构、数据存储等数据库相关技术指标提出了新的要求。虽然传统的关系型数据库，已在数据存储方面占据了不可动摇的地位，但是由于其天生的限制，已经越来越无法满足云计算时代对数据扩展、读写速度、支撑容量以及建设和运营成本的要求。云计算时代对数据库技术提出了新的需求，主要表现在以下几个方面：
⑴、海量数据处理
对类似搜索引擎和电信运营商级的经营分析系统这样大型的应用而言，需要能够处理PB级的数据，同时需要应对百万级流量。
⑵、大规模集群管理
大规模集群管理使分布式应用可以更加简单地部署、应用和管理。
⑶、低延迟读写速度
快速的响应速度能够极大地提高用户的满意度。
⑷、建设及运营成本
云计算应用的基本要求，是希望在硬件成本、软件成本以及人力成本方面都有大幅度的降低。
链接：互联网应用
互联网应用，是指搜索引擎、聊天室和讨论组以及实用软件（公用软件、共享软件、自由软件）等。宽带上网催生了一系列新的互联网应用，比较流行的如网络游戏、博客、微博、播客、互联网电视、互联网金融、流媒体（边传边播的媒体）、即时通信（如QQ）、网络电话（voip）、电子商务等等。
链接：数据扩展
数据扩展是由一组连续的数据块构成的，是数据库逻辑存储分配单位。而数据表的数据段则是由一个或多个数据扩展构成。当一个数据段己有空间用完时，关系数据库管理系统（Oracle）自动为这个数据段分配新的数据扩展。
当用户创建数据表时。Oracle为此数据表的数据段分配一个包含若干数据块的初始数据扩展。虽然此时数据表中还没有数据，但是在此初始数据扩展中的数据块己经为插入（insert）新数据做好了准备。如果一个数据段的初始数据扩展的数据块都己装满，而且有新的数据要插入时，Oracle自动为这个数据段分配一个增量数据扩展。
链接：集群（Cluster）技术
集群（Cluster）技术定义：一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。此单一系统为客户工作站提供高可性的服务。在大多数模式下，集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败，并可透明地向Cluster中加入组件。一个Cluster包含多台（至少二台）拥有共享数据存储空间的服务器。任何一台服务器运行一个应用时，应用数据被存储在共享的数据空间内。每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间上。Cluster内各节点服务器通过一内部局域网相互通信。当一台节点服务器发生故障时，这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。当一个应用服务发生故障时，应用服务将被重新启动或被另一台服务器接管。当以上的任一故障发生时，客户都将能很快连接到新的应用服务上。
链接：分布式应用
分布式应用（Distributed Application，DA），是指应用程序分布在不同计算机上，通过网络来共同完成一项任务的工作方式。
链接：低延迟
延迟是一个现代词语，意思是推迟到较后的时间。
低延迟的需求，很大程度上来自于证券市场上高频交易比例的迅猛增长。在证券产品可以在多家交易所进行交易的情况下，能够更快处理订单、更快反馈行情的交易所，显然更能吸引采用高频交易策略的机构投资者。例如，2010年，纳斯达克（NASDAQ）应用INET（电子交易平台技术）处理延迟小于250微秒，每秒可处理100万笔订单，是当时世界上最快的交易所。
二、关系型数据库SQL
1、关系型数据库概述
关系型数据库是建立在数据关系模型基础上的数据库。关系模型是指二维表格模型。因而，一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。在现实世界中，各种实体以及实体之间的各种联系均用关系模型来表
示。现如今，虽然对关系模型有一些批评意见，但是它还是数据存储的传统标准。
SQL（Structured Query Language，结构化查询语言），是一种标准数据查询语言，一种通用的、功能极强的关系型数据库语言，同时也是数据库脚本文件的扩展名。SQL是一种数据库查询和程序设计语言，执行对关系型数据库中数据的检索和操作，用于存取数据以及查询、更新和管理关系型数据库系统。它是1974年由Boyce和Chamberlin提出的一种介于关系代数与关系演算之间的结构化查询语言。
当前，主流的关系型数据库有Oracle、DB2、Postgre SQL、Microsoft SQL Server、Microsoft Access、MySQL、浪潮K-DB等。
2、关系型数据库数据表
关系型数据库的数据表，是以行和列的形式组织起来的数据集合。一个数据库包括一个或多个数据表。例如，可能有一个有关作者信息的名为authors 的数据表。每列都包含有关特定作者的一类信息，如作者的姓氏；每行都包含有关特定作者的所有信息：姓名、住址等等。在关系型数据库当中一个数据表就是一个关系，一个关系数据库可以包含多个数据表。
3、关系型数据库的特点和问题
关系型数据库成为主流技术已经超过20年。这是有它的道理的。它把数据存储在磁盘中，人们可以通过最标准化的语言SQL来对数据进行各种操作。它的事务性（transactional）能够有效地提供用户并发访问控制，并为应用程序的数据调用提供一致性。而且，由于关系型数据库主要存储结构化数据，因而它的数据模型和标准化更加适用于报表（Report）的生成。
但是，关系型数据库的最大问题在于：它的设计初衷是要运行在单一的服务器上。因此，在进行Scale-Out（水平扩展）的时候，很可能会遭遇巨大的瓶颈。Scale-Up（纵向扩展），就是利用现有的存储系统，通过不断增加存储容量来满足数据增长的需求，就是你买更大的机器来跑数据库；而Scale-Out（水平扩展），就是用多个普通服务器组成集群，让数据库分布在这个集群的节点当中。集群（Cluster）的概念，就是用更多的服务器来做一件事；其中如果一个服务器宕机，其它的机器还可以继续运行，因此整个集群也能够正常工作。
链接：宕机、宕掉
宕机，音译即down机。服务器宕机是指服务器压力死机或需要重启；数据库宕掉是指数据库压力导致响应需要重启。
4、关系型数据库的劣势分析
随着Web2.0的发展，传统的关系型数据库在应对超大规模和高并发的SNS（Social Network Site，社交网站）类型的网站方面，暴露了许多难以克服的问题，主要表现在以下方面：
⑴、高并发读写速度慢
这种情况主要发生在数据量达到一定规模时。由于关系型数据库的系统逻辑非常复杂，使得其非常容易发生死锁等并发问题，导致其读写速度下降非常严重。例如，Web2.0网站，要根据用户个性化信息来实时生成动态页面、提供动态信息，所以基本上无法使用动态页面静态化技术。因此，数据库并发负载非常高，往往要达到每秒上万次读写请求。关系型数据库勉强可以应付上万次SQL查询，而硬盘I/O则往往无法承担上万次的SQL写数据请求。
⑵、支撑容量有限
类似Facebook、Twitter这样的SNS网站，用户每天产生海量的用户动态，每月会产生几亿条用户动态。对于关系型数据库来说，在一张有数亿条记录的数据表里面进行SQL查询，效率是极其低下甚至是不可忍受的。
⑶、扩展性差
在基于Web的架构当中，数据库是最难进行横向扩展的。当一个应用系统的用户量和访问量与日俱增的时候，传统的关系型数据库却没有办法像Web Server（Web服务器）那样，简单地通过添加更多的硬件（服务器）和服务器节点，来扩展性能和负载能力。对于很多需要提供不间断服务的网站来说，对数据库系统进行升级和扩展是非常痛苦的事情，往往需要停机维护和数据迁移。因此，迫切需要关系型数据库也能够通过不断添加服务器节点来实现横向扩展。
⑷、建设和运维成本高
企业级数据库的价格很高，并且随着系统的规模增大而不断上升。高昂的建设和运维成本，无法满足云计算应用对数据库的需求。
关系型数据库遇到上述难以克服的瓶颈。与此同时，它的很多主要特性，在云计算应用中，却往往无用武之地。例如：数据库事务一致性、数据库的写实时性和读实时性、复杂的SQL查询特别是多数据表关联查询。因此，传统的关系型数据库，已经无法独立应付云计算时代的各种应用。
链接：事务一致性
事务执行的结果必须是使数据库从一个一致性状态转变到另一个一致性状态。保证数据库事务一致性，是指当事务完成时，必须使所有数据都具有一致的状态。在关系型数据库中，所有的规则必须应用到事务的修改上，以便维护所有数据的完整性。
保证数据库事务一致性是数据库管理系统的一项功能。比如，有两个数据表（员工/职位）。在员工表中有员工代码、姓名、职位代码等属性；在职位表中有职位代码、职位名称、职位等级等属性。你在其中员工表中进行了插入操作,你插入了一个新员工的信息；而这个新员工的职位是公司新创建的一个职位。如果没有事务一致性的保证，那么就会出现有这么一个员工，但是不知道他到底担当什么职责！这个只是它的一个小小方面。
三、非关系型数据库NoSQL
1、非关系型数据库的定义
一些关于数据库技术发展的文章，基本都是围绕着SQL（关系型数据库）与NoSQL（非关系型数据库）的讨论来展开的。
当初在NoSQL运动刚刚起步的时候，“Say no to SQL（对SQL说不）”的口号不绝于耳。当然，这个口号并没有成为现实。人们最终普遍接受了“Not-Only SQL（不仅SQL）”的说法。
在这里，真的要给NoSQL下一个定义，还真不是件容易的事。人们习惯把MongoDB、Redis这样的产品，作为NoSQL普遍定义。
链接：MongoDB
MongoDB是一个分布式文档存储数据库，用C++语言编写。它旨在为Web应用提供可扩展的高性能数据存储解决方案。MongoDB是一个高性能、开源、无模式的文档型数据库，是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库。
链接：Redis
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value（键－值）数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。
不过，更加中肯的定义是：凡是没有用到SQL的都算是NoSQL，即便是在传统的关系型数据库里。也就是说，你可以把它们看作是一对好基友；你中有我，我中有你。用软件工程师Martin Fowler在一篇文章中提到的词来形容就非常贴切：Polyglot Persistence，即“混合持久化”或者“多语言持久化”。所以说，在未来的数据库技术领域，将很有可能打破所谓的关系型SQL和非关系型NoSQL之间的界限，用不同的工具达到不同的目的。将各种数据库技术杂糅在一套系统中，各司其职。因此，就像Fowler所说的，无论怎样定义NoSQL都是无用功。
2、非关系型数据库的出现和特点
在这方面，一些大型的互联网公司走在了前面。像Google和Amazon，都运行了非常大型的服务器集群，并逐渐衍生出了云计算的概念。他们都意识到，SQL数据库在应对服务器集群方面，出现了比较大的性能瓶颈。因此，纷纷放弃SQL，自己开始研发出像BigTable和Dynamo这样的存储平台。它们应该算是最早的NoSQL数据库。
于是，人们开始注意到这个问题，各种各样的NoSQL产品也不断涌现出来。Adewale把非关系型数据库的特点归结为：
不使用关系数据模型，不使用结构化查询语言SQL；往往针对大型服务器
集群设计；没有固定的模式（Schema），一条记录中可以存储任意数据；往往是开源的。
非关系型数据库主要解决的一个问题就是大数据集存储；使用NoSQL数据库的大型服务器集群可以存储PB级别的数据，并处理大量的分析数据。而多种多样的数据模型，可以用来应对不同类型的数据，比如文档、图片、视频等非结构化数据。
3、非关系型数据库数据模型
关系型数据库越来越无法满足云计算的应用需求。为了解决此类问题，非关系型数据库应运而生。由于在设计上，和传统的关系型数据库相比，有了很大的不同，因而此类数据库被称为“NoSQL（Not only SQL，不仅SQL）”系列数据库。
与关系型数据库相比，非关系型数据库非常关注数据高并发读写和海量数据的存储；在架构和数据模型方面作了简化；在扩展和并发等方面作了增强。
目前，主流的NoSQL数据库包括：BigTable、HBase、Cassandra、SimpleDB、CouchDB、MongoDB以及Redis等。
非关系型数据库常用数据模型包括以下3种：
⑴、Column-oriented（列式）
列式主要使用Table（表）这样的模型。但是，它并不支持多表的操作。它的主要特点是：在存储数据时，主要围绕着“列（Column）”,而不是像传统的关系型数据库那样根据“行（Row）”进行存储。也就是说，属于同一列的数据会尽可能地存储在硬盘同一个页中，而不是将属于同一个行的数据存放在一起。这样做的好处是：对于很多类似数据仓库的应用，虽然每次查询都会处理很多数据，但是每次所涉及的列并不是很多。
使用列式数据库将会节省大量I/O。并且，大多数列式数据库都支持Column Family（列族也就是一组列）这个特性，能将多个列并为一个小组。这样做的好处是，能将相似列放在一起存储，提高这些列的存储和查询效率。总体而言，这种数据模型的优点是：比较适合汇总和数据仓库这类应用。
链接：I/O
I/O（input/output）的意思是输入/输出。每个计算机设备都有一个专用的I/O地址，用来处理自己的输入输出信息。CPU与外部设备、存储器的连接和数据交换，都需要通过接口（interface）设备来实现；前者被称为I/O接口，而后者则被称为存储器接口。存储器通常在CPU的同步控制下工作，接口电路比较简单；而I/O设备品种繁多，其相应的接口电路也各不相同。因此，习惯上说到接口只是指I/O接口。
链接：数据仓库
数据仓库（Data Warehouse，DW或DWH），是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
数据仓库是决策支持系统（Decision Support System，DSS）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性（后面将撰文介绍）。
链接：联机分析处理
联机分析处理（Online Analytical Processing，OLAP）系统是数据仓库系统最主要的应用。它专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持。可以根据分析人员的要求，快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。
⑵、Key-value（键值）
虽然Key-value这种模型和传统的关系型相比，比较简单；有点类似常见的HashTable（哈希表），一个Key（键）对应一个Value（值）。但是，它能提供非常快的查询速度、大的数据存放量和高并发操作；非常适合通过主键对数据进行查询和修改等操作。虽然不支持复杂的操作，但是可以通过上层的开发，来弥补这个缺陷。
链接：哈希表
哈希表（Hash table），又叫做散列表，是根据关键码值（Key value）直接进行访问的数据结构，以加快查询的速度。
链接：主键与外键
在SQL数据库中，主键是能确定一条记录的唯一标识。例如，一条记录包括身份证号、姓名、年龄。其中，身份证号是唯一能确定这个人的，其它都可能有重复，所以身份证号就是主键。外键用于与另一张表的关联，是能确定另一张表记录的字段，用于保持数据的一致性。例如，A表中的一个字段，是B 表的主键，那它就是A表的外键。
⑶、Document（文档）
在结构上，Document和Key-value是非常相似的；也是一个Key（键）对应一个Value（值）。但是，这个Value（值）主要以JSON或者XML等格式的文档来进行存储，是有语义的。并且，Document DB（文档型数据库）一般
可以对Value来创建Secondary Index（二级索引），以方便上层的应用。这点是普通Key-Value DB（键值数据库）所无法支持的。
4、非关系型数据库四大类型
⑴、键值（Key-Value）存储数据库
这一类数据库主要会使用到一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key-value模型对于IT系统来说，其优势在于简单、易部署。但是，如果DBA只对部分值进行查询或更新，那么Key-value模型就显得效率低下了。例如，Tokyo Cabinet/Tyrant，Redis，Voldemort，Oracle BDB。
⑵、列存储数据库
这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。这些列是由列家族（列簇）来安排的，如：Cassandra，HBase，Riak。
⑶、文档型数据库
文档型数据库的灵感来自于Lotus Notes办公软件，而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档、半结构化的文档以特定的格式存储，比如JSON等格式。文档型数据库可以看作是键值数据库的升级版，允许之间嵌套键值。而且，文档型数据库比键值数据库的查询效率更高。如：CouchDB，MongoDB。中国国内也有文档型数据库SequoiaDB，已经开源。
⑷、图形（Graph）数据库
图形结构的数据库，同其它行列以及刚性结构的SQL数据库不同。它是使用灵活的图形模型，并且能够扩展到多个服务器上。NoSQL数据库没有标准的查询语言（SQL），因此进行数据库查询需要制定数据模型。
5、非关系型数据库共同特点
对于NoSQL并没有一个明确的范围和定义，但是它们都普遍具有以下一些共同特点：
⑴、不需要预定义模式
不需要事先定义数据模式、预定义表结构。数据中的每条记录都可能有不同的属性和格式。当插入数据时，并不需要预先定义它们的模式。
⑵、无共享架构
相对于将所有数据存储的存储区域网络中的全共享架构。NoSQL往往将数据划分后存储在各个本地服务器上。因为，从本地磁盘读取数据的性能往往好于通过网络传输读取数据的性能，从而提高了系统的性能。
⑶、弹性可扩展
可以在系统运行的时候，动态增加或者删除节点。不需要停机维护，数据可以自动迁移。
⑷、分区
相对于将数据存放于同一个节点，NoSQL数据库需要将数据进行分区，将记录分散在多个节点上面。并且，通常分区的同时还要做复制。这样，既提高了并行性能，又能保证没有单点失效的问题。
⑸、异步复制
和RAID（Redundant Arrays of Independent Disks，磁盘阵列）存储系统不同的是，NoSQL中的复制，往往是基于日志的异步复制。这样，数据就可以尽快地写入一个节点，而不会被网络传输引起迟延。缺点是并不总是能保证一致性。这样的方式在出现故障的时候，可能会丢失少量的数据。
链接：异步复制
异步复制技术是指在写被响应到主机之前，数据必须被承诺存储在单独的一级站点而不是存储在二级站点。当网络容量允许时，数据传向二级站点。
⑹、BASE
相对于事务严格的ACID特性，NoSQL数据库保证的是BASE特性。BASE是最终一致性和软事务。
链接：BASE：最终一致性和软事务
所谓最终一致性，就是不保证在任意时刻任意节点上的同一份数据都是相同的；但是随着时间的迁移，不同节点上的同一份数据总是在向趋同的方向变化。也可以简单的理解为：在一段时间后，节点间的数据会最终会达到一致状态。
软事务（待查）
链接：ACID
ACID，是指数据库事务正确执行的四个基本要素的英文的缩写，包含：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。事务（Transaction）正确执行，必需要具有这四种特性，否则在事务过程（Transaction processing）当中无法保证数据的正确性，交易过程极可能达不到交易方的要求。
原子性：整个事务中的所有操作，要么全部完成，要么全部不完成，不可能停滞在中间某个环节。事务在执行过程中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务从来没有执行过一样。
一致性：在事务开始之前和事务结束以后，数据库的完整性约束没有被破坏。
隔离性：在隔离状态执行事务，使它们好像是系统在给定时间内执行的唯
一操作。
持久性：在事务完成以后，该事务所对数据库所作的更改便持久的保存在数据库之中，并不会被回滚。
目前主要有两种方式实现ACID：第一种是Write ahead logging（预写日志），也就是日志式的方式。第二种是Shadow paging（影子分页）。
链接：Write-Ahead Logging
Write-Ahead Logging（WAL，预写日志）技术，是数据库中一种高效的日志算法。对于非内存数据库而言，磁盘I/O操作是数据库效率的一大瓶颈。在相同的数据量下，采用WAL日志的数据库系统在事务提交时，磁盘写操作只有传统的回滚日志的一半左右，大大提高了数据库磁盘I/O操作的效率，从而提高了数据库的性能。
链接：Shadow paging
相对于WAL（write ahead logging）技术，Shadow Paging（SP，影子分页）技术实现起来比较简单，消除了写日志记录的开销，恢复的速度也快。Shadow Paging的缺点就是事务提交时要输出多个块。这使得提交的开销很大，而且以块为单位，很难应用到允许多个事务并发执行的情况——这是它致命的缺点。
NoSQL数据库并没有一个统一的架构；两种NoSQL数据库之间的不同，甚至远远超过两种关系型数据库的不同。可以说，NoSQL各有所长。成功的NoSQL必然特别适用于某些场合或者某些应用；在这些场合中会远远胜过关系型数据库和其它的NoSQL。
6、非关系型数据库使用范围
NoSQL数据库没有标准的查询语言（SQL），因此进行数据库查询需要制定数据模型。许多NoSQL数据库都有REST式的数据接口或者查询API。如：Neo4J，InfoGrid，Infinite Graph。因此，NoSQL数据库在以下的这几种情况下比较适用：
⑴、数据模型比较简单；
⑵、需要灵活性更强的IT系统；
⑶、对数据库性能要求较高；
⑷、不需要高度的数据一致性；
⑸、对于给定key（键），比较容易映射复杂值的环境。
链接：数据接口
接口可以比喻为一个通道，两个相互独立的程序，通过这个接口通道，实现数据传输，信息交流。当然这个两个程序都必须遵守这个接口规定的一些标准，只有共同遵守这个接口标准，才能进行正常的数据传输和通信。
链接：复杂值
Javascript（一种直译式脚本语言）的数据类型可以分为两种：原始类型和引用类型。原始类型也称为基本类型或简单类型；而引用类型也称为复杂类型。与此相对应，它们的值也分别被称为原始值和复杂值。
其中，复杂值可以由很多不同类型的javascript对象组成。复杂对象在内存中的大小是未知的，因为复杂对象可以包含任何值，而不是一个特定的已知值。
7、NoSQL数据库优劣势分析
⑴、NoSQL数据库优势分析
NoSQL数据库主要有以下优势：
①、扩展简单
典型例子是Cassandra（一套开源分布式NoSQL数据库系统）。由于其架构类似于经典的P2P（对等计算或对等网络），因而能够通过简单添加新的节点来扩展服务器集群。
②、读写快速
典型例子是Redis（一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API）。由于其逻辑简单，纯内存操作，因而其具有非常出色的性能，单节点每秒可以处理超过10万次的读写操作。
③、成本低廉
因为大多数NoSQL数据库都是开源软件，没有昂贵的成本限制。
⑵、NoSQL数据库的劣势分析
虽然NoSQL具有很多显著的优势，但是依然存在很多不足，主要表现在：
①、不提供对SQL的支持，将会对用户产生一定的应用迁移成本。同时，无法实现组合应用，发挥SQL数据库已经非常成熟的优势。
②、支持的特性不够丰富。现有NoSQL数据库提供的功能十分有限，大多数都不支持事务和其他附加功能。
③、产品不够成熟。大多数NoSQL数据库产品还处于初级阶段，与已经非常完善成熟的关系型数据库不可同日而语。
8、非关系型数据库面临的挑战
尽管大多数NoSQL数据存储系统都已被部署于实际应用中，但是归纳其研究现状，还面临许多挑战性问题。
⑴、已有key-value数据库产品大多是面向特定应用自治构建的，缺乏通用性。
⑵、已有产品支持的功能有限（不支持事务特性），导致其应用具有一定的局限性。
⑶、已有一些研究成果和改进的NoSQL数据存储系统，但是它们都是针对不同应用需求而提出的相应解决方案，如支持组内事务特性、弹性事务等，很少从全局考虑系统的通用性，也没有形成系列化的研究成果。
⑷、缺乏类似关系数据库所具有的强有力的理论（如armstrong公理系统）、技术（如成熟的基于启发式的优化策略、两段封锁协议等）、标准规范（如SQL语言）的支持。
⑸、目前，HBase数据库是安全特性最完善的NoSQL数据库产品之一；而其他的NoSQL数据库多数没有提供内建的安全机制。但是，随着NoSQL的发展，越来越多的人开始意识到安全的重要。部分NoSQL产品逐渐开始提供一些安全方面的支持。
链接：两段（封）锁协议
两段封锁协议，简称两段锁协议，是指每个事务的执行可以分为两个阶段：生长阶段（加锁阶段）和衰退阶段（解锁阶段）。
加锁阶段：在该阶段可以进行加锁操作。在对任何数据进行读操作之前，要申请并获得S锁；在进行写操作之前要申请并获得X锁。若加锁不成功，则事务进入等待状态，直到加锁成功才继续执行。
解锁阶段：当事务释放了一个封锁以后，事务进入解锁阶段。在该阶段只能进行解锁操作，而不能再进行加锁操作。
四、关于混合持久化原则
当然，这并不是说要放弃关系型数据库。在应对特定类型的数据时，它依旧是最高效的。而像ACID和第三方工具支持等方面，NoSQL数据库还远远比不上传统关系型数据库。
链接：ACID
ACID，是数据库事务正确执行的四个基本要素的缩写，包含：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。一个支持事务(Transaction)的，必需要具有这四种特性，否则在
事务过程（Transaction processing）当中无法保证数据的正确性，交易过程极可能达不到交易方的要求。
所以，Fowler建议人们考虑所谓的混合持久化原则，即：根据不同应用对数据的需求，而使用多种数据存储技术。举例来说，快速的读写访问，无需持久性的应用，可以使用Redis；财务和报表系统，可以使用关系型数据库；集群的大规模分析数据，可以使用Cassandra；而读操作很多，写操作很少的，则可以使用MongoDB。人们可以自行选择合适的数据库技术，而无需一股脑地全部使用SQL数据库。
2016年12月22日编写于重庆
2020年7月10日修改于重庆
数据库管理系统 学院：信息工程学院 专业：计算机科学与技术（教师教育）姓名：曹永荣 学号：12015241912 2017-3-27
Oracle数据库 ORACLE数据库系统是美国ORACLE公司（甲骨文）提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。比如Silver Stream就是基于数据库的一种中间件。ORACLE数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。但它的所有知识，只要在一种机型上学习了ORACLE知识，便能在各种类型的机器上使用它。Oracle数据库最新版本为Oracle Database 12c。Oracle数据库12c引入了一个新的多承租方架构，使
用该架构可轻松部署和管理数据库云。此外，一些创新特性可最大限度地提高资源使用率和灵活性，如Oracle Multitenant可快速整合多个数据库，而Automatic Data Optimization和Heat Map能以更高的密度压缩数据和对数据分层。这些独一无二的技术进步再加上在可用性、安全性和大数据支持方面的主要增强，使得Oracle数据库12c成为私有云和公有云部署的理想平台。 My SQL数据库 My SQL：是一种开放源代码的关系型数据库管理系统（RDBMS），My SQL数据库系统使用最常用的数据库管理语言--结构化查询语言（SQL）进行数据库管理。由于My SQL是开放源代码的，因此任何人都可以在General Public License的许可下下载并根据个性化的需要对其进行修改。My SQL因为其速度、可靠性和适应性而备受关注。大多数人都认为在不需要事务化处理的情况下，My SQL是管理内容最好的选择 SQL Server数据库 SQL Server是由Microsoft开发和推广的关系数据库管理系统（DBMS），它最初是由Microsoft、Sybase和Ashton-Tate三家公司共同开发的，并于1988年推出了第一个OS/2版本。Microsoft SQL Server近年来不断更新版本，1996年，Microsoft 推出
第三章数据库 数据库是数据管理的最新技术，是计算机科学的重要分支。今天，信息资源已成为各个部门的重要财富和资源。建立一个满足各级部门信息处理要求的行业有效的信息系统也成为一个企业或组织生存和发展的重要条件。因此，作为信息系统核心和基础的数据库技术得到越来越广泛的应用，从小型单项事务处理系统到大型信息系统，从联机事务处理到联机分析处理，从一般企业管理到计算机辅助设计与制造（CAD/CAM）、计算机集成制造系统（CIMS）、办公信息系统（OIS）、地理信息系统（GIS）等，越来越多新的应用领域采用数据库存储和处理他们的信息资源。对于一个国家来说，数据库的建设规模、数据库信息量的大小和使用频度已成为衡量这个国家信息化程度的重要标志。 3.1 数据库知识概述 数据库技术是数据信息管理技术的最新成果，被广泛地应用于国民经济、文化教育、企业管理以及办公自动化等方面，为计算机的应用开辟了广阔的天地。本节将详细介绍有关数据库系统的基本概念。 3.1.1 数据库系统基本概念 1）数据（Data） 数据是数据库中存储的基本对象。数据在大多数人头脑中的第一个反应就是数字。其实数字只是最简单的一种数据，是数据的一种传统和狭义的理解。广义的理解，数据的种类很多，包括文字、图形、图像、声音、视频、学生的档案记录等。 数据就是描述事物的符号记录。描述事物的符号可以是数字，也可以是文字、图形、图像、声音、语言等，数据有多种表现形式，都可以经过数字化后存入计算机。 数据的形式还不能完全表达其内容，需要经过解释。所以数据和关于数据的解释是不可分的，数据的解释是指对数据含义的说明，数据的含义称为数据的语义，数据与其语义是不可分的。 2）数据库（DataBase，简称DB） 所谓数据库是指长期储存在计算机内的、有组织的、可共享的数据集合。数据库中的数据按一定的数据模型组织、描述和存储，具有较小的冗余度、较高的数据独立性和易扩展性，并可以为各种用户共享。 3）数据库管理系统（DataBase Management System，简称DBMS） 数据库管理系统是数据库系统的一个重要组成部分。它是位于用户与操作系统之间的一层数据管理软件。主要包括以下几方面的功能。 ●数据定义功能 DBMS提供数据定义语言（Data Definition Language，简称DDL），通过它可以方便地对数据库中的数据对象进行定义。 ●数据操纵功能 DBMS还提供数据操纵语言（Data Manipulation Language，简称DML），可以使用DML 操纵数据实现对数据库的基本操作，如查询、插入、删除和修改等。 ●数据库的运行管理 数据库在建立、运用和维护时由数据库管理系统统一管理、统一控制，以保证数据的安全性、完整性、多用户对数据的并发使用及发生故障后的系统恢复。
常见关系型数据库 常见关系型数据库:Oracle DB2 Microsoft SQL Server MySQL 关系型数据库是基于现实世界对象所抽象出来的数据库系统,把客户想法转变为概念模型(E-R图)然后把概念模型转变为数据模型(数据库表) ER图包含一些概念: 实体(entity)属性(attribute)关系(relationship) SQL的优点: 1.集合操作的方式,对数据成组处理,提高效率. 2.每次只能发送并处理一条语句. 3.屏蔽数据库内部的最佳条件选择算法,直接返回用户想要的结果. 4.可以使用终端模式(SQLPLUS)也可以嵌套在高级语言中(JAVA) SQL分类: 1.数据查询语句(SELECT) 2.DML数据操作语句:INSERT DELETE UPDATE 3.DDL数据定义语句:CREATE ALTER DROP(会自动提交事务) 4.DCL数据控制语句:GRANT授权,REVOKE回收(自动提交事务) 5.TCL事务控制语句:用于维护数据的一致性.COMMIT提交事务,ROLLBACK回滚事务,SAVEOPINT设置保存点. 6.SCL会话控制语句:用于动态改变用户会话的属性.ALTER SESSION 改变会话 7.SCL系统控制语句:用户动态改变数据库例程的属性,只有ALTER SYSTEM一条语句.(PL/SQL不支持语句,并该语句不会提交事务) 基本查询语句: 1.select * from table_name | view_name; 2.select column from table_name | view_name;
1、试述数据库系统的特点。 （1）、数据结构化数据库系统实现整体数据的结构化，这是数据库的主要特征之一，也是数据库系统与文件系统的本质区别。 （2）数据的共享性高，冗余度低，易扩充数据库的数据不再面向某个应用而是面向整个系统， （3）数据独立性高数据独立性包括数据的物理独立性和数据的逻辑独立性。 （4）数据由DBMS 统一管理和控制数据库的共享是并发的共享，即多个用户可以同时存取数据库中的数据甚至可以同时存取数据库中同一个数据。 2、数据库管理系统的主要功能有哪些？ 答： ( l ）数据库定义功能； ( 2 ）数据存取功能； ( 3 ）数据库运行管理； ( 4 ）数据库的建立和维护功能。 3、试述数据模型的概念、数据模型的作用和数据模型的三个要素。 数据模型是数据库中用来对现实世界进行抽象的工具，是数据库中用于提供信息表示和操作手段的形式构架。 因此数据模型通常由数据结构、数据操作和完整性约束三部分组成。 4、试述概念模型的作用。
概念模型实际上是现实世界到机器世界的一个中间层次。概念模型用于信息世界的建模，是现实世界到信息世界的第一层抽象，是数据库设计人员进行数据库设计的有力工具，也是数据库设计人员和用户之间进行交流的语言。 5、试述数据库系统三级模式结构 数据库系统的三级模式结构由外模式、模式和内模式组成。 特点：（1）数据结构化。（2）数据的共享性高，冗余度低，容易扩展。（3）数据独立性高。（4）数据有DBMS统一管理。 6、试述数据库系统的组成。 数据库系统一般由数据库、数据库管理系统（及其开发工具）、应用系统、数据库管理员和用户构成。 7、DBA 的职责是什么？ 负责全面地管理和控制数据库系统。具体职责包括：①决定数据库的信息内容和结构；②决定数据库的存储结构和存取策略；③定义数据的安全性要求和完整性约束条件；④监督和控制数据库的使用和运行；⑤改进和重组数据库系统。 8、试述关系模型的三个组成部分。 答：关系模型由关系数据结构、关系操作集合和关系完整性约束三部分组成 9、试述关系数据语言的特点和分类。 答：关系数据语言可以分为三类： （1）关系代数语言。
(1) 整数型 整数包括bigint、int、smallint和tinyint，从标识符的含义就可以看出，它们的表示数范围逐渐缩小。 l bigint：大整数，数范围为-263 (-9223372036854775808)～263-1 (9223372036854775807) ，其精度为19，小数位数为0，长度为8字节。 l int：整数，数范围为-231 (-2,147,483,648) ～231 - 1 (2,147,483,647) ，其精度为10，小数位数为0，长度为4字节。 l smallint：短整数，数范围为-215 (-32768) ～215 - 1 (32767) ，其精度为5，小数位数为0，长度为2字节。 l tinyint：微短整数，数范围为0～255，长度为1字节，其精度为3，小数位数为0，长度为1字节。 (2) 精确整数型 精确整数型数据由整数部分和小数部分构成，其所有的数字都是有效位，能够以完整的精度存储十进制数。精确整数型包括decimal 和numeric两类。从功能上说两者完全等价，两者的唯一区别在于decimal不能用于带有identity关键字的列。 声明精确整数型数据的格式是numeric | decimal(p[,s])，其中p为精度，s为小数位数，s的缺省值为0。例如指定某列为精确整数型，精度为6，小数位数为3，即decimal(6,3)，那么若向某记录的该列赋值56.342689时，该列实际存储的是56.3427。 decimal和numeric可存储从-1038 +1 到1038 –1 的固定精度和小数位的数字数据，它们的存储长度随精度变化而变化，最少为5字节，最多为17字节。 l 精度为1～9时，存储字节长度为5； l 精度为10～19时，存储字节长度为9； l 精度为20～28时，存储字节长度为13； l 精度为29～38时，存储字节长度为17。 例如若有声明numeric(8,3)，则存储该类型数据需5字节，而若有声明numeric(22,5)，则存储该类型数据需13字节。 注意：声明精确整数型数据时，其小数位数必须小于精度；在给精确整数型数据赋值时，必须使所赋数据的整数部分位数不大于列的整数部分的长度。 (3) 浮点型 浮点型也称近似数值型。顾名思义，这种类型不能提供精确表示数据的精度，使用这种类型来存储某些数值时，有可能会损失一些精度，所以它可用于处理取值范围非常大且对精确度要求不是十分高的数值量，如一些统计量。
关系型数据库和非关系 型数据库 集团标准化办公室：[VV986T-J682P28-JP266L8-68PNN]
关系型数据库和非关系型数据库 自1970年，埃德加·科德提出关系模型之后，关系数据库便开始出现，经过了40多年的演化，如今的关系型数据库具备了强大的存储、维护、查询数据的能力。但在关系数据库日益强大的时候，人们发现，在这个信息爆炸的“大数据”时代，关系型数据库遇到了性能方面的瓶颈，面对一个表中上亿条的数据，SQL语句在大数据的查询方面效率欠佳。我们应该知道，往往添加了越多的约束的技术，在一定程度上定会拖延其效率。 在1998年，CarloStrozzi提出NOSQL的概念，指的是他开发的一个没有SQL功能，轻量级的，开源的关系型数据库。注意，这个定义跟我们现在对NoSQL的定义有很大的区别，它确确实实字如其名，指的就是“没有SQL”的数据库。但是NoSQL的发展慢慢偏离了初衷，CarloStrozzi也发觉，其实我们要的不是"nosql"，而应该是"norelational"，也就是我们现在常说的非关系型数据库了。 在关系型数据库中，导致性能欠佳的最主要因素是多表的关联查询，以及复杂的数据分析类型的复杂SQL报表查询。为了保证数据库的ACID特性，我们必须尽量按照其要求的范式进行设计，关系型数据库中的表都是存储一些格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段，这样的结构可以便于表与表之间进行连接等操作，但从另一个角度来说它也是关系型数据库性能瓶颈的一个因素。 非关系型数据库提出另一种理念，他以键值对存储，且结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。使用这种方式，用户可以根据需要去添加自己需要的字段，这样，为了获取用户的不同信息，不需要像关系型数据库中，要对多表进行关联查询。仅需要根据id取出相应的value就可以完成查询。但非关系型数据库由于很少的约束，他也不能够提供想SQL所提供的where这种对于字段属性值情况的查询。并且难以体现设计的完整性。他只适合存储一些较为简单的数据，对于需要进行较复杂查询的数据，SQL数据库显得更为合适。 目前出现的NoSQL(NotonlySQL，非关系型数据库)有不下于25种，除了Dynamo、Bigtable以外还有很多，比如Amazon的SimpleDB、微软公司的AzureTable、Facebook使用的Cassandra、类Bigtable的Hypertable、Hadoop的HBase、MongoDB、CouchDB、Redis以及Yahoo!的PNUTS等等。这些NoSQL各有特色，是基于不同应用场景而开发的，而其中以MongoDB和Redis最为被大家追捧。 以下是MongoDB的一些情况： MongoDB是基于文档的存储的（而非表），是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json 的bjson格式，因此可以存储比较复杂的数据类型。模式自由(schema-free)，意味着对于存储在MongoDB数据库中的文件，我们不需要知道它的任何结构定义。如果需要的话，你完全可以把不同结构的文件存储在同一个数据库里。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数 据库单表查询的绝大部分功能，而且还支持对数据建立索引。 Mongo主要解决的是海量数据的访问效率问题。因为Mongo主要是支持海量数据存储的，所以Mongo还自带了一个出色的分布式文件系统GridFS，可以支持海量的数据存储。由于Mongo可以支持复杂的数据结构，而且带有强大的数据查询功能，因此非常受到欢迎。 关系型数据库的特点 1.关系型数据库
基于ArcSDE的空间数据库的设计与建立 摘要：随着地理信息系统的发展，传统的以文件形式管理、存储地理空间数据的方式已不能满足现在应用的需求。针对以上问题，本文通过arcsde对空间数据进行管理，使空间数据和属性数据统一存储在面向对象的关系型数据库（sql server）中，实现统一、高效的管理。 关键词：空间数据库；属性数据；arcsde 围绕空间数据的管理，前后出现了几种不同的空间数据管理模式：纯文件模式、文件结合关系型数据库的管理模式、全关系型数据库管理模式和面向对象的数据库管理模式。前两种方式都是将空间数据和属性数据分离存储，这样往往会产生诸多问题：1.空间数据与属性数据的连接太弱，综合查询效率不高，容易造成空间数据与属性数据的脱节；2.空间数据与属性数据不能统一管理，实质上是两套管理系统，造成资源的浪费和管理的混乱，数据一致性较难维护；3.由于空间数据不能统一在标准数据库里存放，造成空间数据不能在网上共享。而面向对象数据库管理系统技术还不够成熟，并且价格昂贵，目前在gis领域还不够通用。所以在较长时间内，还不能完全脱离现有关系型数据库来建设gis空间数据库。arcsde是esri公司提供的一个基于关系型数据库基础上的地理数据库服务器。同一些数据库厂商推出的在原有数据库模型上进行空间数据模型扩展的产品（如oracle spatial）不同，esri的arcsde 的定位则是空间数据的管理及应用，而非简单的数据库空间化。
1.系统目标 建成一个多级比例尺(100万、25万、5万、1万)矢量、栅格以及航空影像、遥感影像(tm,spot)的c/s结构基础地理空间数据库,便于对空间数据有效的管理、分发和应用。 2.总体设计方案 系统总体技术方案设计在充分考虑实际应用环境及应用需求的 基础上,结合考虑国际国内发展的主流趋势和平台产品的功能与性能来完成。 2.1技术路线 空间数据库建设应放弃数据文件式的管理方式,采用大型关系数据库管理系统(sql server)管理空间数据，arcsde作为sql server 2008和arc/info或其他地理信息系统软件的接口, vb/vc/delphi/java/c#为前端应用开发工具。其中，空间数据通过arcsde存储在sql server 2008数据库。arcsde是基于c/s计算模型和关系数据管理模式的一个连续的空间数据模型，借助这一模型,可将空间数据加入到数据库管理系统(rdbms)中去[1]。arcsde 融于rdmbs后,提供了对空间、非空间数据进行高效率操作的数据接口。由于arcsde采用c/s体系结构，大量用户可同时针对同一数据进行操作。arcsde提供了应用程序接口(api)，开发人员可将空间数据检索和分析功能集成到应用工程中去，以完成前端的应用开发,最终提供数据的存储、查询和分发服务。如图1所示： 图1结构图
常见数据库及其特点 目前，商品化的数据库管理系统以关系型数据库为主导产品，技术比较成熟。面向对象的数据库管理系统虽然技术先进，数据库易于开发、维护，但尚未有成熟的产品。 (免费，体积小，速度快，成本低，开源，适用于中小型网站) MySQL是最受欢迎的开源SQL数据库管理系统，它是一个快速的、多线程、多用户和健壮的SQL数据库服务器。MySQL服务器支持关键任务、重负载生产系统的使用。MySQL具有以下优势： (1)MySQL是一个关系数据库管理系统。(2)MySQL是开源的。 (3)MySQL服务器是一个快速的、可靠的和易于使用的数据库服务器。 (4)MySQL服务器工作在客户/服务器或嵌入系统中。 Server(流行于Web) SQL Server是由微软开发的数据库管理系统，是Web上最流行的用于存储数据的数据库，它已广泛用于电子商务、银行、保险、电力等与数据库有关的行业。SQL Server 提供了众多的Web和电子商务功能，如对XML和Internet标准的丰富支持，通过Web对数据进行轻松安全的访问，具有强大的、灵活的、基于Web的和安全的应用程序管理等。而且，由于其易操作性及其友好的操作界面，深受广大用户的喜爱。(功能齐全，大型，专业，企业级，其开发工具全部用JAVA来写的) 目前，Oracle产品覆盖了大、中、小型机等多种机型，Oracle成为世界上使用最广泛的关系数据系统之一。 (1)可联结性:Oracle能与多种通讯网络相连，支持客户机/服务器方式和各种协议(TCP/IP、DECnet、等)。 (2)开放性:Oracle良好的兼容性、可移植性、可连接性和高生产率使Oracle RDBMS具有良好的开放性。 (3)名符其实的大型数据库：ORACLE建立的数据库，最大数据量可达几百GB； (4)共享SQL和多线索服务器体系结构：这两个特性的结合，减少ORACLE的资源占用，增强处理能力，能支持成百甚至上千个用户。 (5)跨平台能力：ORACLE数据库管理系统可以运行在100多个硬件和软件平台上，这一点为其它PC平台上的数据库产品所不及。 (6)分布式数据库：可以使物理分布不同的多个数据库上的数据，被看成是一个完整的逻辑数据库。
目录 一 Codd的RDBMS12法则——RDBMS的起源 二关系型数据库设计阶段 三设计原则 四命名规则 数据库设计，一个软件项目成功的基石。很多从业人员都认为，数据库设计其实不那么重要。现实中的情景也相当雷同，开发人员的数量是数据库设计人员的数倍。多数人使用数据库中的一部分，所以也会把数据库设计想的如此简单。其实不然，数据库设计也是门学问。 从笔者的经历看来，笔者更赞成在项目早期由开发者进行数据库设计（后期调优需要DBA）。根据笔者的项目经验，一个精通OOP和ORM的开发者，设计的数据库往往更为合理，更能适应需求的变化，如果追其原因，笔者个人猜测是因为数据库的规范化，与OO的部分思想雷同（如内聚）。而DBA，设计的数据库的优势是能将DBMS的能力发挥到极致，能够使用SQL和DBMS实现很多程序实现的逻辑，与开发者相比，DBA优化过的数据库更为高效和稳定。如标题所示，本文旨在分享一名开发者的数据库设计经验，并不涉及复杂的SQL语句或DBMS使用，因此也不会局限到某种DBMS产品上。真切地希望这篇文章对开发者能有所帮助，也希望读者能帮助笔者查漏补缺。 一?Codd的RDBMS12法则——RDBMS的起源 Edgar Frank Codd（埃德加·弗兰克·科德）被誉为“关系数据库之父”，并因为在数据库管理系统的理论和实践方面的杰出贡献于1981年获图灵奖。在1985年，Codd 博士发布了12条规则，这些规则简明的定义出一个关系型数据库的理念，它们被作为所有关系数据库系统的设计指导性方针。 1.信息法则?关系数据库中的所有信息都用唯一的一种方式表示——表中的值。 2.保证访问法则?依靠表名、主键值和列名的组合，保证能访问每个数据项。 3.空值的系统化处理?支持空值（NULL），以系统化的方式处理空值，空值不依赖于数据类型。 4.基于关系模型的动态联机目录?数据库的描述应该是自描述的，在逻辑级别上和普通数据采用同样 的表示方式，即数据库必须含有描述该数据库结构的系统表或者数据库描述信息应该包含在用 户可以访问的表中。 5.统一的数据子语言法则?一个关系数据库系统可以支持几种语言和多种终端使用方式，但必须至少 有一种语言，它的语句能够一某种定义良好的语法表示为字符串，并能全面地支持以下所有规 则：数据定义、视图定义、数据操作、约束、授权以及事务。（这种语言就是SQL) 6.视图更新法则?所有理论上可以更新的视图也可以由系统更新。 7.高级的插入、更新和删除操作?把一个基础关系或派生关系作为单个操作对象处理的能力不仅适应 于数据的检索，还适用于数据的插入、修改个删除，即在插入、修改和删除操作中数据行被视 作集合。 8.数据的物理独立性?不管数据库的数据在存储表示或访问方式上怎么变化，应用程序和终端活动都 保持着逻辑上的不变性。 9.数据的逻辑独立性?当对表做了理论上不会损害信息的改变时，应用程序和终端活动都会保持逻辑 上的不变性。 10.数据完整性的独立性?专用于某个关系型数据库的完整性约束必须可以用关系数据库子语言定 义，而且可以存储在数据目录中，而非程序中。
人口分布空间数据库设计书 1）概念设计 概念设计是通过对错综复杂的现实世界的认识与抽象，最终形成空间数据库系统及其应用系统所需的模型。 具体是对需求分析阶段所收集的信息和数据进行分析、整理，确定地理实体、属性及它们之间的联系，将各用户的局部视图合并成一个总的全局视图，形成独立于计算机的反映用户观点的概念模式。概念模式与具体的DBMS无关，结构稳定，能较好地反映用户的信息需求。 表示概念模型最有力的工具是E-R模型，即实体-联系模型，包括实体、联系和属性三个基本成分。用它来描述现实地理世界，不必考虑信息的存储结构、存取路径及存取效率等与计算机有关的问题，比一般的数据模型更接近于现实地理世界，具有直观、自然、语义较丰富等特点。 本设计书中的E-R模型如图1所示： 图1 E-R模型 2）逻辑设计 在概念设计的基础上，按照不同的转换规则将概念模型转换为具体DBMS支持
的数据模型的过程，即导出具体DBMS可处理的地理数据库的逻辑结构(或外模式)，包括确定数据项、记录及记录间的联系、安全性、完整性和一致性约束等。导出的逻辑结构是否与概念模式一致，能否满足用户要求，还要对其功能和性能进行评价，并予以优化。 2.1要素分类 我们制作、统计的地理信息数据应该提供准确、可靠、经得起专业部门检验的地理信息，这就要求测绘部门和相关专业部门应该有一致的地理要素的定义和分类体系。依据GB/T 13923-2006《基础地理信息要素分类与编码》将地理要素分为了地位基础、水系、居民地及设施、交通、管线、境界与政区、地貌、植被 2.2 数据层设计 GIS的数据可以按照空间数据的逻辑关系或专业属性分为各种逻辑数据层或 专业数据层，原理上类似于图片的叠置。在进行空间分析、数据处理、图形显示时，往往只需要若干相应图层的数据。 数据层的设计一般是按照数据的专业内容和类型进行的。数据的专业内容的类型通常是数据分层的主要依据，同时也要考虑数据之间的关系。如需考虑两类物体共享边界(道路与行政边界重合、河流与地块边界的重合)等，这些数据间的关系在数据分层设计时应体现出来。不同类型的数据由于其应用功能相同，在分析和应用时往往会同时用到，因此在设计时应反映出这样的需求，即可将这些数据作为一层。 本设计书中的数据层设计如表2所示： 表2 数据层设计 2.3关系数据表 本设计书中的关系数据表如表3-表6所示：
第一章VF基础知识 一、选择题 1. 在一个二维表中，行称为________，列称为________。 A) 属性；元组B) 元组；属性 C) 关系；元组D) 属性；关系 2. 数据库系统的核心是________。 A) 数据库管理系统B) 数据库 C) 数据D) 数据库应用系统 3. VFP是一种________数据库管理系统。 A) 层次型B) 网状型 C) 关系型D) 树型 4. 支持数据库各种操作的软件系统是________。 A) 数据库系统B) 操作系统 C) 数据库管理系统D) 命令系统 5. 在关系模型中，从表中选出满足条件的记录的操作称为________。 A) 连接B) 投影 C) 联系D) 选择 6. 数据库系统与文件系统的主要区别是________。 A) 文件系统只能管理程序文件，而数据库系统可以管理各种类型的文件 B) 文件系统管理的数据较少，而数据库系统能管理大量数据 C) 文件系统比较简单，数据库系统比较复杂 D) 文件系统没有解决数据冗余和数据独立性问题，而数据库系统解决了这些问题 7. 在关系运算中，选择的操作对象是________；投影的操作对象是_______ _；连接的操作对象是________。 A) 一个表；一个表；两个表 B) 一个表；两个表；两个表 C) 一个表；一个表；一个表 D) 两个表；一个表；两个表 8. 在关系数据库中，基本的关系运算有三种，它们是________。 A) 选择、投影和统计B) 选择、投影和连接 C) 排序、索引和选择D) 统计、查找和连接 9. VFP是一种关系型数据库管理系统，所谓关系是指________。 A) 表中各个记录之间的联系 B) 数据模型满足一定条件的二维表格式 C) 表中各个字段之间的联系 D) 一个表与另一个表之间的联系 10. 一个仓库里可以存放多个部件，一种部件可以存放于多个仓库，仓库与部件之间是________的联系。 A) 一对一B) 多对一 C) 一对多D) 多对多 11. 自然连接要求被连接的两关系有若干相同的________。 A) 实体名B) 属性名
自1970年，埃德加·科德提出关系模型之后，关系数据库便开始出现，经过了40多年的演化，如今的关系型数据库具备了强大的存储、维护、查询数据的能力。但在关系数据库日益强大的时候，人们发现，在这个信息爆炸的“大数据”时代，关系型数据库遇到了性能方面的瓶颈，面对一个表中上亿条的数据，SQL语句在大数据的查询方面效率欠佳。我们应该知道，往往添加了越多的约束的技术，在一定程度上定会拖延其效率。 在1998年，Carlo Strozzi提出NOSQL的概念，指的是他开发的一个没有SQL功能，轻量级的，开源的关系型数据库。注意，这个定义跟我们现在对NoSQL的定义有很大的区别，它确确实实字如其名，指的就是“没有SQL”的数据库。但是NoSQL的发展慢慢偏离了初衷，CarloStrozzi也发觉，其实我们要的不是"nosql"，而应该是"norelational"，也就是我们现在常说的非关系型数据库了。 在关系型数据库中，导致性能欠佳的最主要因素是多表的关联查询，以及复杂的数据分析类型的复杂SQL报表查询。为了保证数据库的ACID特性，我们必须尽量按照其要求的范式进行设计，关系型数据库中的表都是存储一些格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段，这样的结构可以便于表与表之间进行连接等操作，但从另一个角度来说它也是关系型数据库性能瓶颈的一个因素。 非关系型数据库提出另一种理念，他以键值对存储，且结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。使用这种方式，用户可以根据需要去添加自己需要的字段，这样，为了获取用户的不同信息，不需要像关系型数据库中，要对多表进行关联查询。仅需要根据id取出相应的value就可以完成查询。但非关系型数据库由于很少的约束，他也不能够提供想SQL所提供的where这种对于字段属性值情况的查询。并且难以体现设计的完整性。他只适合存储一些较为简单的数据，对于需要进行较复杂查询的数据，SQL数据库显得更为合适。 目前出现的NoSQL(Not only SQL，非关系型数据库)有不下于25种，除了Dynamo、Bigtable以外还有很多，比如Amazon的SimpleDB、微软公司的AzureTable、Facebook 使用的Cassandra、类Bigtable的Hypertable、Hadoop的HBase、MongoDB、CouchDB、Redis以及Yahoo!的PNUTS等等。这些NoSQL各有特色，是基于不同应用场景而开发的，而其中以MongoDB和Redis最为被大家追捧。 以下是MongoDB的一些情况： MongoDB是基于文档的存储的（而非表），是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。模式自由(schema-free)，意味着对于存储在MongoDB数据库中的文件，我们不需要知道它的任何结构定义。如果需要的话，你完全可以把不同结构的文件存储在同一个数据库里。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数
数据库基础知识（共100分） 一.填空题（每空2分，共60分） 1. ________指的是存储在计算机存储设备上的结构化的相关数据的集合。 2.表之间的关系有三种，即________关系__________关系__________关系。 3.目前的数据库系统，主要采用________模型。 4. 退出Access数据库管理系统可使用的快捷键是________ 5.DMS是________的英文缩写 6.表结构的设计和维护，主要是通过表的________视图来完成的 7.工资关系中有工资号、姓名、职务工资、津贴、公积金、所得税等字段，其中可以作为主键的字段是________。 8.在Access表中，可以定义3种主关键字，它们是________、________、OLE对象 19.Microsoft Access是________系列应用软件之一。 10. 数据模型有3种分别是________、________、________。 11. ________是数据库中用来存储数据的对象，是整个数据库系统的基础。
12. Access数据库中的对象有7种分别是_______、________、__________、________、__________Web 数据访问页、________、模块。 13. Access中有两种视图，即________视图和________视图 14.创建表的方法有3种，分别是________使用向导创建表和________、 15.一个班级有多个学生，每个学生只属于一个班级，班级与学生是________关系 16.____________是数据库中一个或多个操作命令组成的集合 17.给表添加数据操作，是在“表”的_____________中完成的。 18.Access 2003数据库文件的扩展名是________ 19.在Access中，专门用于打印的对象是________ 二.选择题（每题2分，共40分） 1.数据库（DB）、数据库系统（DBS）和数据库管理系统（DBMS）之间的关系是（） A. DBMS 包括DB 和DBS B. DBS包括DBMS 和DB C. DB包括DBMS 和DBS D. DB 、DBS和DBMS是平等关系
数据库SQL注入分类及防护思路 作者：安华金和思成 一. 背景 数据库凭借其强大的数据存储能力和卓越的数据处理性能，在各行各业的信息化建设中发挥着关键的作用。随着数据库在各行业的大规模应用，数据泄露事件也频繁发生，这就使数据库安全问题也日益凸显，逐渐变成用户越来越担心的问题。虽然数据库厂商已经做了许多有效的措施来尽量解决数据库存在的安全问题，但至今为止数据库的安全漏洞仍然不断增加。下图为近5年数据库漏洞数量图。 在数据库漏洞中最为常见的漏洞类型是SQL注入漏洞。安华金和数据库攻防实验室结合多年的实践结果总结出了数据库注入的分类分享给大家，以便大家对SQL注入型漏洞有一个更加全面的了解。 SQL注入漏洞不仅出现在WEB端，也出现在数据库的自定义或标准库的存储过程、函数、触发器中。数据库自身的SQL注入漏洞比WEB端的注入漏洞对数据库的威胁性更大。本文对SQL注入的分类是从数据库的角度来划分，不考虑WEB端的角度，这两者在分类上有着不同的角度。 首先在解释不同的数据库SQL注入漏洞之前先简要说明一下数据库攻击者能够进行SQL 注入的主要原理：SQL注入漏洞是用户在输入中混入了程序命令。最直接的例子就是攻击者
在正常的Web 页面中把自己的SQL 代码通过用户输入传输到相应的应用程序中,从而执行 一些非授权的SQL 代码,以达到修改、窃取或者破坏数据库信息的目的。SQL 注入攻击甚至可以帮组攻击者绕过用户认证机制，使其可以完全的操控远程服务器上的数据库。如果应用 程序使用一些用户输入的数据来构造动态的SQL语句去访问数据库，将可能遭受到SQL 注入攻击。同样的如果在代码中使用了存储过程，并且这些存储过程缺乏对用户输入的合理限 制也很容易发生SQL 注入。 二. SQL注入分类 2.1 注入途径分类 SQL注入漏洞按照注入的物理途径可以分成两大类：通过WEB端对数据库进行注入攻 击和直接访问数据库进行注入攻击。 直接访问数据库进行注入攻击是以数据库用户的身份直接连接数据库进行SQL注入攻击。在这种攻击方式中，攻击者可以通过SQL注入来执行SQL语句从而提高用户权限或者越权 执行。而那些在PL/SQL程序中在给用户授权的时候没有使用authidcurrent_user进行定义的存储过程、函数、触发器、程序块将更容易受到SQL注入攻击。 通过WEB应用程序的用户对数据库进行连接并进行SQL注入攻击。在这种类型的SQL 注入攻击中，攻击者多采用拼接语句的方法来改变查询的内容。获取该账号权限下的全部信息。
分享三款主流数据库及其特点 1.Oracle数据库 Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库解决方案。 基本介绍： ORACLE数据库系统是美国ORACLE公司（甲骨文）提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。比如SilverStream就是基于数据库的一种中间件。ORACLE数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。但它的所有知识，只要在一种机型上学习了ORACLE知识，便能在各种类型的机器上使用它。Oracle数据库最新版本为Oracle Database12c。Oracle数据库12c引入了一个新的多承租方架构，使用该架构可轻松部署和管理数据库云。此外，一些创新特性可最大限度地提高资源使用率和灵活性，如Oracle Multitenant可快速整合多个数据库，而Automatic Data Optimization和Heat Map能以更高的密度压缩数据和对数据分层。这些独一无二的技术进步再加上在可用性、安全性和大数据支持方面的主要增强，使得Oracle数据库12c成为私有云和公有云部署的理想平台。
关系型数据库和非关系型数据库 自1970年，埃德加·科德提出关系模型之后，关系数据库便开始出现，经过了40多年的演化，如今的关系型数据库具备了强大的存储、维护、查询数据的能力。但在关系数据库日益强大的时候，人们发现，在这个信息爆炸的“大数据”时代，关系型数据库遇到了性能方面的瓶颈，面对一个表中上亿条的数据，SQL语句在大数据的查询方面效率欠佳。我们应该知道，往往添加了越多的约束的技术，在一定程度上定会拖延其效率。 在1998年，Carlo Strozzi提出NOSQL的概念，指的是他开发的一个没有SQL功能，轻量级的，开源的关系型数据库。注意，这个定义跟我们现在对NoSQL的定义有很大的区别，它确确实实字如其名，指的就是“没有SQL”的数据库。但是NoSQL的发展慢慢偏离了初衷，CarloStrozzi也发觉，其实我们要的不是"nosql"，而应该是"norelational"，也就是我们现在常说的非关系型数据库了。 在关系型数据库中，导致性能欠佳的最主要因素是多表的关联查询，以及复杂的数据分析类型的复杂SQL报表查询。为了保证数据库的ACID特性，我们必须尽量按照其要求的范式进行设计，关系型数据库中的表都是存储一些格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段，这样的结构可以便于表与表之间进行连接等操作，但从另一个角度来说它也是关系型数据库性能瓶颈的一个因素。 非关系型数据库提出另一种理念，他以键值对存储，且结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。使用这种方式，用户可以根据需要去添加自己需要的字段，这样，为了获取用户的不同信息，不需要像关系型数据库中，要对多表进行关联查询。仅需要根据id取出相应的value就可以完成查询。但非关系型数据库由于很少的约束，他也不能够提供想SQL所提供的where这种对于字段属性值情况的查询。并且难以体现设计的完整性。他只适合存储一些较为简单的数据，对于需要进行较复杂查询的数据，SQL数据库显得更为合适。 目前出现的NoSQL(Not only SQL，非关系型数据库)有不下于25种，除了Dynamo、Bigtable以外还有很多，比如Amazon的SimpleDB、微软公司的AzureTable、Facebook使用的Cassandra、类Bigtable的Hypertable、Hadoop的HBase、MongoDB、CouchDB、Redis以及Yahoo!的PNUTS等等。这些NoSQL各有特色，是基于不同应用场景而开发的，而其中以MongoDB和Redis最为被大家追捧。 以下是MongoDB的一些情况： MongoDB是基于文档的存储的（而非表），是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。模式自由(schema-free)，意味着对于存储在MongoDB数据库中的文件，我们不需要知道它的任何结构定义。如果需要的话，你完全可以把不同结构的文件存储在同一个数据库里。Mongo最大的特点是他支持的查询语言非常强大，
数据库设计各阶段
1.数据库应用系统的设计步骤 按规范设计的方法可将数据库设计分为以下六个阶段 （1）需求分析; （2）概念结构设计; （3）逻辑结构设计; （4）数据库物理设计; （5）数据库实施; （6）数据库运行和维护。 2.需求分析 需求收集和分析是数据库应用系统设计的第一阶段。明确地把它作为数据库应用系统设计的第一步是十分重要的。这一阶段收集到的基础数据和一组数据流图（Data Flow Diaˉgram———DFD）是下一步设计概念结构的基础。概念结构对整个数据库设计具有深刻影响。而要设计好概念结构，就必须在需求分析阶段用系统的观点来考虑问题、收集和分析数据及其处理。如何分析和表达用户需求呢？在众多的分析方法中，结构化分析（Structured Analysis，简称SA方法）是一个简单实用的方法。SA方法用自顶向下、逐层分解的方式分析系统。用数据流图，数据字典描述系统。然后把一个处理功能的具体内容分解为若干子功能，每个子功能继续分解，直到把系统的工作过程表达清楚为止。在
处理功能逐步分解的同时，它们所用的数据也逐级分解。形成若干层次的数据流图。数据流图表达了数据和处理过程的关系。处理过程的处理逻辑常常用判定表或判定树来描述。数据字典（Data Dictionary，简称DD）则是对系统中数据的详尽描述，是各类数据属性的清单。对数据库应用系统设计来讲，数据字典是进行详细的数据收集和数据分析所获得的主要结果。数据字典是各类数据描述的集合，它通常包括以下5个部分： （1）数据项，是数据最小单位。 （2）数据结构，是若干数据项有意义的集合。 （3）数据流，可以是数据项，也可以是数据结构。表示某一处理过程的输入输出。 （4）数据存储，处理过程中存取的数据。常常是手工凭证、手工文档或计算机文件。 （5）处理过程。 3.概念结构设计 如同软件工程中重视需求分析与规范说明的思想一样，数据库设计中同样十分重视数据分析、抽象与概念结构的设计。概念结构的设计，是整个数据库设计的关键之一。概念结构独立于数据库逻辑结构，独立于支持数据库的DBMS，也独立于具体计算机软件和硬件系统。归纳总结，其主要特点是：