浅析Hadoop集群下HBase数据库的性能优化
摘要：随着大数据应用的程度不断发展，NOSQL也日益成为大家关注的焦点。各种集群应用也不短涌现。本通通过对HADOOP集群和HBASE集群的介绍及构建，深入分析了HBASE集群的性能优化。得出HBase性能优化不要从程序和配置文件两方面入手，从而提高HBASE集群性能。
关键词：HBASE；HADOOP；集群；优化
1Hadoop集群概述
随着互联网的高速发展，各种各样的数据冲刺着我们的视野。人们上传视频、照片、文章，更新论坛信息、点击广告留言等，这使得机器产生和保留的数据越来越多。数据的指数级增长首先向谷歌、雅虎、亚马逊和微软等处于市场领导地位的公司提出了挑战。他们需要遍历TB级和PB级数据来发现哪些网站更受欢迎，哪些书有需求，哪种广告更吸引用户，现有技术处理这些数据已经显得吃力。面对挑战及使命，谷歌率先发表了MapReduce数据处理算法相关的论文，同时，Doug Cutting受到MapReduce算法的启示，领导开发了开源版本的MapReduce，命名为Hadoop。由于Hadoop生态系统的开源性、可持续性以及其高性能的处理能力，雅虎等公司纷纷响应，为其提供支持。如今，Hadoop已经成为许多互联网公司基础计算平台的核心部分。研究和分析Hadoop生态系统集群已经迫在眉睫。
Hadoop作为一个开源框架，可以编写和运行分布式应用，处理大规模数据。分布式计算时一个宽泛并且不断变化的领域，但Hadoop集群与分布式不同之处在于以下几点：方便。Hadoop集群运行在由一般商用机器构成的大型集群上，或者如亚马逊弹性计算云(EC2)等云计算服务之上；
健壮。Hadoop集群致力于在一般商用硬件上运行其架构假设硬件会频繁地出现失效。它可以从容地处理大多数此类故障。
可扩展性。Hadoop集群通过增加集群节点，可以线性地扩展，以便处理更大的数据集。
简单。Hadoop允许用户快速编写高效的并行代码。
Hadoop集群的方便和简单让其在编写和运行大型分布式程序方面占有巨大优势，同时
其健壮性和可扩展性有能胜任雅虎和Facebook等最严苛的工作。下图解释了如何与Hadoop 集群进行交互：
Hadoop集群与客户端的交互图
Hadoop集群是在同一地点用网络互连的一组通用机器。数据存储和处理都发生在这个机器”云”中。不同的用户可以从独立的客户端提交”作业”到Hadoop，这些客户端可以是远离Hadoop集群的个人台式机。 Hadoop中心节点通过NameNode和JobTracker进行管理和控制各个节点以及处理各项”作业”。在一个全配置的集群上运行Hadoop，意味着在网络分布的不同服务器上运行一组守护进程(Daemons)。这些守护进程有特殊的角色，它们包括：NameNode名称节点。Hadoop集群在分布式计算和分布式存储中都采用了主/从(master/slave)结构。分布式存储系统被称为Hadoop集群文件系统HDFS。NameNode位于HDFS的主端，它指导从端的DateNode执行底层的I/O任务。NameNode主要在HDFS中跟踪文件如何被分割成文件块，而这些块又被哪些节点存储，以及分布式文件系统的整体运行状态是否正常。运行NameNode需要消耗大量的内存和I/O资源，因此为了减轻机器的负载，驻留NameNode的服务器通常不会存储用户数据或者执行MapReaduce程序的计算任务。这意味着NameNode服务器不会同时是DateNode或者TaskTracker。
DataNode数据节点。在每一个Hadoop集群的从节点上都会驻留一个DateNode守护进程，用来执行分布式文件系统的繁重工作，将HDFS数据库读取或者写入到本地文件系统的实际文件中。当希望对HDFS文件进行读取时，文件被分割为多个块，由NameNode告知客户端每个数据库驻留在哪个DataNode中。客户端直接与DateNode守护进程通信，处理与数据库相对应的本地文件。而后，DataNode会与其他DataNode进行通信，复制这些数
据块以实现冗余。
NameNode/DataNode在HDFS中的交互
上图说明了NameNode和DataNode的角色。图中显示了两个数据文件，一个位于目录/user/chuck/data1，另一个位于/user/james/data2。文件data1有3个数据块，表示为1,2,3，而文件data2由数据库4和5组成。这些文件的内容分手在几个DataNode上。这个实力中，每个数据库有3个副本。例如，数据库1被复制在途中右侧的3个DataNode上，这确保了如果任何一个DataNode崩溃或者无法通过网络访问时，仍然可以读取这些文件。DataNode 不断向NameNode报告，初始化时，每个DataNode将当前存储的文件块告知NameNode。在这个初始映射完成后，DataNode仍然会不断地更新NameNode，为之提供本地修改的相关信息，同时接受指令创建、移动或删除本地磁盘上的数据块。
Secondary NameNode(SNN)次名称节点。SNN是一个用于检测HDFS集群状态的辅助守护进程，像NameNode一样，每个集群都有一个SNN，它通常也独占一台服务器，该服务器不会运行其他的DataNode或者TaskTracker守护进程。SNN与NameNode的不同在于它不接受或者记录HDFS的任何实时变化。相反，它与NameNode通信，根据集群所配置的时间间隔获取HDFS元数据快照。NameNode是Hadoop集群的单一故障点，而SNN的快照可以有助于减少停机的时间并降低数据丢失风险。然而，NameNode的失效处理需要人工的干预，即手动地重新配置集群。
JobTracker作业跟踪节点。它是应用程序和Hadoop集群之间的纽带，一旦提交代码到集群上，JobTracker就会确定执行计划，包括决定处理哪些文件、为不同的任务分配节点以及监控所有任务的运行。如果任务失败，JobTracker将自动重启任务，但所分配的节点可能会不同，同时受到预定义的重试次数限制。每个Hadoop集群只有一个JobTracker守护进程，
通常运行在服务器集群的主节点上。
TaskTracker任务跟踪节点。与存储的守护进程一样，计算的守护进程也遵循主/从架构：JobTracker作为主节点，检测MapReduce作业的整个执行过程，同时，TaskTracker管理各个人物在每个从节点上的执行情况。下图说明了JobTracker与TaskTracker的交互关系：
JobTracker与TaskTracker的交互
每个TaskTracker负责执行由JobTracker分配的单项任务。虽然每个节点上仅有一个TaskTracker，但每个TaskTracker可以生成多个JVM来并行的处理许多map或reduce任务。同时，Tasktracker还负责持续不断地与JobTracker通信。如果JobTracker在指定的时间内没有收到来自TaskTracker的”心跳”,它会假定TaskTracker已经崩溃，进而重新提交相应的任务到集群中的其他节点。
2HBase集群概述
2.1概述
HBase是Apache的Hadoop项目的子项目，HBase是一个开源的、分布式的、面向列的存储系统，该技术来源于Google的论文：”BigTable一个分布式的结构化数据存储系统“。HBase是Google BIgTable的开源实现，就像BigTable利用了GFS所提供的分布式数据存储一样，HBase在Hadoop平台上提供了类似于BigTable的功能，作为Hadoop的数据库，底层是将数据保存在HDFS里。
HBase不同于传统的关系数据库，采用的是基于列的而不是基于行的存储模式。基于列
的存储的数据库中鼠标没列放在相邻的物理单元；查询时只访问设计到的列，不必将正行数据都读取出来，大大降低系统I/O开销，没列可以由一个线程来处理，支持查询时的并发处理。
Hadoop与HBase关系框架图
上图描述了Hadoop生态系统中各层系统的关系，以及HBase在Hadoop系统中的作用。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和失效节点的替换机制。此外，Pig和Hive还未HBase提供了高层语言支持，使得在HBase上进行数据统计处理变得非常简单。Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变得非常方便。
2.2HBase数据模型
HBase的数据表示一个系数的、持久化的、多维度的、排序的映射表。这张表的索引是行关键字，列关键字和时间戳。这三个基本类型的定义为：行关键字，列关键字，时间戳。行关键字是行在表中的唯一标识，时间戳是每次数据写入都会有一个与之关联的时间戳，用户在表格中存储数据，每一行都有一个可以拍下的主键和任意多的列，由于是稀疏存储的，所以每一张表里面的每一行数据都可以有截然不同的列。列关键字定义为”<列簇>:<列标签>”，一个列簇下面可以有多个列标签，通过这两部分可以唯一的指定一个数据的存储列。
所有数据库的更新多有一个时间戳标志，每个更新都是一个新的版本，而HBase会保留一定数量的版本，这个值是可以设定的。客户端可以选择获取举例某个时间最近的版本，或者一次获取所有版本。HBase集群数据模型主要包括逻辑数据模型和物理数据模型。
2.2.1逻辑数据模型
一个表可以想象成一个大的映射关系，通过主键，或者主键+时间戳，可以定位一行数据，由于是稀疏数据，所以某些列可以是空白的，下面就是数据的逻辑数据模型：
HBase数据表逻辑数据
如果用传统的盖帘来对HBase的数据表作解释，那么Hbase的每个数据表可以看做一个数据库模式，每一个行就是一个表，行关键字就是表名，这个表根据列的不同可以划分为多个版本，同时每个版本操作都会有时间戳关联到操作的行。每一个行可以多个列簇，每一个列簇可以包含无数个列，每一个列都可以有一个不同于其他列的时间戳。在通用数据库中当表创建时已经定义了列，如果修改表结构非常困难，在HBase中可以很轻松实现添加一个列簇和列。
2.2.2物理数据模型
虽然从逻辑模型来看，每个表格是由很多行组成，但是在物理存储上面，它是按照列来保存的。
HBase数据表存储结构
物理数据模型是将逻辑模型中的一个行分割成为按列存储的物理模型。对于HBase的数据模型操作时，会锁定整个行，并保证行操作的原子性。
2.3HBase集群架构
Hbase集群是一个分布式的数据库，使用Zookeeper来管理集群。在架构层面上分为Master（Zookeeper中的leader）和多个RegionServer，基本架构如图：
在Hbase集群中，RegionServer对应于集群中的一个节点，而一个RegionServer负责管理多个Region。一个Region代表一张表的一部分数据，所以在Hbase中的一张表可能会需要很多个Region来存储其数据，但是每个Region中的数据并不是杂乱无章的，Hbase在管理Region的时候会给每个Region定义一个Rowkey的范围，落在特定范围内的数据将交给特定的Region，从而将负载分摊到多个节点上，充分利用分布式的优点。另外，Hbase会自动的调节Region处在的位置，如果一个RegionServer变得Hot（大量的请求落在这个Server 管理的Region上），Hbase就会把Region移动到相对空闲的节点，依次保证集群环境被充分利用。
3Hadoop集群中HBase集群的配置
在Hadoop集群中，HBase集群的配置需要首先安全配置好Hadoop集群，同时需要安装Zookeeper。以下简要介绍HBase集群的配置及部署。
首先，修改所有机器的/etc/hosts文件，使各机器间在局域网中能相互访问。192.168.9.128 ubuntu 192.168.9.131 HBase1 192.168.9.132 HBase2
然后键入命令tar zxvf hbase-0.20.6.tar.gz解压到当前文件夹，编辑所有机器上的HBase 安装目录conf目录下的hbase-site.xml、hbase-default.xml、hbase-env.sh几个文件
3.1Hbase-site.xml
编辑这个文件要注意hbase.rootdir参数，这个参数必须与你的hadoop集群里的core-site.xml文件里https://www.doczj.com/doc/436538627.html,保持一致才可以。在就是hbase该项不识别机器的IP，只能使用机器的hostname才可以。
Hbase.zookeeper.quorum个数必须为奇数。
3.2Hbase-default.xml
这个配置文件只需修改前面的hbase.rootdir和
hbase.cluster.distributed这两项
3.3Hbase-env.sh
修改代码如下：
export JA VA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.24 export HBASE_HOME=/home/zhang feng/hbase-0.20.6 export PATH=$PATH:/home/zhangfeng/hbase-0.20.6/bin export HBASE_OPTS ="$HBASE_OPTS -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX :+CMSIncrementalMode" export HBASE_MANAGES_ZK=true
export HADOOP_HOME=/home/zhangfeng/hadoop-0.20.2
export HBASE_MANAGES_ZK=true
4HBase配置文件优化
4.1zookeeper.session.timeout优化
它是RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions 重新balance，让其他存活的RegionServer接管. 其优化原理如下：
这个timeout决定了RegionServer是否能够及时的failover。设置成1分钟或更低，可以减少因等待超时而被延长的failover时间。对于一些Online应用，RegionServer从宕机到恢复时间本身就很短的（网络闪断，crash等故障，运维可快速介入），如果调低timeout时间，反而会得不偿失。因为当ReigonServer被正式从RS集群中移除时，HMaster就开始做balance 了（让其他RS根据故障机器记录的W AL日志进行恢复）。当故障的RS在人工介入恢复后，这个balance动作是毫无意义的，反而会使负载不均匀，给RS带来更多负担。特别是那些固定分配regions的场景。
4.2hbase.regionserver.handler.count 优化
它是RegionServer的请求处理IO线程数。其优化原理如下：
这个参数的调优与内存息息相关。较少的IO线程，适用于处理单次请求内存消耗较高的Big PUT场景（大容量单次PUT或设置了较大cache的scan，均属于Big PUT）或ReigonServer的内存比较紧张的场景。较多的IO线程，适用于单次请求内存消耗低，TPS 要求非常高的场景。设置该值的时候，以监控内存为主要参考。如果server的region数量很少，大量的请求都落在一个region上，因快速充满memstore触发flush导致的读写锁会影响全局TPS，不是IO线程数越高越好。压测时，开启Enabling RPC-level logging，可以同时监控每次请求的内存消耗和GC的状况，最后通过多次压测结果来合理调节IO线程数。
4.3hbase.hregion.memstore.block.multiplier 优化
当一个region里的memstore占用内存大小超过hbase.hregion.memstore.flush.size两倍的大小时，block该region的所有请求，进行flush，释放内存。虽然设置了region所占用的memstores总内存大小，比如64M，但想象一下，在最后63.9M的时候，我Put了一个200M 的数据，此时memstore的大小会瞬间暴涨到超过预期的hbase.hregion.memstore.flush.size的几倍。这个参数的作用是当memstore的大小增至超过hbase.hregion.memstore.flush.size 2倍
时，block所有请求，遏制风险进一步扩大。其优化原理如下：
如果是正常应用场景（不包括异常）不会出现突发写或写的量可控，那么保持默认值即可。如果正常情况下，你的写请求量就会经常暴长到正常的几倍，那么你应该调大这个倍数并调整其他参数值，比如hfile.block.cache.size和hbase.regionserver.global.memstore.upperLimit/lowerLimit，以预留更多内存，防止HBase server OOM。
5Hbase程序优化
5.1表设计优化
5.1.1P re-Creating Regions
默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase 时，会按照region分区情况，在集群内做数据的负载均衡。
5.1.2R ow Key
HBase中row key用来检索表中的记录，支持以下三种方式：
通过单个row key访问：即按照某个row key键值进行get操作；
通过row key的range进行scan：即通过设置startRowKey和endRowKey，在这个范围内进行扫描；
全表扫描：即直接扫描整张表中所有行记录。
在HBase中，row key可以是任意字符串，最大长度64KB，实际应用中一般为10~100bytes，存为byte[]字节数组，一般设计成定长的。
row key是按照字典序存储，因此，设计row key时，要充分利用这个排序特点，将经常一起读取的数据存储到一块，将最近可能会被访问的数据放在一块。
5.2写表操作
5.2.1A uto Flush
通过调用HTable.setAutoFlush(false)方法可以将HTable写客户端的自动flush关闭，这样可以批量写入数据到HBase，而不是有一条put就执行一次更新，只有当put填满客户端写缓存时，才实际向HBase服务端发起写请求。默认情况下auto flush是开启的。
5.2.2W rite Buffer
通过调用HTable.setWriteBufferSize(writeBufferSize)方法可以设置HTable客户端的写buffer大小，如果新设置的buffer小于当前写buffer中的数据时，buffer将会被flush到服务端。其中，writeBufferSize的单位是byte字节数，可以根据实际写入数据量的多少来设置该值。
5.2.3WAL Flag
在HBae中，客户端向集群中的RegionServer提交数据时（Put/Delete操作），首先会先写W AL（Write Ahead Log）日志（即HLog，一个RegionServer上的所有Region共享一个HLog），只有当WAL日志写成功后，再接着写MemStore，然后客户端被通知提交数据成功；如果写WAL日志失败，客户端则被通知提交失败。这样做的好处是可以做到RegionServer 宕机后的数据恢复。
因此，对于相对不太重要的数据，可以在Put/Delete操作时，通过调用Put.setWriteToWAL(false)或Delete.setWriteToWAL(false)函数，放弃写W AL日志，从而提高数据写入的性能。值得注意的是：谨慎选择关闭W AL日志，因为这样的话，一旦RegionServer 宕机，Put/Delete的数据将会无法根据W AL日志进行恢复。
5.3读表操作
5.3.1批量读
通过调用HTable.get(Get)方法可以根据一个指定的row key获取一行记录，同样HBase
提供了另一个方法：通过调用HTable.get(List)方法可以根据一个指定的row key列表，批量获取多行记录，这样做的好处是批量执行，只需要一次网络I/O开销，这对于对数据实时性要求高而且网络传输RTT高的情景下可能带来明显的性能提升。
5.3.2缓存查询结果
对于频繁查询HBase的应用场景，可以考虑在应用程序中做缓存，当有新的查询请求时，首先在缓存中查找，如果存在则直接返回，不再查询HBase；否则对HBase发起读请求查询，然后在应用程序中将查询结果缓存起来。至于缓存的替换策略，可以考虑LRU等常用的策略。
5.3.3B lockcache
HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读。
写请求会先写入Memstore，Regionserver会给每个region提供一个Memstore，当Memstore满64MB以后，会启动flush刷新到磁盘。当Memstore的总大小超过限制时（heapsize * hbase.regionserver.global.memstore.upperLimit * 0.9），会强行启动flush进程，从最大的Memstore开始flush直到低于限制。
读请求先到Memstore中查数据，查不到就到BlockCache中查，再查不到就会到磁盘上读，并把读的结果放入BlockCache。由于BlockCache采用的是LRU策略，因此BlockCache 达到上限(heapsize * hfile.block.cache.size * 0.85)后，会启动淘汰机制，淘汰掉最老的一批数据。
一个Regionserver上有一个BlockCache和N个Memstore，它们的大小之和不能大于等于heapsize * 0.8，否则HBase不能启动。默认BlockCache为0.2，而Memstore为0.4。对于注重读响应时间的系统，可以将BlockCache设大些，比如设置BlockCache=0.4，Memstore=0.39，以加大缓存的命中率。
6性能测试及实现
通过建立Hadoop和HBase集群，我建立了性能测试环境。数据插入性能测试的设计场
景是这样的：取随机值的Rowkey长度为2000字节，固定值的Value长度为4000字节，由于单行Row插入速度太快，系统统计精度不够，所以将插入500行Row做一次耗时统计。这里要对HBase的特点做个说明，首先是Rowkey值为何取随机数，这是因为HBase是对Rowkey进行排序的，随机Rowkey将被分配到不同的region上，这样才能发挥出分布式数据库的性能优点。而V alue对于HBase来说不会进行任何解析，其数据是否变化，对性能是不应该有任何影响的。同时为了简单起见，所有的数据都将只插入到一个表格的同一个Column中。
在测试之初，需要对集群进行调优，关闭可能大量耗费内存、带宽以及CPU的服务（例如Apache的HTTP服务），保持集群的宁静度。此外，为了保证测试不受干扰，HBase的集群系统需要被独立，以保证不与HDFS所在的Hadoop集群有所交叉。
那么做好一切准备之后，就开始进行数据灌入，客户端从Zookeeper上查询到Regionserver的地址后，开始源源不断地向HBase的Regionserver上喂入Row。这里，我写了一个通过JFreeChart来实时生成图片的程序，每3分钟，为数据的客户端会将获取到的耗时统计打印在一张十字坐标图中，这些图又被保存在制定的Web站点中，并通过HTTP 服务展示出来。在通过长时间不间断的测试后，我们得到下图：
上图好似一条直线上，每隔一段时间就会泛起一个波浪，且两个高峰之间必有一个较矮的波浪。高峰的间隔呈现出越来越大的趋势，而较矮的波浪恰好处于两高峰的中间位置。
为了解释，我对HDFS上HBase所在的主目录下文件，以及被插入表格的region情况进行了实时监控，以期发现这些波浪上发生了什么事情。回溯到客户端喂入数据的开始阶段，创建表格，在HDFS上便被创建了一个与表格同名的目录，该目录下将出现第一个region，
region中会以family名创建一个目录，这个目录下才存在记录具体数据的文件。同时在该表表名目录下，还会生成一个“compaction.dir”目录，该目录将在family名目录下region文件超过指定数目时用于合并region。当第一个region目录出现时，内存中最初被写入的数据将被保存到该文件中，这个间隔是由选项“hbase.hregion.memstore.flush.size”决定的，默认是64MB，该region所在的Regionserver的内存中一旦有超过64MB的数据时，就将被写入到region文件中。这个文件将不断增殖，直到超过由“hbase.hregion.max.filesize”决定的文件大小（默认是256MB，此时加上内存刷入的数据，实际最大可能到256MB+64MB）时，该region 将被执行split，立即被一切为二，其过程是在该目录下创建一个名为“.splits”的目录作为标记，然后由Regionserver将文件信息读取进来，分别写入到两个新的region目录中，最后再将老的region删除。这里的标记目录“.splits”可以避免在split过程中发生其他操作，起到类似于多线程安全的锁功能。在新的region中，从老的region中切分出的数据独立为一个文件并不再接收新的数据（该文件大小超过了64MB，最大可达到（256+64）/2=160MB）），内存中新的数据将被保存到一个重新创建的文件中，该文件大小将为64MB。内存每刷新一次，region所在的目录下就将增加一个64MB的文件，直到总文件数超过由“https://www.doczj.com/doc/436538627.html,pactionThreshold”指定的数量时（默认为3），compaction过程就将被触发了。在上述值为3时，此时该region目录下，实际文件数只有两个，还有额外的一个正处于内存中将要被刷入到磁盘的过程中。Compaction过程是HBase的一个大动作。HBase不仅要将这些文件转移到“compaction.dir”目录进行压缩，而且在压缩后的文件超过256MB时，还必须立即进行split动作。这一系列行为在HDFS上可谓是翻山倒海，影响颇大。待Compaction 结束之后，后续的split依然会持续一小段时间，直到所有的region都被切割分配完毕，HBase 才会恢复平静并等待下一次数据从内存写入到HDFS。理解了上述过程，就必然会对HBase 的数据插入性能为何是图1所示的曲线的原因一目了然。与X轴几乎平行的直线，表明数据正在被写入HBase的Regionserver所在机器的内存中。而较低的波峰意味着Regionserver 正在将内存写入到HDFS上，较高的波峰意味着Regionserver不仅正在将内存刷入到HDFS，而且还在执行Compaction和Split两种操作。如果调整“https://www.doczj.com/doc/436538627.html,pactionThreshold”的值为一个较大的数量，例如改成5，可以预见，在每两个高峰之间必然会等间隔地出现三次较低的波峰，并可预见到，高峰的高度将远超过上述值为3时的高峰高度（因为Compaction 的工作更为艰巨）。由于region数量由少到多，而我们插入的Row的Rowkey是随机的，因此每一个region中的数据都会均匀的增加，同一段时间插入的数据将被分布到越来越多的region上，因此波峰之间的间隔时间也将会越来越长。
7总结与展望
综上论述，我们可以推断出HBase的数据插入性能实际上应该被分为三种情况：直线状态、低峰状态和高峰状态。在这三种情况下得到的性能数据才是最终HBase数据插入性能的真实描述。直线状态由于所占时间会较长，尤其在用户写入数据的速度也许并不是那么快的情况下，所以这个状态下得到的性能数据结果更应该提供给用户。
随着HBASE的发展，各项应用将逐步增多，操作将会更加简便，HBASE集群的优化将会更加深入的研究。
参考文献
[1] 李峥;几种数据库应用开发的优化技术[J];电子对抗技术;2001年05期
[2] 赵勇;刘凯;;数字挖掘方法在遥感分类中的应用研究[J];北京测绘;2009年03期
[3] 张惠文;基于XML的元数据架构[J];现代情报;2002年07期
[4] Firewire Memory dump of a Windows XP computer :A Forensic approach.Antonio Martin.2007:4-5
浙江林学院2007 – 2008学年第 2学期考试卷（A 卷） 课程名称：数据库原理与技术 课程类别：必修 考试方式： 闭卷 注意事项：1、本试卷满分100分。 2、考试时间 120分钟。 3、答案写在答题纸上。 一、单项选择题（在每小题的四个备选答案中，选出一个正确答案， 每小题1分，共30分）。 1. 以下的英文缩写中表示数据库管理系统的是（ ）。 A ．DB B ．DBMS C ．DBA D ．DBS 2．下列说法不正确的是( )。 A ．数据库避免了一切数据重复 B ．数据库减少了数据冗余 C ．数据库数据可为经DBA 认可的用户共享 D ．控制冗余可确保数据的一致性 3．下面哪个不是E-R 模型的基本要素( )。 A ．实体 B ．属性 C ．实体联系 D ．键 4．( )是用户可以看见和使用的局部数据的逻辑结构和特征的描述。 A ．模式 B ．外模式 C ．内模式 D ．概念模式 5. 当两个关系没有公共属性时，其自然连接表现为（ ）。 A ．笛卡儿积 B ．等值连接 C ．结果为空 D ．出错 学院： 专业班级： 姓名： 学号： 订 线 内 不 要 答 题
6.四元关系R（A,B,C,D），下述中正确的是（）。 A．πB,C（R）表示取值为B，C的两列组成的关系 B．π2，3（R）表示取值为2，3的两列组成的关系 C．πB,C（R）与π2，3（R）表示的是同一个关系 D．πB,C（R）与π2，3（R）表示不是同一个关系 7．实体完整性要求主属性不能取空值，这一点可以通过（）来保证。A．定义外码 B.定义主码 C.用户定义的完整性 D.由关系系统自动生成8.已知关系：厂商（厂商号，厂名）PK=厂商号 产品（产品号，颜色，厂商号）PK=产品号，FK=厂商号 假设两个关系中已经存在如图所示元组： 厂商产品 若再往产品关系中插入如下元组： I（P03，红，C02）II（P01，蓝，C01） III（P04，白，C04）IV（P05，黑，null） 能够插入的元组是（）。 A I，II，IV B I，III C I，II D I，IV
第一章绪论 Ⅰ、学习要点 1、准确掌握数据、数据库、数据库系统、数据库管理系统等基本术语、概念； 2、数据独立性的概念、分类及实现途径； 3、数据模型的概念、分类、要素及作用； 4、数据库三级模式体系结构的含义及作用； 5、关系数据模型的三要素内容。 Ⅱ、习题 一、选择题： 1、使用二维表格结构表达数据和数据间联系的数据模型是（） A、层次模型 B、网状模型 C、关系模型 D、实体—联系模型 2、DB、DBS、DBMS间的关系是（） A、DB包括DBMS和DBS B、DBMS包括DB和DBS C、DBS包括DB和DBMS D、DBS与DB和DBMS无关 3、在数据库中存储的是（） A、数据 B、数据模型 C、数据及数据之间的联系 D、信息 4、数据库系统中，用（）描述全部数据的整体逻辑结构。 A、外模式 B、模式 C、内模式 D、数据模式 5、数据库中，导致数据不一致的根本原因是（） A、数据量太大 B、数据安全性不高 C、数据冗余 D、数据完整性约束不强 6、划分层次型、网状型和关系型数据库的原则是（） A、记录的长度 B、文件的大小 C、联系的复杂程度 D、数据及联系的表示方式 7、数据库三级模式体系结构的划分，主要有利于保持数据库的（） A、数据安全性 B、数据独立性 C、结构规范化 D、操作可行性 8、数据库系统中，用（）描述用户局部数据的逻辑结构，它是用户和数据库系统间的接口。 A、外模式 B、模式 C、内模式 D、数据模式 9、数据库系统中，用（）描述全部数据的物理存储视图。 A、外模式 B、模式 C、内模式 D、数据模式 10、数据库系统中用于定义和描述数据库逻辑结构的语言是（） A、DML B、DDL C、DCL D、SQL 11、数据库系统支持的数据共享指的是（）
单项选择题 1．在一个学校的数据管理系统中，属于一对多联系的是 A．教师与教研室B．院长与部门C．学生与班级D．学生与课程2．关系数据库中，数据操作包括 A．查询和更新B．编辑和修改C．浏览和查询D．插入和删除3．设关系R={(a,b,c),(d,e,f),(g,h,i)}，下面给出的关系中，可由R作投影运算得到的是A．{(a,b,c),(g,h,i)} B．{(a,e,f),(d,h,i),(g,b,c)} C．{(a,c),(d,f),(g,i)} D．{(a,b),(d,f),(h,i)} 4．关系R(学号,姓名,年龄)（假定姓名唯一）的函数依赖“(学号,姓名) →年龄”为A．传递函数依赖B．完全函数依赖 C．平凡函数依赖D．部分函数依赖 5．数据流图设计属于数据库设计的 A．概念设计B．物理设计C．逻辑设计D．需求分析6．对于两个实体间的1:n联系，转换关系模型的原则是 A．将1方的主码放到n方实体对应的关系模式中作为外码，联系属性一并加入 B．只要在1方的关系模式中增加n方关系模式的主码，省略两个实体间的联系模 型 C．必须对联系单独建立关系用来联系双方实体，并包括实体的主码和联系属性 D．将n方的主码放到1方实体对应的关系模式中作为外码，联系属性一并加入7．实现SQL数据定义功能的是 A．DDL B．DML C．DCL D．DQL 8．用于创建数据库的SQL语句是 A．DELETE DATABASE B．DROP DATABASE C．ALTER DATABASE D．CREATE DATABASE 9．列级完整性约束不包括 A．DEFAULT B．NULL C．PRIMARY KEY D．UNIQUE 10．下列关于视图的描述中，错误的是 A．若干基本表连接的查询不能定义为视图 B．视图能够隐蔽数据的复杂性，简化用户的操作 C．视图可以对机密的数据提供安全保护 D．视图是由基本表或已定义的视图导出的虚表 11．数据加密可采用置换的方法，该方法是 A．对明文逐字符加密B．将明文字符换成密文表的字符 C．将明文字符按不同顺序重新排列D．对明文逐字符使用不同的加密方法12．ORACLE行级安全性由 A．列约束指定B．视图实现C．基本表定义D．索引创建13．对数据类型的约束属于 A．静态列约束B．动态列约束C．静态表级约束D．动态表级约束14．事务是用户定义的一个数据库操作序列。这些操作 A．可以只完成一部分B．可以取消部分 C．必须全部完成D．要么全做，要么全不做15．若只允许事务T读取和修改某数据对象，则必须为T加上 A．排他锁B．共享锁C．活锁D．死锁16．某书店的图书管理系统中，出版社与图书的联系属于
第1章习题参考答案 1.思考题 （1）什么是数据库、数据库管理系统、数据库系统？它们之间有什么联系？ 答：数据库是存贮在计算机内的有结构的数据集合；数据库管理系统是一个软件，用以维护数据库、接受并完成用户对数据库的一切操作；数据库系统指由硬件设备、软件系统、专业领域的数据体和管理人员构成的一个运行系统。 （2）当前，主要有哪几种新型数据库系统？它们各有什么特点？用于什么领域，试举例说明？答：主要有：分布式数据库、面向对象数据库、多媒体数据库、数据仓库技术、空间数据库。 （3）什么是数据模型？目前数据库主要有哪几种数据模型？它们各有什么特点？ 答：数据模型是一组描述数据库的概念。这些概念精确地描述数据、数据之间的关系、数据的语义和完整性约束。很多数据模型还包括一个操作集合。这些操作用来说明对数据库的存取和更新。数据模型应满足3方面要求：一是能真实地模拟现实世界；二是容易为人们理解；三是便于在计算机上实现。目前在数据库领域，常用的数据模型有：层次模型、网络模型、关系模型以及最近兴起的面向对象的模型。 （4）关系数据库中选择、投影、连接运算的含义是什么？ 答： 1）选择运算：从关系中筛选出满足给定条件的元组（记录）。选择是从行的角度进行运算，选择出的记录是原关系的子集。 2）投影运算：从关系中指定若干个属性（字段）组成新的关系。投影是从列的角度进行运算，得到的新关系中的字段个数往往比原关系少。 3）连接运算：将两个关系按照给定的条件横向拼接成新的关系。连接过程是通过两个关系中公有的字段名进行的。 （5）关键字段的含义是什么？它的作用是什么？ 答：一个关系中可以确定一个字段为关键字段，该字段的值在各条记录中不能有相同的值。（如：门牌号码）；关键字段的作用主要是为建立多个表的关联和进行快速查询。 （6）什么是E-R图？E-R 图是由哪几种基本要素组成？这些要素如何表示？ 答：E-R图也称实体-联系图(Entity Relationship Diagram)，提供了表示实体类型、属性和联系的方法，用来描述现实世界的概念模型。构成E-R图的基本要素有3种，即实体、属性和联系。其表示方法为：用矩形框表示现实世界中的实体，用菱形框表示实体间的联系，用椭圆形框表示实体和联系的属性，实体名、属性名和联系名分别写在相应框内。ABAAC ABCAA 第2章习题解答 1. 思考题 （1）在SQL Server 2008中的数据库中包含哪些对象？其中什么对象是必不可少的？其作用又是什么？ 答：SQL Server 2008中的数据库对象主要包括数据库关系图、表、视图、同义词、可编程性、Service Broker、存储和安全性等。其中表对象是必不可少的。表是由行和列构成的集合，用来存储数据。 （2）SQL Server提供的系统数据库master它的作用是什么？用户可以删除和修改吗？为什么？答：master 数据库记录SQL Server 系统的所有系统级信息。主要包括实例范围的元数据、端点、链接服务器和系统配置设置以及记录了所有其他数据库的存在、数据库
目录 １. 设计目的和任务?1 2．开发环境 (1) 2.1硬件环境?1 2.２软件环境?1 ３．设计题目 (1) ３.１题目名称 (1) 3.2题目详细描述 .................................................... １ 3．3功能要求?2 4．相关技术及知识点 (3) 4.1 ＳqlConneｃtion对象?3 4.２ＳqlCｏmｍaｎd对象?3 4.3 SｑlDataAｄaｐter对象?4 4.4 DatａTabｌe对象?4 ４.５ DａtａSet对象 (5) ５.设计与实现?6 5.１登录界面 (6) 5．2教师管理界面?7 5．3管理员管理界面 (12) 14 5.4学生考试界面? ６.总结 ............................................................... １8 ７.参考资料 (19)
1.设计目的和任务 综合运用ADＯ.NＥT 相关知识,设计一个具有实用价值的学生考试管理系统。 （１)巩固和加深对本课程基本知识的理解和掌握; （2）掌握C#编程和ADＯ.NET程序调试的基本技能； (3）掌握设计ADＯ.NEＴ应用软件的基本思路和方法; （4)提高运用ADO．NET解决实际问题的能力; (5)培养撰写设计报告的能力。 2.开发环境 2.1硬件环境 笔记本电脑 硬件概要 CＰU??英特尔GenｕineＩｎtel(R) CPＵT２130 @１.86GHｚ 主板?Wiｓtron－英特尔９4５PM(Calistoga-PＭ）＋ICH7-Ｍ／U 内存????金士顿2G ＤDR2-ＳDRＡM ６66 ＭHz 显卡?nVＩDIA GｅFｏｒce Go7２00 (Ｇ72) 主硬盘希捷120ＧB 声卡???英特尔8２801GB ＩＣＨ７- Ｈigh DｅｆinｉｔioｎＡｕdio [B0] 网卡??英特尔PRO/Wireleｓｓ３9４５ABG NetwｏrｋCoｎnｅｃtion (HP - RoW） 2.2软件环境 Microsoft WｉndowsＸP操作系统; MｉcｒosofｔSＱＬServer 2005; MｉcrosoｆｔＶｉsual Stｕdiｏ2005； 3．设计题目 3.1题目名称 学生考试管理系统 3.2题目详细描述 1、登录界面
一、填空题 1.在关系模型中，实体及实体之间的联系都用二维表来表示。在数据库的物理组织中，它 以文件形式存储。 2.数据库中的选择、投影、连接等操作均可由数据库管理系统实现。 3.在关系数据库模型中，二维表的列称为字段，行称为记录。 4.在Access中，查询可作为窗体、报表和数据访问页的数据源。 5.子查询“包含于”对应的谓词是In。 6.参数查询中的参数要用[]中括号括起来，并且设置条件提示。 7.绑定文本框可以从表、查询或SQL语言中获取所需的内容。 8.在创建主/子窗体之前，必须设置主窗体和子窗体（主表和子表）之间的关系。 9.表A中的一条记录可以与表B中的多条记录匹配，但是表B中的一条记录至多只能与表 A中的一条记录匹配，这样的关系是“一对多”。 10.两个实体之间的联系有3种，分别是一对一、一对多和多对多。 11.在关系数据库中，唯一标识一条记录的一个或多个字段称为主键。 12.参照完整性是一个准则系统，Access使用这个系统用来确保相关表中记录之间的关系 有效性，并且不会因意外删除或更改相关数据。 13.在数据表中，记录是由一个或多个字段组成的。 14.在关系数据库的基本操作中，把由一个关系中相同属性值的元组连接到一起形成新的二 维表的操作称为连接。 15.关系规范化是指关系模型中的每一个关系模式都必须满足一定的要求。 16.数据表之间的联系常通过不同表的共同字段名来体现。 17.表是Access数据库的基础，是存储数据的地方，是查询、窗体、报表等其他数据库对 象的基础。 18.在Access中数据表结构的设计是在设计器中完成的。 19.在查询中，写在“条件”行同一行的条件之间是并的逻辑关系，写在“条件”行不同行 的条件之间是或的逻辑关系。 20.窗体的数据来源主要包括表和查询。 21.计算型控件一般来说用表达式/公式作为数据源。 22.主窗体和子窗体通常用多个表或查询的数据，这些表或查询中的数据具有一对一/一对 多的关系。 23.在报表中可以根据字段、表达式对记录进行排序或分组。 24.DBMS/数据库管理系统软件具有数据的安全性控制、数据的完整性控制、并发控制和故 障恢复功能。 25.数据库系统体系结构中三级模式是模式、外模式、内模式。 26.实体完整性是对关系中元组的唯一性约束，也就是对关系的主码的约束。 27.若想设计一个性能良好的数据库，就要尽量满足关系规范化原则。
数据库原理及应用 习题及解答 1. 数据库基础知识 1. 答： 数据是用于载荷信息的物理符号。 数据的特征是：①数据有“型”和“值”之分；②数据受数据类型和取值范围的约束； ③数据有定性表示和定量表示之分；④数据应具有载体和多种表现形式。 数据与信息的关系为：数据是信息的一种表现形式，数据通过能书写的信息编码表示信息。信息有多种表现形式，它通过手势、眼神、声音或图形等方式表达，但是数据是信息的最佳表现形式。由于数据能够书写，因而它能够被记录、存储和处理，从中挖掘出更深层的信息。但是，数据不等于信息，数据只是信息表达方式中的一种。正确的数据可表达信息，而虚假、错误的数据所表达的是谬误，不是信息。 2． 答： 数据处理是指对数据的收集、组织、整理、加工、存储和传播等工作。围绕着数据所做的工作均称为数据处理。 数据处理的目的为：通过数据管理，收集信息并将信息用数据表示和保存，在需要的时候，为各种使用和数据处理提供数据；通过数据加工，对数据进行变换、抽取和运算，从而得到更有用的数据，以指导或控制人的行为或事物的变化趋势；通过数据传播，使更多的人得到并理解信息，从而使信息的作用充分发挥出来。 3． 答： 数据管理的功能为：(1)组织和保存数据功能，即将收集到的数据合理地分类组织，将其存储在物理载体上，使数据能够长期地被保存；(2)数据维护功能，即根据需要随时进行插入新数据、修改原数据和删除失效数据的操作；(3)数据查询和数据统计功能，即快速地得到需要的正确数据，满足各种使用要求；(4)数据的安全和完整性控制功能，即保证数据的安全性和完整性。 数据管理的目标是：收集完整的信息，将信息用数据表示，按数据结构合理科学地组织并保存数据；为各种使用快速地提供需要的正确数据，并保证数据的安全性和完整性。 4． 答： 数据库是数据管理的新方法和技术，它是一个按数据结构来存储和管理数据的算机机软件系统。数据库中的数据具有的特点是：①数据库中的数据具有数据整体性，即数据库中的数据要保持自身完整的数据结构；②数据库中的数据具有数据共享性，不同的用户可以按各自的用法使用数据库中的数据，多个用户可以同时共享数据库中的数据资源。 5． 答： 数据库管理系统简称DBMS(DatabascManagementSystem)，它是专门用于管理数据库的计算机系统软件。数据库管理系统能够为数据库提供数据的定义、建立、维护、查询和统计等操作功能，并完成对数据完整性、安全性进行控制的功能。
高级数据库工程师的基本职责 高级数据库工程师需要负责数据库进行容量规划、架构设计，提高业务高可用性和容灾能力。以下是小编整理的高级数据库工程师的基本职责。 高级数据库工程师的基本职责1 职责： 1、负责公司oracle、DB2数据库及相关系统维护管理、性能调优工作; 2、参与公司数据分析产品的大数据基础架构设计与优化，设计数据整体架构及其细节; 3、负责公司各个项目的数据库系统部署方案的计划、设计和实施指导，参与项目的数据库设计; 4、指导各个实施项目成员，对数据库语句进行优化，解决性能问题; 5、负责研发及使用新技术和新架构满足日益增长的数据需求;
6、负责数据库的日常维护，包括：日常维护，性能监控，性能优化，安全管理等。 任职要求： 1. 计算机相关专业大学本科及以上学历，具备三年以上大型Oracle、DB2数据库DBA或数据仓库架构设计经验，精通数据库管理与优化; 2. 精通ORACLE、DB2等主流数据库的管理，要求具备有较强的故障定位和问题分析、解决能力;具备一年以上Hadoop、GreenPlum、NoSQL等大数据技术平台实施、部署、优化经验; 3. 丰富的数据库维护经验，擅于分析运行瓶颈，并提供改进方案;精通数据库的性能优化、SQL调优技术，对高并发数据库的锁和事务隔离问题有深入理解;精通数据库容量规划和分表设计方法，有海量数据库设计和支持经验; 4. 熟悉UNIX/LINUX等主流OS平台，理解操作系统原理，具备脚本编写能力(SHELL/PERL/PYTHON)，并善于利用脚本解决问题; 5. 熟悉RAC/PureScale/GoldenGate/CDC等高可用技术; 6. 善于数据库架构的规划，能设计主机、存储、数据库的整体方案;
《高级数据库技术与应用》期末试题（2013） 1.数据库技术发展阶段如何划分，简述当前数据库技术热点和发展趋势。 （1）数据库技术发展阶段 数据库技术的发展，已经成为先进信息技术的重要组成部分，是现代计算机信息系统和计算机应用系统的基础和核心。数据库技术最初产生于20世纪60年代中期数根据数据模型的发展，可以划分为三个阶段：第一代的网状、层次数据库系统；第二代的关系数据库系统；第三代的以面向对象模型为主要特征的数据库系统。 第一代数据库的代表是1969年IBM公司研制的层次模型的数据库管理系统IMS和70年代美国数据库系统语言协商CODASYL下属数据库任务组DBTG提议的网状模型。层次数据库的数据模型是有根的定向有序树，网状模型对应的是有向图。这两种数据库奠定了现代数据库发展的基础。这两种数据库具有如下共同点：1.支持三级模式（外模式、模式、内模式）。保证数据库系统具有数据与程序的物理独立性和一定的逻辑独立性；2.用存取路径来表示数据之间的联系；3.有独立的数据定义语言；4.导航式的数据操纵语言。 第二代数据库的主要特征是支持关系数据模型（数据结构、关系操作、数据完整性）。关系模型具有以下特点：1.关系模型的概念单一，实体和实体之间的连系用关系来表示；2.以关系数学为基础；3.数据的物理存储和存取路径对用户不透明；4.关系数据库语言是非过程化的。 第三代数据库产生于80年代，随着科学技术的不断进步，各个行业领域对数据库技术提出了更多的需求，关系型数据库已经不能完全满足需求，于是产生了第三代数据库。主要有以下特征：1.支持数据管理、对象管理和知识管理；2.保持和继承了第二代数据库系统的技术；3.对其它系统开放，支持数据库语言标准，支持标准网络协议，有良好的可移植性、可连接性、可扩展性和互操作性等。第三代数据库支持多种数据模型（比如关系模型和面向对象的模型），并和诸多新技术相结合（比如分布处理技术、并行计算技术、人工智能技术、
武汉工程大学计算机科学与工程学院《高级数据库开发技术》实验报告[1]
日期：年月日 实验内容 一、创建企业管理的员工管理数据YGGL，包含Employees（员工自然信息表、Departments(部门信息)表和Salary(员工薪水情况)表。各表的结构如下所示。 表1.1 Employees表结构 表1.2 Departments表结构 表1.3 Salary表结构
二、用于实验的YGGL数据库中的三个表已经建立，现在要将各表的样本数据添加到表中，样本数据如下表所示： 表1.4 Employees表数据样本 表1.5 Departments表数据样本
表1.6 Salary表数据样本 （1）在Employees表数据样本中插入罗林后的记录: NSERT INTO "xxxxxxxxxx" VALUES('011112',罗林',TO_DATE('26-06-1973','DD-MM-YYYY'),1,'解放路100',210002,4055663,5);
（2）在表Departments表数据样本中插入记录因记录中已有本条记录，因此： INSERT INTO "xxxxxxx DEPARTMENTS" VALUES('2','人力资源部',NULL); (3)在表Salary表数据样本中插入 记录： INSERT INTO "xxxxxxxx SALARY" VALUES('112',1200.09,50);
(4)更新后的工资：UPDATE "xxxxxxx SALARY" SET InCome=2890 WHERE EMPLOYEEID='011112'; (5)更新后的表 UPDATE "0905060123 张蕾" SET ZIP=210009 WHERE
2004-2005学年第二学期期末考试C2002级计算机科学与技术专业 《数据库原理与应用》课程试题 一、选择题（15分，每空1分）： 1．在数据库中，产生数据不一致的根本原因是____。 A．数据存储量太大 B．没有严格保护数据 C．未对数据进行完整性控制 D．数据冗余 2．相对于其他数据管理技术，数据库系统有①、减少数据冗余、保持数据的一致性、②和③的特点。 ①A．数据统一B．数据模块化 C．数据结构化D．数据共享 ②A数据结构化B．数据无独立性 C．数据统一管理D．数据有独立性 ③A．使用专用文件B．不使用专用文件 C．数据没有安全与完整性保障D．数据有安全与完整性保障 3．关系运算中花费时间可能最长的运算是____。 A．投影B．选择C．笛卡尔积D．除 4．关系数据库用①来表示实体之间的联系，关系的数学定义是②。 ①A．层次模型B．网状模型C．指针链D．二维表格数据 ②A．若干域（domain）的集合B．若干域的笛卡尔乘积（Cartesian product） C．若干域的笛卡尔乘积的子集D．若干元组（tuple）的集合 5．集合R与S的连接可以用关系代数的5种基本运算表示为________。 A．R-(R-S) B．σ F (R×S) C．空D．空 6．在关系代数中，对一个关系做投影操作后，新关系的元组个数____原来关系的元组个数。 A．小于B．小于或等于C．等于D．大于 7．下列SQL语句中，创建关系表的是____。 A．ALTER B．CREATE C．UPDATE D．INSERT 8．关系数据库设计中的陷阱（pitfalls）是指________。
数据库应用技术模拟试题1 一、单项选择题（每个题只有一个答案是正确的，请将正确的答案填写到括号内。） 1．下列功能中，不属于数据库管理系统功能的是（B）。 A、数据库对象定义 B、数据库文件读写 C、数据查询 D、数据更新 2．下列类型中，属于定点小数类型的是（A）。 A、numeric B、int C、datetime D、real 3．对char(10)类型的列，若存储“电视”，其占用的字节数是（C）。 A、4 B、5 C、10 D、20 4．下列条件子句中，能够筛选出成绩在60~80（包括边界值）的是（B）。 A、Where 成绩 >= 60 OR成绩 <= 80 B、Where成绩 >= 60 AND成绩 <= 80 C、Where 60 <= 成绩 <= 80 D、Where成绩 IN(60．．80)
5．下列关于聚集索引与非聚集索引的说法，正确的是（C）。 A、在一个表上可以建立多个聚集索引和多个非聚集索引 B、在一个表上可以建立多个聚集索引和最多一个非聚集索引 C、在一个表上可以同时存在聚集索引和非聚集索引 D、必须先建立聚集索引，然后再建立非聚集索引 6．下列关于触发器的说法，正确的是（B）。 A、后触发型触发器是在触发器执行完成后再执行引发触发器执行的语句 B、触发器是由数据更改操作引发的自动执行的代码 C、引发触发器执行的操作可以是SELECT D、CREATE TRIGGER tri ON table1 FOR INSERT定义的是前触发型触发器 7．可以利用Connection对象的Execute方法实现对数据库的更改操作。下列将SC表中学号为S105的学生的成绩减少10分的语句，正确的是（C）。 A、ADOcn.Execute “ALTER SC SET Grade = Grade - 10 WHERE 学号 = 'S105' ” B、ADOcn.Execute “ALTER FROM SC SET Grade = Grade - 10 WHERE 学号 = 'S105' ” C、ADOcn.Execute “UPDATE SC SET Grade = Grade - 10 WHERE 学号 ='S105' ” D、ADOcn.Execute “UPDATE FROM SC SET Grade = Grade - 10 WHERE 学号 = 'S105' ” 8．下列声明并创建Connection对象的语句，正确的是（B）。 A、Dim ADOcn As Connection B、Dim ADOcn As New Connection C、Declare ADOcn As New Connection D、Declare ADOcn As Connection 9．若有学生表Student，结构为：学生（学号，姓名，所在系），选课表SC结构为：选课（学号，课程号，成绩）。现要查询信息工程系学生的姓名和所选的课程号。下列关系代数表达式正确的是（C）。 A、σ姓名,课程号( ∏所在系=‘信息工程’ (SCStudent)) B、σ姓名,课程号( ∏所在系=‘信息工程’ SCStudent)
浅析Hadoop集群下HBase数据库的性能优化 摘要：随着大数据应用的程度不断发展，NOSQL也日益成为大家关注的焦点。各种集群应用也不短涌现。本通通过对HADOOP集群和HBASE集群的介绍及构建，深入分析了HBASE集群的性能优化。得出HBase性能优化不要从程序和配置文件两方面入手，从而提高HBASE集群性能。 关键词：HBASE；HADOOP；集群；优化 1Hadoop集群概述 随着互联网的高速发展，各种各样的数据冲刺着我们的视野。人们上传视频、照片、文章，更新论坛信息、点击广告留言等，这使得机器产生和保留的数据越来越多。数据的指数级增长首先向谷歌、雅虎、亚马逊和微软等处于市场领导地位的公司提出了挑战。他们需要遍历TB级和PB级数据来发现哪些网站更受欢迎，哪些书有需求，哪种广告更吸引用户，现有技术处理这些数据已经显得吃力。面对挑战及使命，谷歌率先发表了MapReduce数据处理算法相关的论文，同时，Doug Cutting受到MapReduce算法的启示，领导开发了开源版本的MapReduce，命名为Hadoop。由于Hadoop生态系统的开源性、可持续性以及其高性能的处理能力，雅虎等公司纷纷响应，为其提供支持。如今，Hadoop已经成为许多互联网公司基础计算平台的核心部分。研究和分析Hadoop生态系统集群已经迫在眉睫。 Hadoop作为一个开源框架，可以编写和运行分布式应用，处理大规模数据。分布式计算时一个宽泛并且不断变化的领域，但Hadoop集群与分布式不同之处在于以下几点：方便。Hadoop集群运行在由一般商用机器构成的大型集群上，或者如亚马逊弹性计算云(EC2)等云计算服务之上； 健壮。Hadoop集群致力于在一般商用硬件上运行其架构假设硬件会频繁地出现失效。它可以从容地处理大多数此类故障。 可扩展性。Hadoop集群通过增加集群节点，可以线性地扩展，以便处理更大的数据集。 简单。Hadoop允许用户快速编写高效的并行代码。 Hadoop集群的方便和简单让其在编写和运行大型分布式程序方面占有巨大优势，同时
数据库原理与技术课程习题答案 第1章 一、选择题 1.下列关于用文件管理数据的说法，错误的是D A．用文件管理数据，难以提供应用程序对数据的独立性 B．当存储数据的文件名发生变化时，必须修改访问数据文件的应用程序 C．用文件存储数据的方式难以实现数据访问的安全控制 D．将相关的数据存储在一个文件中，有利于用户对数据进行分类，因此也可以加快用户操作数据的效率 2.下列说法中，不属于数据库管理系统特征的是 C A．提供了应用程序和数据的独立性 B．所有的数据作为一个整体考虑，因此是相互关联的数据的集合 C．用户访问数据时，需要知道存储数据的文件的物理信息 D．能保证数据库数据的可靠性，即使在存储数据的硬盘出现故障时，也能防止数据丢失 3.数据库管理系统是数据库系统的核心，它负责有效地组织、存储和管理数据，它位于用 户和操作系统之间，属于A A．系统软件B．工具软件 C．应用软件D．数据软件 4.数据库系统是由若干部分组成的。下列不属于数据库系统组成部分的是B A．数据库B．操作系统 C．应用程序D．数据库管理系统 5.下列关于数据库技术的描述，错误的是D A．数据库中不但需要保存数据，而且还需要保存数据之间的关联关系 B．数据库中的数据具有较小的数据冗余 C．数据库中数据存储结构的变化不会影响到应用程序 D．由于数据库是存储在磁盘上的，因此用户在访问数据库时需要知道其存储位置 二、简答题 1．试说明数据、数据库、数据库管理系统和数据库系统的概念。 答: 数据是描述事物的符号记录。描述事物的符号可以是数字，也可以是文字、图形、图像、声音、语言等，数据有多种表现形式，它们都可以经过数字化后保存在计算机中。 数据库是长期存储在计算机中的有组织的、可共享的大量数据的集合。 数据库管理系统是一个专门用于实现对数据进行管理和维护的系统软件。 数据库系统一般由数据库、数据库管理系统（及相关的实用工具）、应用程序、数据库管理员组成。 2．数据管理技术的发展主要经历了哪几个阶段？ 答: 数据管理技术的发展因此也就经历了文件管理和数据库管理两个阶段。 最初对数据的管理是以文件方式进行的，也就是用户通过编写应用程序来实现对数据的存储和管理。后来产生了数据库技术，也就是用数据库来存储和管理数据。 3．文件管理方式在管理数据方面有哪些缺陷？ 答: 文件方式管理数据有如下缺点。（1）编写应用程序不方便。（2）数据冗余不可避免。（3）
北京交通大学 2015～2016学年第二学期工程硕士期末考试试题 课程名称: 高级数据库技术出题教师: 任课教师 专业: 班级: 姓名: 学号: 注意：卷面共三道大题，满分100分，考试时间120分钟。――――――――――――――――――――――――――――――――― 一、简答题(每小题8分，共40分) 1. 画出数据库系统的组成示意图，并阐述数据库系统的特点。 2. 简述数据库系统从哪些方面来保证数据的完整性。 3. 阐述关系模型中关系的性质。 4. 简要说明事务的原子性。 5. 数据库运行中可能产生的故障有哪几类？哪些故障影响事务的正常执行？ 哪些故障破坏数据库数据？ 二、综合应用题（30分） 某光盘出租店建立一个业务管理系统，主要管理光盘的出租情况、光盘的 库存情况等。 (1)请用E-R图画出此出租店光盘、客户、员工和供货商的概念模型，其中 出租店数据库包含下面4张基本表： 光盘信息表gpb(gpbh，gpmc，gpyy，gpcd, ghsbh，gpdj，gpsl) ，其字段含义：(光盘编号，光盘名称，语言类型，产地，供货商编号，单价，光盘数量)；
●会员表hyb(hybh，hyxm，rhrq )，其字段含义：（会员编号、会员姓名和 入会日期）； ●员工表：ygb(ygbh，ygxm，sfz，dh，zz，jdrq，gz)，其字段含义：（员工 编号、姓名、身份证、电话、住址、进店时间和工资）； ●供货商表：ghsb(ghsbh，ghsmc，fzr，ghsdh，ghsdz)，其字段含义：（供 货商编号、供货商名称、负责人、电话和地址）。 (2)上面4张表的主键以相应表字段下划线标识，请将该E-R图转换为关系模型的结构；写出建光盘信息表gpb的SQL语句。 三、应用题（每小题6分，共30分） 对于第二题中所建基本表，试用 SQL 查询语句表达下列要求： （1）列出光盘编号在10－100之间的光盘名称和语言； （2）列出所有姓王员工的信息； （3）查询单价最贵的光盘信息； （4）将光盘按照语言分组，列出每一组的平均价格； （5）列出供货商信息，输出结果的电话号码以升序的方式输出。
数据库原理与技术-习题答 案 -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
习题1 1．数据与信息有何区别有何联系 数据的概念：数字、文字、图画、声音和活动图象 信息的概念：信息是对人有用的数据 （1）数据与信息的区别： 数据包含信息 数据处理之后产生结果为信息 信息具有相对性，时效性 （2）数据与信息的联系： 信息是客观事物属性的反映。是经过加工处理并对人类客观行为产生影响的数据表现形式。数据是反映客观事物属性的记录，是信息的具体表现形式。数据经过加工处理之后，成为信息。而信息必须通过数据才能传播，才能对人类有影响。 2．简述数据库、数据库管理系统、数据库系统的概念。 （1）数据库（ DataBase ，简称 DB ) ：数据库是长期储存在计算机内的、有组织的、可共享的数据集合。数据库中的数据按一定的数据模型组织、描述和储存，具有较小的冗余度、较高的数据独立性和易扩展性，并可为各种用户共享。 （2）数据库管理系统（ DataBase Management sytem ，简称 DBMs ) ：数据库管理系统是位于用户与操作系统之间的一层数据管理软件，用于科学地组织和存储数据、高效地获取和维护数据。 DBMS 的主要功能包括数据定义功能、数据操纵功能、数据库的运行管理功能、数据库的建立和维护功能。DBMS 是一个大型的复杂的软件系统，是计算机中的基础软件。目前，专门研制 DBMS 的厂商及其研制的 DBMS 产品很多。著名的有美国 IBM 公司的 DB2 关系数据库管理系统和 IMS 层次数据库管理系统、美国 Oracle 公司的 oracle 关系数据库管理系统、美国微软公司的 SQL Server关系数据库管理系统等。 （3）数据库系统（ DataBaseSystem ，简称 DBS ) ：数据库系统是指在计算机系统中引入数据库后的系统构成，一般由数据库、数据库管理系统（及其开发工具）、应用系统、数据库管理员构成。数据库系统是一个人一机系统，数据库是数据库系统的一个组成部分。但是在日常工作中人们常常把数据库系统简称为数据库。 3．数据管理技术经历了哪几个阶段各阶段的主要特点是什么 （1）人工管理阶段。 特点： 数据的管理者：人 数据面向的对象：某一应用程序 数据的共享程度：无共享,冗余度极大 数据的独立性：不独立，完全依赖于程序 数据的结构化：无结构
一、选择题 1．三级模式间存在两种映射，它们是（模式与子模式间，模式与内模式间）。 2．SQL Server系统中的所有系统级信息存储于哪个数据库 （ master ）。 3．下面关于tempdb数据库描述不正确的是（是用户建立新数据库的模板）。 4．在数据库技术中，面向对象数据模型是一种（结构模型）。 5．数据库管理系统常见的数据模型有（层次、关系和网状）。 6．用户看到的数据表，属于数据库系统三级模式中的（模式） 7．对数据的插入属于数据库管理系统（数据操纵）的功能。 8．保持数据的完整性属于数据库管理系统（ C ）的功能。C．数据库的运行管理 9．在SQL Server数据库中，默认情况下Sys通常是（ C ）。C．系统表表名的前缀 10．设一个关系为R，如果它的每个属性都是不可再分的，则称这个关系是符合（ A ）。A．第一范式 11．在第一个关系中出现，在第二个关系中不出现的记录组成的关系称为两个关系的（ C ）。C．差 12．关系数据库规范化是为了解决关系数据库中的（ A ）问题。A．插入、删除和数据冗余B．提高查询的速度 13．关系模式中，满足2NF的模式，（ B ）。B．必定是1NF 14．下述关于索引的描述，正确的是（B）．建立索引后，会影响基本表的插入速度 15．下述关于视图的描述，正确的是C．在SQL Server中，可以像基本表一样对视图进行查询操作 16．如果希望从学生表中查询出所有姓“张”的同学，那么条件语句应该是（ Where 姓名 LIKE ‘张％’）。 17．下列SQL语句中，能够完成求某列最大值的是（ B ）。B．SELECT MAX(Age) FROM Student 18．假定学生关系S （SNO,SNAME,SEX,AGE），课程关系C （CNO,CNAME,TEACHER），学生选课关系SC（SNO,CNO,GRADE）。要查询选修了“计算机技术”课程的“女”学生姓名，将涉及到关系（ D ）。D．S,C,SC 19．如果希望从学生表中查询出所有 姓“李”的同学，那么条件语句应该 是（B）。B、Where 姓名 LIKE ‘李％’ 20．在一个教师关系中，能够成为主 关键字（或称主码）的属性是（B）。 B、教师编号 21．从最终用户应用程序的视角看， 数据库系统的三级模式结构是（C）。 C、外模式、模式和内模式 22．在一个学生关系中，能够成为主 关键字（或称主码）的属性是（C）。 C、学号 23．有严格的数学基础的数据模型是 （A）。A、关系模型 24．下列关于索引的说明不正确的是 （A）。A、索引必须创建在主关键字 之上 25．设关系R是满足第一范式的，若R 中不存在非主属性对主键的部分函数 依赖，则R符合（A）。A、第二范式 26．下列符合第三范式的关系是 （D）。D、学生（学号，姓名，性 别） 27．在第一个关系中出现，而在第二 个关系中不出现的记录组成的新关系 称为（D）。D、两个关系的差 28．数据库应用程序开发中，需求分 析阶段的主要目的是（A）。A、回答 “干什么”的问题 29．用户使用SQL Server时，通常需 要依次经过两个安全性阶段（C）。 C、身份验证、权限认证 30．SQL Server数据库中的一个完整 的备份通常要包括（A）。A、系统数 据库、用户数据库和事务日志 31．下列哪些不属于索引的类型 （D）。D、事务日志索引 32．下列SQL语句中，能够完成并运 算的是（A）。A、SELECT * FROM 篮 球爱好者UNION SELECT * FROM 足球 爱好者 33．设学生表和课程表的结构分别为 （学号，姓名）和（学号，课程号， 成绩），如果希望查询出“成绩大于 90分的学生姓名”，则对应的SQL语 句是（D）。D、SELECT 姓名 FROM 学 生表，课程表 WHERE 学生表.学号=课 程表.学号 AND 课程表.成绩>90 34．如果希望从学生表中查询出所有 姓“王”的同学，那么条件语句应该 是（ B ）。B、Where 姓名 LIKE ‘王％’ 35．通常情况下，“数据库管理系 统”的英文缩写是（DBMS ）。 36．从最终用户应用程序的视角看，数 据库系统的三级模式结构是（ C ）。 C、外模式、模式和内模式 37．在一个学生关系中，能够成为主关 键字（或称主码）的属性是（学号）。 38．有严格的数学基础的数据模型是 （ A ）。A、关系模型 39．下列关于索引的说明不正确的是 （ A ）。A、索引必须创建在主关键字 之上 40．设关系R是满足第一范式的，若R 中不存在非主属性对主键的部分函数依 赖，则R符合（ A ）。A、第二范式 41．下列符合第三范式的关系是 （D）。D、学生（学号，姓名，性 别） 42．在第一个关系中出现，而在第二个 关系中不出现的记录组成的新关系称为 （D）。D、两个关系的差 43．数据库应用程序开发中，需求分析 阶段的主要目的是（ A ）。A、回答 “干什么”的问题 44．用户使用SQL Server时，通常需 要依次经过两个安全性阶段 （ C ）。C、身份验证、权限认证 45．SQL Server数据库中的一个完整的 备份通常要包括（ A ）。A、系统数 据库、用户数据库和事务日志 46．SQL Server中进行数据库恢复的 SQL语句是（ C ）。C、RESTORE DATABASE 47．下列SQL语句中，能够完成并运算 的是（ A ）。A、SELECT * FROM 篮 球爱好者 UNION SELECT * FROM 足 球爱好者 48．设学生表和课程表的结构分别为 （学号，姓名）和（学号，课程号，成 绩），如果希望查询出“成绩大于90 分的学生姓名”，则对应的SQL语句是 （ D ）。D、SELECT 姓名 FROM 学 生表，课程表 WHERE 学生表.学号=课 程表.学号 AND 课程表.成绩>90 49．关系数据库系统采用关系模型作为 数据的组织方式。关系模型通常由三部 分组成（）。A．数据结构、关系操作 集合和关系的完整性
注：没有答案的，请自己完成。 填 空： 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. _______ 是研究数据库的结构、存储、管理和使用的一门综合性强的学科。数据库技术 数据管理技术先后经历了人工管理、文件系统、 ___________________________________________ 3个阶段。 数据库系统的三级模式结构是指模式、 _____________________ 和内模式。 数据模型通常是由数据结构、 ___________________________ 和完整性约束3部分组成的。 SQL Server 2005支持两种登录认证模式： Windows 身份验证和 _________ 数据库系统的三级模式结构和两级数据映像确保了数据的 __________________________ COMMITS 示 ____________________ 。 事务提交 ROLLBAC 表示 _____________________ 。事务回滚 网络模型用 ______________ 实现记录与记录之间的联系。 在关系模型中，利用 “ ___________________________ 在函数信赖中，平凡的函数信赖根据 Armstrong 推理规则中的 __________ _______ 依赖和传递依赖是模式产生冗余和异常的两个重要原因。局部 关系模型有三个重要组成部分：数据结构、数据操纵和 ________________________________________ 。 SQL 的全称为structured query language ，它代表的汉语意思是 __ SELECT 语句查询条件中的谓词“ =SOM ”与运算符 ________________________ 等价。 SELECT 语句查询条件中的谓词“ OALL ”与运算符 ________________________ 等价。 在数据库领域，数据模型可分为两种形式： 概念模型和 简答和综合： 18.数据库系统的组成结构图。 有向图 的方法来实现数据之间的联系。在一个关系中包含另一个关系的属性 律就可推出。自反 数据完整性规则 _____________ 。结构化查询语言 IN NOT IN 。实现模型 应用1 KPT (DEA) 19. DBMS ★ ★ ★ ★ 20. 21. 的基本功能： (建立数据库和定义表的结构) (输入、查询、更新、插入、删除、修改数据等) 22. 23. 数据定义 数据操作 数据库运行的管理(并发控制、完整性检查、安全性检查等) 数据库维护(数据库内部索引、系统目录的自动维护、备份、恢复等可靠性保障) “事务”是一个操作序列。这些操作要么都做，要么都不做，是一个不可分割的工作单位，是数据库环境中的基本逻辑单位。 函数依赖(functional dependency : FD ) 假设R (U )是一个关系模式，U 是属性集合，X 和Y 是U 的子集。对于R( U )的任意一个可能的关系 r ，如果r 中不存在两个元组, 它们在X 上的属性值相同，而在 Y 上的属性值不同，则称 X 函数决定Y ,或称Y 函数依赖X ,记作X 丫。 实体：实体是用户工作环境中所涉及的事或物，是将要搜集和存储的数据对象 数据库系统( 答案： ☆ Database System ，DBS 由 4 个部分组成。 数据库(Database, DB ) 数据库管理系统(Database Management System ， DBS ) 数据库应用 数据库管理员(Database Administrator ，DBA ) 24. 25. 26. 27. 28. 关系完整性规则。 答案：★ 实体完整性(Entity integrity )：关系的主码不能取空值(NULL )。 ★ 参照完整性(Referential integrity ):外码必须是被参照关系主码的有效值，或者是“空值” 。 ★用户自定义完整性。 候选码：侯选码是最小超码，它的任意真子集都不能成为超码 数据库技术：数据库技术研究数据库的结构、存储、管理和使用的软件学科是一门综合性强的学科。 数据库设计是指对一个给定的应用环境，构造(设计)最优的数据模型，然后据此建立数据库及其应用系统，使之能够有效地存储数 据，满足各种用户的应用需求。 列举数据管理的发展阶段。 答案：☆手工管理阶段 ☆文件系统阶段