hbase和关系型数据库的区别
HBase相对于关系数据库能解决的问题是什么？
关于HBase与关系数据的区别问题其实就是关系数据库与HBase各自的优缺点。
关系数据库的缺憾：
1）扩展困难
2）维护复杂
HBase就是解决可伸缩行的问题。通过简单增加节点来获取线性扩展性。不支持SQL。图解Nosql（hbase）与传统数据库的区别对于大多数做技术的人员，都知道我们传统数据库是什么样子的，那么如下图所示，我们操作的对象是行。也就是增删改查，都是以为对象
1. 传统数据库增加删除介绍
下面我们以mysql为例：
插入数据
mysql》INSERT INTO blog_user （`user_Name`，`user_Password`，`user_emial`）V ALUES （aboutyun，aboutyun，aboutyun@sina）;
删除数据：
mysql》delete from blog_user where user_name=aboutyun;
2. Nosql数据库增加删除介绍
以hbase为例：
创建表：
create blog_user，userInfo
插入数据
这里是关键点，也是很多人不容易理解的地方
hbase（main）：012:0》putblog_user，aboutyun，userInfo:user_Name，aboutyun
0 row（s）in 1.7530 seconds
(完整)分布式数据库研究现状及发展趋势 编辑整理： 尊敬的读者朋友们： 这里是精品文档编辑中心，本文档内容是由我和我的同事精心编辑整理后发布的，发布之前我们对文中内容进行仔细校对，但是难免会有疏漏的地方，但是任然希望（(完整)分布式数据库研究现状及发展趋势）的内容能够给您的工作和学习带来便利。同时也真诚的希望收到您的建议和反馈，这将是我们进步的源泉，前进的动力。 本文可编辑可修改，如果觉得对您有帮助请收藏以便随时查阅，最后祝您生活愉快业绩进步，以下为(完整)分布式数据库研究现状及发展趋势的全部内容。
山西大学研究生学位课程论文（2014 —--— 2015 学年第 2 学期) 学院（中心、所）：计算机与信息技术学院 专业名称：计算机应用技术 课程名称：分布式数据库技术 论文题目：分布式数据库研究现状及发展趋势授课教师（职称）: 曹峰（) 研究生姓名: 刘杰飞 年级： 2014级 学号： 201422403003 成绩: 评阅日期: 山西大学研究生学院 2015年 6 月 17日
分布式数据库研究现状及发展趋势 摘要随着大数据、云时代的到来，数据库应用需求的拓展和计算机硬件环境的变化,特别是计算机网络与数字通信技术的飞速发展，卫星通信、蜂窝通信、计算机局域网、广域网和激增的Intranet及Internet得到了广泛应用,使分布式数据库系统应运而生。为了符合当今信息系统的应用需求和企业组织的管理思想和管理模式。分布式数据库提供了解决整个信息资产被分裂所成的信息孤岛，为孤岛联系在一起提供桥梁.本文主要介绍分布式数据库的研究现状，存在的一些问题以及未来的发展趋势。 关键词分布式数据库；发展趋势；现状及问题 1.引言 随着信息技术的飞速发展，社会经济结构、生产方式和消费结构已经发生了重大变化，这些变化深刻地影响着人民生活的方方面面。尤其是近十年来人们对计算机的依赖性越来越强，同时也对计算机提出了更高的要求。随着数据库在各个行业中的不断发展,各行业也对数据库提出了更高的要求，数据量也急剧增加，同时有关大数据分析的讨论正在愈演愈烈.甚至出现了爆炸性增长的趋势，一方面是由于移动互联网和移动智能终端的普及发展，数据信息正以每年40%的速度增长，造成数据量庞大；同时,数据种类呈多样性，文本、图片、视频等结构化和非结构化数据共存；另一方面也要求实时交互性强；最重要的是大数据蕴含了巨大的商业价值。相应的对于管理这些数据的复杂度也随之增加。同时各行业部门或企业所使用的软硬件之间的差异，这给开发企业管理数据库管理软件带来了巨大的工作量，如果能够有效解决这个问题,即使用同一模块管理操作不同的数据表格，对不同的数据表格进行查询、插入、删除、修改等操作，也即对企业简单的应用实现即插即用的功能，那么就能大大地减少软件开发的维护和更新费用,缩短软件的开发周期。分布式数据库系统的开发，降低了企业开发的成本,提高了软件使用的回报率。当今社会已进入了信息时代，人们将越来越多的信息存储在网络中的计算机上。如何更有
第一章分布式数据库系统概述 一、分布式数据库的发展 1、分布式数据库的发展： ①集中式数据库管理系统的局限性：a.通讯瓶颈；b.响应速度。 ②推动分布式数据库发展的动力：a.应用需求；b.硬件环境的发展。 二、分布式数据库系统的定义： 分布式数据库系统，通俗地说，是物理上分散而逻辑上集中的数据库系统。分布式数据库系统使用计算机网络将地理位置分散而管理和控制又需要不同程度集中的多个逻辑单位（通常是集中是数据库系统）连接起来，共同组成一个统一的数据库系统。 三、分布式数据库系统的特点： a.物理分布性：数据不是存放在一个站点上 b.逻辑整体性：是与分散式数据库系统的区别 c.站点自治性：是与多处理机系统的区别 d.数据分布透明性 e.集中与自治相结合的控制机制 f.存在适当的数据冗余度 g.事务管理的分布性 四、分布式数据库系统的分类 按局部数据库管理系统的数据模型分类：同构性（homogeneous）（分为同构同质型和同构异质型）DDBS和异构性(heterogeneous)DDBS 按分布式数据库系统的全局控制系统类型分类：全局控制集中型DDBS，全局控制分散型DDBS，全局控制可变型DDBS。
五、分布式数据库中数据的独立性和分布透明性 所谓数据独立性是指用户或用户程序使用分布式数据库如同使用集中式数据库那样，不必关心全局数据的分布情况，包括全局数据的逻辑分片情况、逻辑片段站点位置的分配情况，以及各站点上数据库的数据模型等。也就是说，全局数据的逻辑分片、片段的物理位置分配，各站点数据库的数据模型等情况对用户和用户程序透明。所以，在分布式数据库中分布独立性也称为分布透明性。 六、分布式数据库系统的体系结构、组成成分 集中式数据库管理系统结构： a. DB（数据库） b. DBMS(集中式数据库管理系统) c. DBA(数据库管理员) 分布式数据库管理系统（DDBMS）结构： a. LDB（局部数据库） b. GDB（全局数据库） c. LDBMS (局部数据库管理系统) d. GDBMS (全局数据库管理系统) e. LDBA（局部数据库管理员） f. GDBA (全局数据库管理员) 七、分布式数据库系统的特性： 1. 数据透明性：a.分布透明性b. 分片透明性c. 复制透明性 2. 场地自治性：a. 设计自治性b. 通信自治性c. 执行自治性 八、分布式数据库系统的优点: 分布式数据库系统是在集中式数据库系统的基础上发展来的，比较分布式数据库系统与集中式数据库系统，可以发现分布是数据库系统具有下列优点： 1.更适合分布式的管理与控制。分布式数据库系统的结构更适合具有地理分布特性的组织或机构使用，允许分布在不同区域、不同级别的各个部门对其自身的数据实行局部控制。例如：实现全局数据在本地录入、查询、维护，这时由于计算机资源靠近用户，可以降低通信代价，提高响应速度，而涉及其他场地数据库中的数据只是少量的，从而可以大大减少网络上的信息传输量；同时，局部数据的安全性也可以做得更好。
分布式数据库选型论证 第一章主流数据库技术介绍 一、关系型数据库系统 是一种基于关系模型的数据库管理系统。这种关系模型最初是由埃德加?科德在IBM的实验室提出的。目前很多主流的数据库都是遵循这种关系模型。这种关系型的数据库管理系统从上世纪80年代开始被广泛应用于存储财务数据、制造业数据、个人信息数据，互联网各类应用的数据。目前主流的RDBMS有Oracle Database、Microsoft SQL Server、MySQL、PostgreSQL等。 关系型数据库的特点主要有一个数据库由多张表构成、每张表都有用户定义的表结构信息(schema)来描述表格的结构。每张表由行构成，每行包含若干列，列的属性由表格的schema定义。关系型数据库可以解释为面向行的数据库，每张表具有横向的扩展性，数据表是面向行增长的，而列的模式是相对固定的。其功能主要包括以下几点。 数据的检索功能：SQL语言的检索功能主要包括基于主键、二级字段的查询、聚合查询、表连接查询等功能。事实上数据库的查询功能是SQL语言里被使用最多的功能。 1）．数据的操作功能：包括数据的插入、删除、修改。数据的操作以行为单位，可以修改某具体行的特定列的值，也可以批量的对一组符合条件的行数据进行操作。 2）．事务处理的功能：数据库事务是数据库管理系统中执行时一个独立的单位，一般事务由一组数据库管理系统中的指令组成。事务之间相互独立，事务具有ACID四个重要的特性：原子性(Atomicity)、一致性(Consistency)、隔离性(isolation)和持久性(durability)。事务也是区分很多NoSQL与SQL数据库的重要特性之一。 3）．表结构的定义功能：数据库定义语言(DDL)是用于创建表，修改以及删除表结构(schema)的。DDL中也包括了对某个字段建立索引的功能。
分布式数据库系统的优势与劣势 分布式数据库系统是在冀中是数据库系统的基础上发展来的，比较分布式数据库系统与集中式数据库系统，本文帮你了解颁布式数据库系统的优点与缺点。 分布式数据库系统的优势 分布式数据库系统是在冀中是数据库系统的基础上发展来的，比较分布式数据库系统与集中式数据库系统，可以发现分布是数据库系统具有下列优点： （1）更适合分布式的管理与控制。分布式数据库系统的结构更适合具有地理分布特性的组织或机构使用，允许分布在不同区域、不同级别的各个部门对其自身的数据实行局部控制。例如：实现全局数据在本地录入、查询、维护，这时由于计算机资源靠近用户，可以降低通信代价，提高响应速度，而涉及其他场地数据库中的数据只是少量的，从而可以大大减少网络上的信息传输量；同时，局部数据的安全性也可以做得更好。 （2）具有灵活的体系结构。集中式数据库系统强调的是集中式控制，物理数据库是存放在一个场地上的，由一个DBMS集中管理。多个用户只可以通过近程或远程终端在多用户操作系统支持下运行该DBMS来共享集中是数据库中的数据。而分布式数据库系统的场地局部DBMS的自治性，使得大部分的局部事务管理和控制都能就地解决，只有在涉及其他场地的数据时才需要通过网络作为全局事务来管理。分布式DBMS可以设计成具有不同程度的自治性，从具有充分的场地自治到几乎是完全集中式的控制。 （3）系统经济，可靠性高，可用性好。与一个大型计算机支持一个大型的冀中是数据库在加一些进程和远程终端相比，由超级微型计算机或超级小型计算机支持的分布式数据库系统往往具有更高的性价比和实施灵活性。分布式系统比集中式系统具有更高的可靠性和更好的可用性。如由于数据分布在多个场地并有许多复制数据，在个别场地或个别通信链路发生故障时，不致于导致整个系统的崩溃，而且系统的局部故障不会引起全局失控。 （4）在一定条件下响应速度加快。如果存取的数据在本地数据库中，那末就可以由用户所在的计算机来执行，速度就快。 （5）可扩展性好，易于集成现有系统，也易于扩充。 对于一个企业或组织，可以采用分布式数据库技术在以建立的若干数据库的基础上开发全局应用，对原有的局部数据库系统作某些改动，形成一个分布式系统。这比重建一个大型数据库系统要简单，既省时间，又省财力、物力。也可以通过增加场地数的办法，迅速扩充已有的分布式数据库系统。 分布式数据库系统的劣势 分布数数据库系统有如下劣势： （1）通信开销较大，故障率高。例如，在网络通信传输速度不高时，系统的响应速度慢，与通信县官的因素往往导致系统故障，同时系统本身的复杂性也容易导致较高的故障率。当故障发生后系统恢复也比较复杂，可靠性有待提高。
分布式数据库的昨天今天与明天 主题简介： 1、分布式数据库的历史和现状 2、TiDB架构和特点 3、分布式数据库未来趋势 随着大数据这个概念的兴起以及真实需求在各个行业的落地，很多人都热衷于讨论分布式数据库，今天就这个话题，主要分为三部分：第一部分讲一下分布式数据库的过去和现状，希望大家能对这个领域有一个全面的了解;第二部分讲一下TiDB的架构以及最近的一些进展;最后结合我们开发TiDB过程中的一些思考讲一下分布式数据库未来可能的趋势。 一、分布式数据库的历史和现状 1、从单机数据库说起 关系型数据库起源自1970年代，其最基本的功能有两个： (1)把数据存下来； (2)满足用户对数据的计算需求； 第一点是最基本的要求，如果一个数据库没办法把数据安全完整存下来，那么后续的任何功能都没有意义。当满足第一点后，用户紧接着就会要求能够
使用数据，可能是简单的查询，比如按照某个Key来查找Value;也可能是复杂的查询，比如要对数据做复杂的聚合操作、连表操作、分组操作。往往第二点是一个比第一点更难满足的需求。 在数据库发展早期阶段，这两个需求其实不难满足，比如有很多优秀的商业数据库产品，如Oracle/DB2。在1990年之后，出现了开源数据库MySQL和PostgreSQL。这些数据库不断地提升单机实例性能，再加上遵循摩尔定律的硬件提升速度，往往能够很好地支撑业务发展。 接下来，随着互联网的不断普及特别是移动互联网的兴起，数据规模爆炸式增长，而硬件这些年的进步速度却在逐渐减慢，人们也在担心摩尔定律会失效。在此消彼长的情况下，单机数据库越来越难以满足用户需求，即使是将数据保存下来这个最基本的需求。 2、分布式数据库 所以2005年左右，人们开始探索分布式数据库，带起了NoSQL这波浪潮。这些数据库解决的首要问题是单机上无法保存全部数据，其中以 HBase/Cassadra/MongoDB为代表。为了实现容量的水平扩展，这些数据库往往要放弃事务，或者是只提供简单的KV接口。存储模型的简化为存储系统的开发带来了便利，但是降低了对业务的支撑。 (1)NoSQL的进击 HBase是其中的典型代表。HBase是Hadoop生态中的重要产品，Google BigTable的开源实现，所以这里先说一下BigTable。 BigTable是Google内部使用的分布式数据库，构建在GFS的基础上，弥补了分布式文件系统对于小对象的插入、更新、随机读请求的缺陷。HBase也按照这个架构实现，底层基于HDFS。HBase本身并不实际存储数据，持久化的日志和SST file存储在HDFS上，Region Server通过MemTable 提供快速的查询，写入都是先写日志，后台进行Compact，将随机写转换为顺序写。数据通过Region 在逻辑上进行分割，负载均衡通过调节各个Region Server负责的Region区间实现，Region在持续写入后，会进行分裂，然后被负载均衡策略调度到多个Region Server上。 前面提到了，HBase本身并不存储数据，这里的Region仅是逻辑上的概念，数据还是以文件的形式存储在HDFS上，HBase并不关心副本个数、位置以及水平扩展问题，这些都依赖于HDFS实现。和BigTable一样，HBase提供
根据CAP理论，一致性(C)，可用性(A)，分区容错性(P)，三者不可兼得，必须有所取舍。而传统数据库保证了强一致性(ACID模型)和高可用性，所以要想实现一个分布式数据库集群非常困难，这也解释了为什么数据库的扩展能力十分有限。而近年来不断发展壮大的NoSQL运动，就是通过牺牲强一致性，采用BASE模型，用最终一致性的思想来设计分布式系统，从而使得系统可以达到很高的可用性和扩展性。 但是，对于CAP理论也有一些不同的声音，数据库大师Michael Stonebraker就撰文《Errors in Database Systems, Eventual Consistency, and the CAP Theorem》，表示为了P而牺牲C是不可取的。事实上，数据库系统最大的优势就对一致性的保证，如果我们放弃了一致性，也许NoSQL比数据库更有优势。那么，有没有可能实现一套分布式数据库集群，即保证可用性和一致性，又可以提供很好的扩展能力呢？回答是：有的。 目前，有很多分布式数据库的产品，但是绝大部分是面向DSS类型的应用，因为相比较OLTP应用，DSS应用更容易做到分布式扩展。Michael Stonebraker提到了一种新型的数据库VoltDB，它的定义是Next-Generation SQL Database for Fast-Scaling OLTP Applications。虽然产品还没有问世，但是从技术资料上来看，它有几个特点： 1.采用Share nothing架构，将物理服务器划分为以CPU core为单位的Virtual node，采用Sharding技术，将数据自动分布到不同的Virtual node，最大限度的利用机器的计算资源； 2.采用内存数据访问技术，类似于内存数据库(In-memory database)，区别于传统的数据库(Disk-based database)，消除了传统数据库内存管理的开销，而且响应速度非常快； 3.每个Virtual node上的操作是自治的，利用队列技术将并发访问变为串行访问，消除了传统数据库串行控制的开销(比如Latch和Lock)； 4.数据同步写多个副本，不存在单点故障，而且消除了传统数据库需要记录redo log的开销。
云创存储数据立方DataCube 与国际某知名分布式数据库性能对比测试报告
一、目的 (3) 二、测试内容 (3) 三、测试环境 (6) 3.1硬件配置 (6) 3.2软件及版本 (6) 3.3网络配置 (7) 四、测试结果 (7) 4.1 国际某知名分布式数据库数据入库性能 (7) 4.1.1国际某知名分布式数据库数据入库图表 (7) 4.1.2国际某知名分布式数据库数据入库流量 (8) 4.2 国际某知名分布式数据库数据查询性能 (8) 4.3数据立方数据入库性能 (10) 4.3.1数据立方入库图表 (10) 4.3.2数据立方入库流量 (11) 4.4数据立方数据查询性能 (11) 4.5数据立方性能与国际某知名分布式数据库性能对比 (13) 4.5.1数据入库性能对比 (13) 4.5.2 数据查询性能对比 (13) 五、测试总结 (14)
一、目的 在相同条件下，进行国际某知名分布式数据库与云创存储的数据立方(DataCube)产品性能对比测试。 二、测试内容 本次测试主要从数据入库、数据查询方面进行对比测试，测试数据为同一份文件（160M，每行记录共30个字段），表字段为： tableName:nur column :TIME_STAMP , STRING , 21 column :RECORD_SOURCE , LONG , 8 column :SUBSCRIBER_ID , STRING, 20 column : PACKAGE_ID, INT, 4 column :SUBS_USG_CNT_ID,INT, 4 column : BREACH_STATE, INT, 4 column : REASON, INT, 4 column : CONFIGURED_DURATION, INT,4 column : DURATION, INT, 4 column : END_TIME, INT, 4 column : UPSTREAM_VOLUME, INT, 4 column : DOWNSTREAM_VOLUME, INT, 4
1 概述 随着海量数据问题的出现，海量管理能力，多类型，变化快，高可用性，低成本，高端可扩展性等需求给企业数据战略带来了巨大的挑战。企业数据仓库、数据中心的技术选型变得尤其重要！所以在选型之前，有必要对目前市场上各种大数据量的解决方案进行分析。 2 主流分布式并行处理数据库产品介绍 2.1 Greenplum 2.1.1 基础架构 Greenplum是基于Hadoop的一款分布式数据库产品，在处理海量数据方面相比传统数据库有着较大的优势。 Greenplum整体架构如下图： SQL MapReduce 数据库由Master Severs和Segment Severs通过Interconnect互联组成。 Master主机负责：建立与客户端的连接和管理；SQL的解析并形成执行计划；执行计划向Segment的分发收集Segment的执行结果；Master不存储业务数据，只存储数据字典。 Segment主机负责：业务数据的存储和存取；用户查询SQL的执行。 2.1.2 主要特性 Greenplum整体有如下技术特点： ◆ Shared-nothing架构 海量数据库采用最易于扩展的Shared-nothing架构，每个节点都有自己的操作系统、数据库、硬件资源，节点之间通过网络来通信。 ◆ 基于gNet Software Interconnect 数据库的内部通信通过基于超级计算的“软件Switch”内部连接层，基于通用的gNet (GigE， 10GigE) NICs/switches在节点间传递消息和数据，采用高扩展协议，支持扩展到1000个以上节点。
◆ 并行加载技术 利用并行数据流引擎，数据加载完全并行，加载数据可达到4。5T/小时（理想配置）。并且可以直接通过SQL语句对外部表进行操作 ◆ 支持行、列压缩存储技术 海量数据库支持ZLIB和QUICKLZ方式的压缩，压缩比可到10：1。压缩数据不一定会带来性能的下降，压缩表通过利用空闲的CPU资源，而减少I/O资源占用。 海量数据库除支持主流的行存储模式外，还支持列存储模式。如果常用的查询只取表中少量字段，则列模式效率更高，如查询需要取表中的大量字段，行模式效率更高。 海量数据库的多种压缩存储技术在提高数据存储能力的同时，也可根据不同应用需求提高查询的效率 2.1.3 主要局限 ● 列存储模式的使用有限制，不支持delete/update操作。 ● 用户不可灵活控制事务的提交，用户提交的处理将被自动视作整体事 务，整体提交，整体回滚。 ● 数据库需要额外的空间清理维护（vacuum），给数据库维护带来额外的 工作量。 ● 用户不能灵活分配或控制服务器资源。 ● 对磁盘IO有比较高的要求。 ● 备份机制还不完善，没有增量备份。 2.2 Vertica 2.2.1 基础架构 与以往常见的行式关系型数据库不同，Vertica 是一种基于列存储（Column-Oriented）的数据库体系结构，这种存储机构更适合在数据仓库存储和商业智能方面发挥特长。 常见的RDBMS 都是面向行（Row-Oriented Database）存储的，在对某一列汇总计算的时候几乎不可避免的要进行额外的I/O 寻址扫描，而面向列存储的数据库能够连续进行I/O 操作，减少了I/O 开销，从而达到数量级上的性能提升。 同时，Vertica 支持海量并行存储（MPP）架构，实现了完全无共享，因此扩展容易，可以利用廉价的硬件来获取高的性能，具有很高的性价比。