基于Bigtable的分布式数据库技术研究与应用

龙源期刊网

基于分布式技术数据库容灾备份系统的构建研究

作者：朱鹏

来源：《计算机光盘软件与应用》2013年第01期

摘要：目前，数据库系统是企事业单位、政府机构中必不可少的信息管理系统的组成部分。本文结合企业项目，在分析了数据库备份建设的意义基础上，提出了一套完善的数据库容灾备份系统设计方案，能够实现企业各个分公司、子公司数据库的数据备份和数据共享。

关键词：分布式技术；数据库系统；容灾备份

中图分类号：TP309 文献标识码：A 文章编号：1007-9599 （2013） 01-0127-02

1 数据库容灾备份系统建设意义

目前，数据库已经在社会各个行业得到了广泛应用，各大企事业单位、政府机关和组织机构对于数据库系统的需求越来越多，数据库已经成为了信息管理系统中的重要组成部分，能够有效保障企业单位高速处理海量数据信息。数据库系统中存储了大量涉密和重要的数据信息，一旦遭到破坏容易造成数据信息的窃取和丢失，给企业单位带来重大的经济损失。因此，只有及时备份数据库系统中的数据信息，才能够在数据库系统遭到破坏之后能够恢复还原数据信息，通过数据容灾备份技术能够保证数据库系统安全稳定运行，因此，开发建设一套完善的数据库容灾备份系统意义重大。

2 数据库容灾备份系统总体设计

2.1 系统网络环境设计

某集团分公司、子公司遍布全国，公司之间数据信息的传输是基于广域网完成的，每个分公司、子公司都建设了虚拟局域网，从而保证数据信息传输安全可靠。各个分公司、子公司内部都建设了独立局域网，数据库服务器和应用服务器均部署在局域网中，因此，基于应用服务器架构数据库容灾备份系统，可以对数据库服务器中的数据库进行相关操作和处理。

2.2 系统体系结构设计

数据库容灾备份系统采用C/S体系架构模式，系统包括客户端和服务器端两个部分，客户端主要负责从数据库系统中获取需要进行备份的数据信息，再将这些数据信息传送到服务器端，待服务器端接收到数据信息之后，最后将其写入到目的数据库中。

基于嵌入式技术的分布式系统研究与应用

1.基于嵌入式技术的分布式系统的关键性因素

1.1结构

在分布式系统结构当中，所谓的分布并不是人们常说的分散，而是说整个系统的数据采集包括系统运行过程当中的相应控制等功能上时相对比较分散的，分布系统中的每一个功能都是相对独立存在的，我们根据上述特点将分布式系统分为了三个等级：总控设备控制着集控端1、2、3、n个，而集控端1又会控制着测控的终端，测控终端也是1、2、3、n个，测控终端最终还会控制着被控对象，这一对象的控制情况主要取决于整个系统的被控对象的多少。在这三级设备当中，测控终端其实是第一级的，它所面向的是被测控的设备，主要是完场对象的数据采集、控制等工作;第二级是集中控制检测端，它主要的作用是检测控制数据的集中和数据出现的异常情况，并将这些情况及时的反馈给上一级;第三极是总控设备，它一般情况下都是由一台服务器组成的，实现总体数据的集中性管理，控制命令的发送以及异常情况的处理等等。

1.2数据通信

分布式系统的数据通信服务是基于端口和端口组的基础通信服务，因此所具备的特点较多，主要有以下几点：(1)针对性较强：它主要是指测控系统内所传输的内容形式是一致的，是可以进行预先确定的;(2)可靠性：分布式测控系统在通信网络中的要求非常高，第一点就是对其可靠性的要求，也就是要求数据的传输一定要稳定可靠;(3)较大的数据量：它主要是指测控系统在输入数据较多，采集精度较大的情况下，能够产生大量的实时数据;因此我们在构建分布系统时要根据实际的场合以及所使用的环境，针对与之相适应的组网方式进行确定。

1.3任务管理

分布式系统所涉及的处理机比较多，而且分布式系统不像其他系统的网络环境那么简单，分布式系统的网络环境是非常复杂的，有的时候有可能会出现多个指令同时执行，因此进行任务调度是非常有必要的，基于嵌入式技术的分布式系统中的任务主要分为两种任务形式，一种是周期性的，一种是非周期性的任务。

本翻译论文源于厦门大学计算机系数据库实验室林子雨老师的云数据库技术资料专区 /cloud_database_view

第 1页/共19页 翻译：厦门大学计算机系教师 林子雨 /linziyu Google Spanner （中文版） 翻译者：厦门大学计算机系教师 林子雨 翻译时间：2012年9月 E-mail: ziyulin@ 个人主页：/linziyu 【摘要】：Spanner是谷歌公司研发的、可扩展的、多版本、全球分布式、同步复制数据库。它是第一个把数据分布在全球范围内的系统，并且支持外部一致性的分布式事务。本文描述了Spanner的架构、特性、不同设计决策的背后机理和一个新的时间API，这个API可以暴露时钟的不确定性。这个API及其实现，对于支持外部一致性和许多强大特性而言，是非常重要的，这些强大特性包括：非阻塞的读、不采用锁机制的只读事务、原子模式变更。 【关键词】Google Spanner, Bigtable, distributed database 【全文目录结构】 1. 介绍 2. 实现 2.1 Spanserver软件栈 2.2 目录和放置 2.3 数据模型 3. TrueTime 4. 并发控制 4.1 时间戳管理 4.2 细节 5. 实验分析 5.1 微测试基准 5.2 可用性 5.3 TrueTime 5.4 F1 6. 相关工作 7. 未来的工作 8. 总结 致谢 参考文献 1 介绍 Spanner是一个可扩展的、全球分布式的数据库，是在谷歌公司设计、开发和部署的。在最高抽象层面，Spanner就是一个数据库，把数据分片存储在许多Paxos[21]状态机上，这些机器位于遍布全球的数据中心内。复制技术可以用来服务于全球可用性和地理局部性。客户端会自动在副本之间进行失败恢复。随着数据的变化和服务器的变化，Spanner会自动把数据进行重新分片，从而有效应对负载变化和处理失败。Spanner被设计成可以扩展到几百万个机器节点，跨越成百上千个数据中心，具备几万亿数据库行的规模。 应用可以借助于Spanner来实现高可用性，通过在一个洲的内部和跨越不同的洲之间复制数据，保证即使面对大范围的自然灾害时数据依然可用。我们最初的客户是F1[35]，一个本翻译论文源于厦门大学计算机系数据库实验室林子雨老师的云数据库技术资料专区 /cloud_database_view

常用列式数据库

常用列式数据库

概述

列式数据库是一种基于列而非行的数据存储方式，它将同一列的数据存储在一起，而不是将整行数据存储在一起。这种存储方式可以提高查询效率，并且适用于大型数据集和复杂的分析查询。

本文将介绍几种常用的列式数据库，包括Apache Cassandra、Google Bigtable、Amazon Redshift和Vertica。

Apache Cassandra

Apache Cassandra是一个开源分布式NoSQL数据库系统，最初由Facebook开发。它使用了类似于Google Bigtable的数据模型，并且具有高可扩展性和高可用性。

特点：

1. 分布式架构：Cassandra可以在多个节点上运行，并且支持自动分片和负载均衡。

2. 数据复制：Cassandra可以自动将数据复制到多个节点上，以提高可用性和容错性。

3. 数据模型：Cassandra使用了类似于Google Bigtable的数据模型，即键值对+列族。每个键值对都包含一个主键和多个列族。

4. 支持ACID事务：Cassandra支持原子性、一致性、隔离性和持久性（ACID）事务。

5. 灵活的查询语言：Cassandra支持类似于SQL的查询语言（CQL），同时还支持更灵活的查询方式，如范围查询和分页查询。

Google Bigtable

Google Bigtable是一个高性能、高可扩展性的分布式列式数据库系统，用于存储大型数据集。它最初由Google开发，并且作为Google

Cloud Platform的一部分提供。

特点：

1. 分布式架构：Bigtable可以在多个节点上运行，并且支持自动分片和负载均衡。

2. 数据模型：Bigtable使用了类似于哈希表的数据模型，即键值对+列族。每个键值对都包含一个行键、一个列族和一个时间戳，而每个列族包含多个列。

3. 高性能：Bigtable具有高性能的读写能力，并且可以处理大量并发请求。