当前位置：文档之家 › 基于HBase的数据压缩技术研究

基于HBase的数据压缩技术研究

  • 格式：pdf
  • 大小：1.67 MB
  • 文档页数：71

研究生签名：____________ 导师签名：____________ 日期：_____________
万方数据
摘要
随着大数据技术的发展以及 Hadoop 等大数据平台的迅速普及与推广， 生活中产生的数据 量呈现爆炸性增长的趋势，数据种类呈现复杂化，存储方式呈现多样化。传统的基于行存储 的大数据存储方式并不能够以较低的成本将大数据存储起来。与此同时，由于数据的访问频 度的不同，对于不同访问级别的数据所采用的存储方式提出了新的要求。针对以上情况，结 合大数据平台下的 HBase 数据库，本文对大规模数据环境下基于 HBase 的压缩存储技术进行 了研究，主要的创新点如下： 首先，提出一种基于访问频度的数据分类方法：根据一段时间内数据库文件的访问次数 得到相应的访问频度，依据各数据文件的访问频度及相关阈值将数据文件划分为冷热数据并 确定具体的访问级别。在此基础之上，提出基于数据访问级别的压缩策略选择方法：定义了 确定数据样本的抽样方法，针对原有的压缩策略选择方法中先验知识未必可靠的缺陷，通过 添加评估层及时调整先验知识，并在基于相邻参照区和基于统计列选择方法的基础上设计出 HBase 数据压缩策略选择方法，优化存储成本。仿真实验与结果表明，本文提出的方法不仅 能够有效实现大数据的存储，同时还提高了数据的访问性能。 其次，从数据迁移的角度，提出一种基于文件价值的数据迁移方法。首先，根据数据访 问频度等因素计算出数据块文件的价值，由这个文件价值得到数据迁移的目的设备。同时改 进了数据迁移技术，利用数据缓冲区和双缓冲队列解决了数据迁入迁出速率不匹配的问题， 提高了数据迁移效率，节省了内存和时间消耗，最终实现了对大数据平台数据的存储优化。 最后，基于以上的方法与理论，本文构建了基于数据压缩存储的原型系统并给出一个电 子商务应用示范。系统的实现遵循需求分析、概要设计、详细设计及其实现等流程，完成压 缩存储管理、数据迁移等功能模块，验证了本文提出算法的可行性，展现了基于 HBase 的压 缩技术理论成果在动态场景下的应用效果。
By Caihang Fu Supervisor: Prof. Haiyan Wang March 2016
万方数据
南京邮电大学学位论文原创性声明
本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。
II
万方数据
process, such as complete compression storage management, data migration, such as function modules, the feasibility of the proposed algorithm is verified, the results showed the compression technology based on HBase theory in dynamic situations of application effect. Key words:cold and hot data, data access level, HBase,data coon
单位代码： 10293
密
级：
硕 士 学 位 论 文
论文题目： 基于 HBase 的数据压缩技术研究
学 姓 导 学 研 科 究 专 方
号 名 师 业 向
1013041118 伏彩航 王海艳 软件工程
_ _ _ _
网络环境下软件理论与技术 _ 工学硕士 2016 年 3 月 _ _
申请学位类别 论文提交日期
关键词: 冷热数据，访问级别，HBase，数据压缩，数据迁移
I
万方数据
Abstract
With the development of the technology of big data and the rapid popularization and promotion of Hadoop platform, in daily life the amount of data shows the tendency of explosive growth, many types of data are becoming complicated and storage ways of data are various. Traditional way of large data storage is not able to lower the cost of large data stored. At the same time, because of the different data access frequency, the way of data storage of different access level are different. In view of the above situation, this thesis based on the compression of HBase under the environment of mass data storage technology are studied, the main innovation points are as follows: First of all, the thesis puts forward a data classification method based on the access frequency: according to the number of visits the database file over a period of time to get the corresponding access frequency, according to the access frequency of each data file and related threshold could be divided into hot and cold data file data and determine the specific level of access. On this basis, put forward based on the data access level compression strategy selection method: defines the data samples to determine the sampling method, in view of the original compression strategy choice method of defects of the prior knowledge is not necessarily reliable by adding evaluation layer adjust prior knowledge, and based on the reference region and the adjacent column selection method based on the statistics on the basis of design the HBase data compression strategy selection methods, optimize the storage costs. Simulation experiments and the results show that the proposed method not only can effectively realize large data storage, but also improve the performance of data access. Secondly, from the perspective of data migration, the thesis puts forward a method based on the value of the file data migration. First of all, based on factors such as data access frequency calculated the value of a block of data files, and by the value of the file to get the purpose of data migration. At the same time improve the data migration technology, using the data buffer and double buffer queue to solve the data into emigration rate mismatch problem, improve the efficiency of data migration, saving memory and time consumption, finally achieved the big data platform data storage optimization. Finally, based on the above theory and method, this thesis built a prototype system based on data compression storage and an e-commerce application demonstration. The realization of the system follows the requirements analysis, general design, detailed design and its implementation

合集下载

高并发时序数据库的设计与实现研究

高并发时序数据库的设计与实现研究

高并发时序数据库的设计与实现研究近年来，随着云计算、大数据、物联网等技术的兴起，时序数据的应用越来越广泛。

例如，智能家居、物流监控、金融交易等领域都需要对时序数据进行存储、查询和分析。

然而，随着数据规模的增大和查询频率的提高，传统的关系型数据库已经无法满足高并发时序数据处理的需求。

因此，高并发时序数据库成为了一个热门的研究领域。

一、时序数据库的特点时序数据库的特点主要包括三个方面：高并发、高容量和高性能。

首先，时序数据的采集非常频繁，一般以毫秒或微秒为单位进行采集。

因此，处理这些数据的数据库需要具备高并发处理能力，可以支持上万次的并发读写操作。

其次，时序数据的存储量非常大，一般以天、月、年为单位进行统计和分析。

因此，时序数据库需要具备高容量存储能力，可以支持PB级别的数据存储。

最后，由于时序数据的查询、分析和处理需要实时性能，因此时序数据库需要具备高性能的查询能力，可以在毫秒或秒级别内完成复杂的数据查询和分析操作。

二、高并发时序数据库的架构设计高并发时序数据库的架构设计需要考虑多个方面，包括数据采集、存储、索引、缓存、查询等。

下面我们将分别对这些方面进行详细的描述。

1. 数据采集数据采集是高并发时序数据库的关键，一般通过网络或传感器等方式采集数据。

在采集时，需要考虑采样频率、采样精度和数据压缩等问题。

采样频率的选择需要结合实际应用场景进行规划，一般一秒钟或一毫秒进行一次采集。

采样精度和数据压缩则需要根据存储容量和数据处理能力来进行规划。

2. 数据存储数据存储是高并发时序数据库的核心，一般采用分布式存储的方式进行存储。

由于时序数据的写入和查询比较频繁，因此需要采用高可扩展性的存储架构。

常用的分布式存储技术包括基于Hadoop的HBase、基于Cassandra的ScyllaDB、基于InfluxDB的Kapacitor等。

3. 索引机制时序数据的查询一般以时间为关键词进行查询，因此索引机制是高并发时序数据库的另一个重要方面。

01_尚硅谷大数据之HBase简介

01_尚硅谷大数据之HBase简介

第1章HBase简介1.1 什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE 技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。

HBASE是Google Bigtable的开源实现，但是也有很多不同之处。

比如：Google Bigtable 利用GFS作为其文件存储系统，HBASE利用Hadoop HDFS作为其文件存储系统；Google 运行MAPREDUCE来处理Bigtable中的海量数据，HBASE同样利用Hadoop MapReduce来处理HBASE中的海量数据；Google Bigtable利用Chubby作为协同服务，HBASE利用Zookeeper作为对应。

1.2 HBase中的角色1.2.1 HMaster功能：1) 监控RegionServer2) 处理RegionServer故障转移3) 处理元数据的变更4) 处理region的分配或移除5) 在空闲时间进行数据的负载均衡6) 通过Zookeeper发布自己的位置给客户端1.2.2 RegionServer功能：1) 负责存储HBase的实际数据2) 处理分配给它的Region3) 刷新缓存到HDFS4) 维护HLog5) 执行压缩6) 负责处理Region分片1.2.3 其他组件：1) Write-Ahead logsHBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。

但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。

所以在系统出现故障的时候，数据可以通过这个日志文件重建。

基于开源工具的HBase 监控与问题分析

基于开源工具的HBase 监控与问题分析

0 引言HBase作为一种可扩展的NOSQL数据库，能够部署到上千台机器上，存储数十亿行，在PB级别数据量上提供根据Rowkey的低延迟接口查询[1]。

HBase自身已经实现了一定程度的容错性高可用性。

但要想稳定的使用HBase提供实时接口查询，需要建立对HBase应用的一整套监控和分析方法。

这需要建立对整个接口查询链路上各种组件的监控，这些组件包括了调用HBase服务的Tomcat、WebLogic等常见Web容器，以及HBase 和HDFS实例。

并且还要引入一些开源工具对Web容器实例、HBase实例、HDFS实例进行性能分析和故障分析。

客户端访问HBase应用的整个链路涉及到若干个部分，包括HBase客户端、HBase服务、HDFS服务和操作系统。

分析HBase应用需要监控以上服务或基础设施的关键指标。

1 服务端监控1.1 监控指标服务端监控指标包括Kerberos服务、HBase服务、HDFS服务和服务端主机监控指标。

Kerberos认证服务监控指标包括KDC的服务状态、KDC的认证时长。

HBase服务监控指标包括HBase Master监控、Region Server监控、Table监控、Region监控几部分。

（1）HBase Master监控指标包括Region Assign指标、Server指标。

Region Assign监控指标包括RIT时长、RIT数量、Assign次数、批量Assign次数；Server 指标包括平均负载、Active RegionServer数量、Dead RegionServer数量、总请求数。

（2）RegionServer监控指标包括JVM指标、线程指标、Server指标、IPC指标。

JVM指标包括堆内存使用率、GC时长、GC次数、阻塞线程数、可运行线程数、等待线程数、定时等待线程数；线程指标包括当前线程数量、线程数量峰值；Server指标包括Region数量、Store数量、读取请求数、写入请求数、分裂队列长度、刷新队列长度、压缩队列长度、hedge读取次数；IPC指标包括队列长度、打开连接数、P75处理时长、P90处理时长、P95处理时长、P98处理时长、P99处理时长、P999处理时长、P75队列时长、P90队列时长、P95队列时长、P98队列时长、P99队列时长、P999队列时长。

《基于HBase的电力数据压缩存储系统设计与实现》

《基于HBase的电力数据压缩存储系统设计与实现》

《基于HBase的电力数据压缩存储系统设计与实现》一、引言随着智能电网的快速发展，电力数据的采集、存储和分析已成为电力行业的重要研究方向。

海量的电力数据不仅要求高效的存储管理，还需要快速的数据分析和检索能力。

因此，基于HBase的电力数据压缩存储系统的设计与实现，为电力数据的存储和处理提供了有效的解决方案。

本文旨在介绍该系统的设计原理、关键技术及其实现过程。

二、系统设计1. 系统架构本系统基于HBase分布式数据库进行设计，采用主从式架构，主要由数据采集层、数据压缩层、数据存储层和数据分析层四部分组成。

其中，数据采集层负责从各种设备中获取电力数据；数据压缩层采用高效的压缩算法对数据进行压缩处理；数据存储层利用HBase的分布式特性，将压缩后的数据存储在分布式文件系统中；数据分析层则提供数据的查询、分析和挖掘功能。

2. 数据压缩算法选择为了满足电力数据的存储需求，本系统采用了一种结合了无损压缩和有损压缩的混合压缩算法。

该算法在保证数据准确性的同时，通过去除数据冗余，降低数据存储空间占用。

此外，针对电力数据的特性，我们还设计了一种针对特定类型数据的定制化压缩算法，进一步提高压缩效率。

三、关键技术实现1. 数据采集与预处理数据采集层通过传感器、智能电表等设备实时采集电力数据。

在数据传输过程中，我们采用数据加密和校验技术，确保数据的完整性和安全性。

预处理阶段主要对数据进行清洗、格式化和标准化处理，以便于后续的压缩和存储操作。

2. 数据压缩处理数据压缩层采用混合压缩算法对预处理后的数据进行压缩。

首先，我们使用无损压缩算法对数据进行初步压缩，去除数据中的冗余部分。

然后，根据电力数据的特性，采用定制化有损压缩算法对特定类型的数据进行深度压缩。

最后，将压缩后的数据以二进制形式存储在分布式文件系统中。

3. 数据存储与检索数据存储层利用HBase的分布式特性，将压缩后的数据以键值对的形式存储在HDFS中。

HBase提供了高效的读写性能和灵活的数据模式，能够满足电力数据的存储需求。