当前位置：文档之家 › 基于Hive的数据管理图形化界面的设计与实现

基于Hive的数据管理图形化界面的设计与实现

  • 格式：pdf
  • 大小：1.33 MB
  • 文档页数：4

89电信工程技术与标准化·2014年 第1期·东信北邮信息技术有限公司专栏EASTCOM-BUPT INFORMATION TECHNOLOGY CO., LTD. COLUMN

基于Hive的数据管理图形化界面的设计与实现 左谱军1,2，朱晓民1,2

（1 北京邮电大学网络与交换技术国家重点实验室，北京 100876；2 东信北邮信息技术有限公司，北京 100191）

摘　要

本文提出了一种对Hive进行图形化界面管理的设计方案，实现了用户对Hive数据仓库的数据表管理，数据查

看检索，以及用户对数据库的权限管理等功能，使用户可以友好的访问属于自己权限Hive数据内容。关键词

Hive；图形化界面；数据管理

中图分类号 TN915 文献标识码 A 文章编号

1008-5599（2014）01-0089-04

收稿日期：2013-12-05

* 基金项目：国家973计划项目（No. 2013CB329102）；国家自然科学基金资助项目（No. 61372120，61271019, 61101119, 61121001, 61072057,

60902051）；长江学者和创新团队发展计划资助（No. IRT1049）；北京市支持中央高校共建项目——青年英才计划。

为了处理海量的原始数据，很多大型数据仓库开发者和程序员在过去5年内实现了数以百计的、专用计算方法。这些计算方法可实现类似网络爬虫程序的文档抓取，Web请求日志处理等操作；也可处理各种类型的衍生数据。上述大多数数据处理运算由于输入的数据量巨大，想在可接受的时间内完成运算，现行条件下的单台机器无法满足要求，需要采取分布处理技术，亦即将这些计算分布在成百上千的主机上完成。针对大规模和超大规模数据的分布式计算处理技术成为倍受关注的工程研究课题。工程研发界普遍关注在互联网领域得以广泛应用的Hadoop技术，Hadoop是一个分布式系统基础架构，由Apache基金会开发，其主要子项目包含HDFS和MapReduce，HDFS是Hadoop的分布式文件系统，而MapReduce是Hadoop分布式计算框架[1]。

分布式数据存储仓库Hive是基于Hadoop的一种

数据仓库基础框架。因此在功能上有些不同于传统意义上的Orical和Mysql数据库，不支持随机插入记录和删除记录的操作。它能提供应用工具来支持数据提取，转化和加载（ETL），可用来查询，存储和分析存储在Hadoop中的大规模数据集。使用简单的类SQL语言，称为HQL（Hive Query Language，Hive查询语言）。

1 Hive技术构架Hadoop两个基础构架HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）和MapReduce同样是Hive架构的根基。如图1所示，Hive架构包括如下组件： CLI（Command Line Interface，命令行接口）、JDBC/ODBC、Thrift Server、Hive Web Interface、Metastore和Driver(Complier、Optimizer和Executor)，这些组件按照功能来分可以分为两大类：90

TELECOM ENGINEERING TECHNICS AND STANDARDIZATION·2014年 第1期·东信北邮信息技术有限公司专栏EASTCOM-BUPT INFORMATION TECHNOLOGY CO., LTD. COLUMN

服务端组件和客户端组件。1.1 服务端组件（1）Driver组件：该组件包括Complier、Optimizer和Executor，它的作用是将HQL（类SQL）语句进行解析、编译优化，生成执行计划，然后调用底层的MapReduce计算框架。（2）Metastore组件：元数据服务组件，所谓元数据，指的是Hive数据库或者数据表的属性信息，包括表结构，表名以及字段名等等信息。Metastore这个组件用来管理Hive的元数据，Hive的元数据信息持久化在关系数据库里，目前最新版本Hive-0.12.0支持的关系数据库有Derby、Mysql。元数据对于Hive十分重要，因此Hive支持把Metastore服务独立出来，安装到远程的服务器集群里，这样一来可以解耦Hive服务和Metastore服务，保证Hive运行的健壮性。 为了能够存储和管理Hive的元数据，从结构上说，Metastore组件包括两个部分：Metastore服务和后台数据的存储。后台数据存储的介质就是关系数据库，用例如Hive默认的嵌入式磁盘数据库Derby，还有Mysql数据库。Metastore服务是建立在后台数据存储介质之上，并且可以和Hive服务进行交互的服务组件，默认情况下，Metastore服务和Hive服务安装在一起，运行在同一个进程当中。也可以把Metastore服务从Hive服务里剥离出来，Metastore独立安装在一个集群里，Hive远程调用Metastore服务，这样可以把元数据这

一层放到防火墙之后，客户端访问Hive服务，就可以连接到元数据这一层，从而提供了更好的管理性和安全保障。使用远程的Metastore服务，可以让Metastore服务和Hive服务运行在不同的进程里，这样也保证了Hive的稳定性，提升了Hive服务的效率。（3）Thrift服务：Thrift是Facebook开发的一个软件框架，它用来进行可扩展且跨语言的服务的开发，Hive集成了该服务，能让不同的编程语言调用Hive的接口。1.2 客户端组件（1）CLI：Command Line Interface，命令行接口，用于操作Hive数据库和数据表。（2）Thrift客户端：上面的架构图里没有写上Thrift客户端，但是Hive架构的许多客户端接口是建立在Thrift客户端之上，包括JDBC和ODBC接口。（3）WEBGUI：Hive客户端提供了一种通过网页的方式访问Hive所提供的服务。这个接口对应Hive的hwi组件（Hive web interface），使用前要启动hwi服务。

2 平台设计的实现本文致力于开发一个基于Hive的数据管理图形化界面，底层以Hadoop和Hive平台为依托，针对轻技术人员，即普通的业务人员，使其可通过该平台实现数据管理。系统架构可以分成3个层次，如图2所示。2.1 客户端客户端实现的是对于数据表的基本操作，包含数据表的操作、数据库的操作以及数据展示，将客户端操作转化为相应的指令，提交到服务端执行。(1) 数据表的操作，Hive表是以数据和Hive表元数据分离的形式实现的，当创建一个数据表的时候，需要创建这两部分信息，Hive表的元数据存储在Mysql数据库，而数据存储在Hadoop集群上，以分布式文件

图1[2][3] Hive系统框架图91

电信工程技术与标准化·2014年 第1期·东信北邮信息技术有限公司专栏EASTCOM-BUPT INFORMATION TECHNOLOGY CO., LTD. COLUMN

的形式存在，由于Hadoop不支持对文件数据的随机修改，因此对于Hive表数据的添加只能以整个文件的形式上传，不支持对Hive表数据单条数据的插入，数据的删除同样不支持对单条数据记录的删除。Hive表的原数据包含的是数据表的属性，数据表是否是外部表，所谓外部表，就是修改的内容仅限于元数据，存储的位置，列名，列的类型，数据间隔等等。数据表的操作，包含清空，创建，删除，更改。(2) 数据的展示，数据展示所需要的是Hadoop集群上的数据，如果文件中数据需要正确展示，那么它数据的格式必须得匹配数据表的元数据，否则数据无法正确显示，例如，当文件中数据间隔以“\t”为间隔，而元数据设置数据表的格式以“\u0001”为间隔，在客户端就不能显示正确的数据。数据显示一次性显示100条数据，随着滚动条下拉，每次增量显示200条数据。数据表同时展示整个数据表内容所占空间的大小。(3) 数据库操作，对于不同的用户，拥有对不同数据库的操作权限，默认一个用户只能拥有3个数据库，但是操作的数据库格式不限，用户可以将一个数据库的操作权限赋予其他的用户，被赋予操作权限的用户只能对数据库的数据表进行操作，不能删除数据库，只有数据库的拥有者才能删除数据库。数据库里面包含数据表，数据库之间数据表可以相互移动。

2.2 客户端和服务端的通信客户端和服务端通信是通过Thrift工具实现，Thrift是一个服务端和客户端的架构体系，Thrift具有自己内部定义的传输协议规范(TProtocol)和传输数据标准(TTransports)，通过IDL脚本对传输数据的数据结构(struct) 和传输数据的业务逻辑(service)根据不同的运行环境快速的构建相应的代码，并且通过自己内部的序列化机制对传输的数据进行简化和压缩提高并发、 大型系统中数据交互的成本，图3描绘了Thrift的整体架构，分为6个部分：（1）业务逻辑实现(Your Code)，业务逻辑的实现需要自己编写特定的thrift-code。（2）客户端和服务端对应的Service，对于每一个客户端为建立一个连接。（3）执行读写操作的计算结果，由服务端执行，将结果返回给客户端。

（4）TProtocol，定义数据格式协议，包含二进制编码协议TBinaryProtocol 和高效率的、密集的二进制编码格式进行数据传输TCompactProtocol 。（5）TTransports，定义数据传输方式，包含阻塞式I/O进行传输TSocket和非阻塞方式TFramed Transport，底层只有一个服务，所以传输方式选择的事阻塞式I/O。

图2 基于Hive操作的图形化平台系统架构图3 Thrift的整体架构

合集下载

hive sql cube用法

hive sql cube用法

hive sql cube用法Hive SQL Cube用法：Hive SQL是一种用于分析大规模数据的工具，它提供了一种称为“Cube”的聚合函数，用于对数据进行多维度的汇总分析。

下面将介绍Hive SQL Cube的基本用法和使用案例。

Hive SQL Cube是一种用于执行OLAP（联机分析处理）的技术，在数据库中进行数据立方体的分析。

它可以根据多个维度对数据进行聚合，并生成多维度的聚合结果。

这可以帮助我们更深入地理解数据，揭示数据之间的潜在关系。

使用Hive SQL Cube进行分析需要遵循以下步骤：1. 创建Cube表：在Hive中创建一个表，并将数据加载到表中。

可以通过HiveQL语句创建表，定义表的列和数据类型，并使用LOAD DATA语句将数据加载到表中。

2. 定义维度和度量：根据需要选择要分析的维度和度量，并将它们在Hive中定义。

维度是描述数据的属性，例如时间、地理位置等，而度量是要分析的数值，例如销售额、订单数量等。

3. 使用Cube函数进行聚合：在Hive中使用Cube函数对数据进行聚合。

Cube 函数可以指定要进行聚合的维度，生成一个包含所有可能的维度组合的结果集。

4. 进行多维度分析：通过查询Cube表来进行多维度分析。

可以使用HiveQL语句选择特定的维度组合和度量，得出所需的分析结果。

以下是一个使用Hive SQL Cube实现销售数据分析的简单示例：```sql-- 创建Cube表CREATE TABLE sales (product_name STRING,category STRING,region STRING,revenue FLOAT);-- 加载数据到表中LOAD DATA LOCAL INPATH '/path/to/sales_data.csv' INTO TABLE sales; -- 定义维度和度量SET hive.groupby.skewindata=false;SET hive.groupby.mapaggr.checkinterval=300000;-- 使用Cube函数进行聚合SELECT product_name, category, region, SUM(revenue)FROM salesGROUP BY CUBE(product_name, category, region);-- 进行多维度分析SELECT *FROM sales_cube;```总之，Hive SQL Cube是一种强大的工具，能够帮助我们对大规模数据进行多维度分析和聚合。

FusionInsight大数据解决方案

FusionInsight大数据解决方案

Step by Step故障定位
清晰的step-by-step故障定位向导详细的告警信息，包括告警解释、对系统的影响、可能原因、处理步骤。可能原因与处理步骤一一对应，便于用户定位并解决问题。
FusionInsight简介FusionInsight组件介绍FusionInsight功能特性FusionInsight应用案例
“Master-1, Congratulations! You are the active one!”“Sorry, Master-2. The active seat has been taken by others. Please be patient!”
ZooKeeper原理
Hive原理 - 数据仓库工具
Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。
FusionInsight简介FusionInsight组件介绍FusionInsight功能特性FusionInsight应用案例
可靠性增强：组网隔离
网络类别
信任程度
说明
集群业务平面
高
Hadoop集群核心部件，业务数据在其中存储、流转。
集群管理平面
中
仅具备集群管理功能，不接触实际的业务数据。
集群外维护网络
低
仅能访问OMS Server提供的Web服务。
应用场景Hadoop是全分布式计算系统，要求业务节点之间全互联。这样管理平面、数据平面和维护平面之间完全互联互通，会带来可靠性、安全性的风险。解决方案FusionInsight支持将网络划分为三级：集群业务平面、集群管理平面和集群外维护网络，彼此之间实施物理隔离。用户价值避免业务平面的高负载阻塞集群管理通道。阻止外部攻击者通过管理通道入侵实际业务数据。
Hive（二）hive的基本操作

Hive（二）hive的基本操作

Hive（⼆）hive的基本操作⼀、DDL操作（定义操作）1、创建表（1）建表语法结构CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)] //字段注释[COMMENT table_comment] //表的注释[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] //分区，前⾯没有出现的字段[CLUSTERED BY (col_name, col_name, ...) //分桶，前⾯出现的字段[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS][ROW FORMAT row_format][STORED AS file_format][LOCATION hdfs_path]分区：不⽤关注数据的具体类型，放⼊每⼀个分区⾥；分桶：调⽤哈希函数取模的⽅式进⾏分桶（2）建表语句相关解释create table：创建⼀个指定名字的表。

如果相同名字的表已经存在，则抛出异常；⽤户可以⽤ IF NOT EXISTS 选项来忽略这个异常。

external :关键字可以让⽤户创建⼀个外部表，在建表的同时指定⼀个指向实际数据的路径（ LOCATION）， Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。

在删除表的时候，内部表的元数据和数据会被⼀起删除，⽽外部表只删除元数据，不删除数据。

(经典⾯试问题)partitioned :在 Hive Select 查询中⼀般会扫描整个表内容，会消耗很多时间做没必要的⼯作。

有时候只需要扫描表中关⼼的⼀部分数据，因此建表时引⼊了 partition 概念。

hive面试题及答案

hive面试题及答案

hive面试题及答案1. 什么是Hive？Hive是一种基于Hadoop的数据仓库基础设施，它提供了类似于SQL的查询语言，使得开发人员可以使用类似于关系型数据库的查询方式来分析大规模的数据。

2. Hive的主要特点是什么？- 基于Hadoop：Hive是构建在Hadoop技术栈之上，可以利用Hadoop的分布式存储和计算能力来处理大数据。

- 可扩展性：Hive可以处理大规模的数据集，可以水平扩展以适应不断增长的数据。

- 易于使用：Hive使用类似于SQL的查询语言（HQL）来进行数据分析和查询，使得开发人员更容易上手和使用。

- 多种数据格式支持：Hive支持多种数据格式，包括文本、序列文件、Avro、Parquet等，可以适应不同的数据存储格式。

3. Hive的体系结构是怎样的？Hive的体系结构主要包含以下几个组件：- 用户界面（Client Interface）：提供给用户进行交互的命令行界面或图形用户界面。

- 元数据（Metadata）：用于存储表、分区、列等元数据信息的数据库，可以使用不同的元数据存储后端，如Derby、MySQL等。

- 编译器（Compiler）：负责将HQL语句编译为Hadoop MapReduce程序或Hive的可执行代码。

- 查询优化器（Query Optimizer）：对查询进行优化，以提高查询性能和效率。

- 执行引擎（Execution Engine）：执行优化后的查询语句并生成结果。

- 存储管理器（Storage Handler）：用于与底层存储系统进行交互，如HDFS、HBase等。

4. Hive支持的数据存储格式有哪些？Hive支持多种数据存储格式，包括：- 文本文件（Text File）：以文本形式存储的数据文件，适用于简单的文本格式数据。

- 序列文件（Sequence File）：一种二进制文件格式，适用于大规模数据的存储和处理。

- Avro：一种开放的数据序列化格式，支持动态模式演化和跨语言交互。