Hive 知识点总结

hive基础总结（⾯试常⽤）hive是基于Hadoop的⼀个数据仓库⼯具，可以将结构化的数据⽂件映射为⼀张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进⾏运⾏。

Metastore （hive元数据）Hive将元数据存储在数据库中，⽐如mysql ,derby.Hive中的元数据包括表的名称，表的列和分区及其属性，表的数据所在的⽬录Hive数据存储在HDFS，⼤部分的查询、计算由mapreduce完成Hive数据仓库于数据库的异同(1）由于Hive采⽤了SQL的查询语⾔HQL，因此很容易将Hive理解为数据库。

其实从结构上来看，Hive和数据库除了拥有类似的查询语⾔，再⽆类似之处。

（2）数据存储位置。

hdfs raw local fs（3）数据格式。

分隔符（4）数据更新。

hive读多写少。

Hive中不⽀持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。

INSERT INTO … VALUES添加数据，使⽤UPDATE … SET修改数据不⽀持的HDFS ⼀次写⼊多次读取（5）执⾏。

hive通过MapReduce来实现的⽽数据库通常有⾃⼰的执⾏引擎。

（6）执⾏延迟。

由于没有索引，需要扫描整个表，因此延迟较⾼。

另外⼀个导致Hive执⾏延迟⾼的因素是MapReduce框架（7）可扩展性（8）数据规模。

hive⼏种基本表类型：内部表、外部表、分区表、桶表内部表（管理表）和外部表的区别：创建表外部表创建表的时候，不会移动数到数据仓库⽬录中（/user/hive/warehouse），只会记录表数据存放的路径内部表会把数据复制或剪切到表的⽬录下删除表外部表在删除表的时候只会删除表的元数据信息不会删除表数据内部表删除时会将元数据信息和表数据同时删除表类型⼀、管理表或内部表Table Type: MANAGED_TABLEcreate table if not exists dept(deptno int,deptname string,address string)row format delimited fields terminated by '\t';//加载HDFS⽂件到Hive表中load data inpath '/input/dept.txt' into table dept;//⽤来指定原⽂件的列分隔符row format delimited fields terminated by '\t';load 如果操作的HDFS上的⽂件，代表着会移动或者剪切⽂件desc formatted dept; //描述表结构信息Location: hdfs://bigdata/user/hive/warehouse/db01.db/deptTable Type: MANAGED_TABLE表类型⼆、外部表create external table emp(empno int,empname string,empjob string,mgno int,birthday string,salary float,bonus float,depno int)row format delimited fields terminated by '\t'location '/input/demo';//描述表结构desc formatted emp;Location: hdfs://bigdata/input/demoTable Type: EXTERNAL_TABLE删除内部表drop table dept;删除外部表drop table emp;清空表数据truncate table student;表类型三、分区表分区表创建表的时候需要指定分区字段，分区字段与普通字段的区别：分区字段会在HDFS表⽬录下⽣成⼀个分区字段名称的⽬录，⽽普通字段则不会，查询的时候可以当成普通字段来使⽤，⼀般不直接和业务直接相关。

一、文档说明熟悉Hive功能，了解基本开发过程，及在项目中的基本应用。

注意：本文档中但凡有hive库操作的语句，其后面的“；”是语句后面的，非文档格式需要。

每个hive语句都要以“；”来结束，否则将视相邻两个分号“；”之间的所有语句为一条语句。

二、Hive（数据提取）概述Hive是构建在HDFS 和Map/Reduce之上的可扩展的数据仓库。

是对HADOOP的Map-Reduce进行了封装，类似于sql语句（hive称之为HQL）计算数据从而代替编写代码对mapreduce的操作，数据的来源还是HDFS上面的文件。

Hive中的表可以分为托管表和外部表，托管表的数据移动到数据仓库目录下，由Hive管理，外部表的数据在指定位置，不在Hive的数据仓库中，只是在Hive元数据库中注册。

创建外部表采用“create external tablename”方式创建，并在创建表的同时指定表的位置。

Hive本身是没有专门的数据存储格式，也没有为数据建立索引，只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。

所以往Hive表里面导入数据只是简单的将数据移动到表所在的目录中（如果数据是在HDFS上；但如果数据是在本地文件系统中，那么是将数据复制到表所在的目录中）。

三、Hive的元数据Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

由于Hive的元数据需要不断的更新、修改，而HDFS系统中的文件是多读少改的，这显然不能将Hive的元数据存储在HDFS中。

目前Hive将元数据存储在数据库中，如Mysql、Derby中。

Hive metastore 三种存储方式：Hive的meta 数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。

远端存储比较适合生产环境。

1、使用derby数据库存储元数据（内嵌的以本地磁盘作为存储），这称为“内嵌配置”。

HiveHiveQL基础知识及常⽤语句总结基础语句CREATE DROP建表、删表建表---------------------------------------- 1. 直接建表---------------------------------------- 创建⾮分区表时，省去后半部分即可create table if not exists table_name(id string comment 'id ',num string comment '数值')partitioned by (ym string comment '⽉份 ');---------------------------------------- 2. 复制其他表的表结构--------------------------------------create table if not exists new_table like old_table;---------------------------------------- 3. 从其他表选取数据创建并插⼊新表--------------------------------------create table if not exists new_table asselect * from old_table;删表drop table table_name ;ALTER更改表结构分区添加分区alter table table_nameadd if not exists partition (y='2016',m='12');删除分区ALTER TABLE table_name DROP IF EXISTS PARTITION (ym='201706');重命名分区ALTER TABLE table_name PARTITION (y='2017',m='05')RENAME TO PARTITION (y='2017',m='06');列删除列ALTER TABLE table_name DROP COLUMN id;增加列Alter table table_name add COLUMNS (id string comment '代号');修改列 (此处可⽤于修改字段注释)ALTER TABLE table_name CHANGE id level string comment '层级代号';替换列ALTET TABLE table_name REPLACE COLUMNS(id_new string COMMENT '新字段1', level_new string COMMENT '新字段2');表重命名表名ALTER TABLE old_table RENAME TO new_table;INSERT插⼊插⼊单条数据（Hive 已⽀持单条插⼊）insert into table_name values(201705,'lol');插⼊分区表insert overwrite table table_name PARTITION (y='2017',m='01')select *from table_name_2where pt = concat('2017','01');LOAD载⼊重写载⼊分区表（⾮分区表同理）LOAD DATA LOCAL INPATH 'total.txt' overwrite into table table_name partition (y='2016',m='12');其他语句其他基础SQL类似的语句不再赘述，此处再多列举⼏个常⽤语句：-- 列举库或表SHOW DATABASES/TABLES;-- 根据关键字查找库或表SHOW DATABASES/TABLES LIKE "*keyword*";-- 列举所有函数SHOW FUNCTIONS;-- 查看分区SHOW PARTITIONS test_table;-- 查看建表语句SHOW CREATE TABLE table_name;-- 详细描述，包括建表时间、最后更新时间、⾏数统计等。

hive的基础知识-回复Hive的基础知识[Hive的基础知识]，作为一个开源的数据仓库基础设施，是构建在Hadoop之上的。

它提供了一个简单方便的方式，让用户能够利用SQL 查询分析大规模的数据。

相对于传统的关系型数据库，Hive的优势在于其可扩展性和容错性。

一、Hive的概述Hive最初由Facebook开发，其目标是为了解决处理大规模数据的难题。

Hive实际上是建立在Hadoop上的一个数据仓库基础设施，可以将结构化数据映射到Hadoop的分布式文件系统（HDFS）上，并提供完整的查询语言。

与传统的关系型数据库相比，使用Hive可以在海量数据上进行更快速的查询和分析，同时还能利用Hadoop的并行处理能力。

二、Hive的架构Hive的架构主要分为三部分：Metastore、Hive Query Language （HQL）和Execution Engine。

1. Metastore（元数据存储）Hive的Metastore存储着Hive的表结构信息，包括表的名称、列的类型、表的分区等。

Metastore可以将这些元数据存储在本地文件系统、MySQL等数据库中。

2. Hive Query Language（HQL）Hive使用Hive Query Language（HQL）作为查询语言，这是一种类似于SQL的语言，用于执行查询和数据处理操作。

HQL可以用来创建表、加载数据、执行查询等。

3. Execution Engine（执行引擎）Hive的执行引擎负责将HQL查询转化为MapReduce操作。

它将HQL查询拆分成一系列的Map和Reduce任务，然后将这些任务提交给Hadoop集群进行执行。

执行引擎可以选择使用Tez、Spark等不同的计算框架。

三、Hive表的创建与数据加载Hive的表可以通过HQL语句来创建，可以指定表的名称、表的字段和字段类型等信息。

以下是一个创建表的示例：sqlCREATE TABLE employees (id INT,name STRING,age INT,department STRING)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','STORED AS TEXTFILE;上述示例中，我们创建了一个名为employees的表，有四个字段：id、name、age和department。

Hive基础知识DBS表：存储数据库信息(在hdfs上的存储路径)TBLS表：存储表信息的COLUMNS_V2表：存储表字段hive建⽴⼀张表的内在机制：1. 在mysql中记录这张表的定义；2. 在hdfs中创建⽬录；3. 只要把数据⽂件都到⽬录下，就可以在hive中进⾏查询了；4. 因此，不同的hive只要是操作的同⼀个mysq，同⼀个hdfs集群，看到的数据是⼀致的；2.1 基本的使⽤⽅式1. 让提⽰符显⽰当前库()：hive>set hive.cli.print.current.db=true;2. 显⽰查询结果时显⽰表的字段名称：hive>set hive.cli.print.header=true;以上设置都仅仅在该会话中有效，结束会话后就失效，解决⽅式：在linux的当前⽤户主⽬录中，编辑⼀个.hiverc（隐藏⽂件）⽂件，将参数写⼊其中：vi .hiverc（hive启动的时候会⾃动去当前⽤户⽬录下加载这个⽂件）set hive.cli.print.header=true;set hive.cli.print.current.db=true;2.2 hive执⾏脚本两个命令：hive -ehive -fhive -e 使⽤⽅式 hive -e "insert into table t_dest select * from t_src;"在任何地⽅(没有进⼊hive会话的情况) hive -f 使⽤情况 hive -f ftl.sql(当sql语句较多时，写⼊脚本中，运⾏脚本即可)#!/bin/bashhive -e "select * from db_order.t_order"hive -e "select * from default.t_user"hql="create table default.t_bash as select * from db_order.t_order"hive -e "$hql"2.3 hive 使⽤1、创建数据库hive中有⼀个默认的库： 库名： default 库⽬录：hdfs://hdp20-01:9000/user/hive/warehouse新建库： create database db_order; 库名：库建好后，在hdfs中会⽣成⼀个库⽬录（库名.db）： 库⽬录：hdfs://hdp20-01:9000/user/hive/warehouse/db_order.db2、建表基本建表语句use db_order;create table t_order(id string,create_time string,amount float,uid string);表建好后，会在所属的库⽬录中⽣成⼀个表⽬录/user/hive/warehouse/db_order.db/t_order只是，这样建表的话，hive会认为表数据⽂件中的字段分隔符为 ^A正确的建表语句为：create table t_order(id string,create_time string,amount float,uid string)row format delimitedfields terminated by ',';这样就指定了，我们的表数据⽂件中的字段分隔符为 ","3、删除表drop table t_order;删除表的效果是： hive会从元数据库中清除关于这个表的信息； hive还会从hdfs中删除这个表的表⽬录；4、外部表和内部表内部表(MANAGED_TABLE)：表⽬录按照hive的规范来部署，位于hive的仓库⽬录/user/hive/warehouse中外部表(EXTERNAL_TABLE)：表⽬录由建表⽤户⾃⼰指定create external table t_access(ip string,url string,access_time string)row format delimited fields terminated by ',' location '/access/log';外部表和内部表的特性差别： 1、内部表的⽬录在hive的仓库⽬录中 VS 外部表的⽬录由⽤户指定 2、drop⼀个内部表时：hive会清除相关元数据，并删除表数据⽬录 3、drop⼀个外部表时：hive只会清除相关元数据；外部表的作⽤：对接最原始的数据⽬录，⾄于后⾯查询⽣成的新表，⽤内部表就好。

Hive-学习总结⼀.基础操作1.1变量和属性hivevar--(0.8以后版本) ⽤户⾃定义变量（读写） ${hivevar:foo} --变量引⽤和替换hiveconf --Hive相关的配置属性（读写）system -- Java定义的配置属性（读写）env -- Shell环境定义的环境变量（只可读）在CLI中，可以使⽤SET命令显⽰或者修改变量值。

env命名空间可以作为Hive传递变量的⼀种⽅式，例如：$ YEAR=2012hive -e "SELECT*FROM t1 WHERE year= ${env:YEAR}"1.2 开启静默模式两个⽤处，1.当我们使⽤CLI查询数据，不想显⽰“OK”或者查询时间等，可以使⽤-S开启静默模式，这样也可以将查询的结果直接输出或者重定向到⽂件中hive -S -e "select*from t1" >/data/myquery2.模糊查找某些属性./hive -S -e "set" | grep warehousehive.metastore.warehouse.dir=/user/hive/warehousehive.warehouse.subdir.inherit.perms=true1.3执⾏sql的两种⽅式执⾏sql语句 hive -e "sql"执⾏sql脚本 hive -f xxx.hql通常我们约定使⽤src（代表源表）作为表名进⾏测试---源于Hive源码中的单元测试的写法，所以我们做测试前要创建⼀个src的表，同时必须⾄少有⼀⾏的数据在源表⾥⾯。

1.4 hiverc⽂件CLI 选项中有 -i ⽂件名，这个选项允许⽤户指定⼀个⽂件，当CLI启动时，在提⽰符出现前会先执⾏这个⽂件。

Hive会⾃动在HOME⽬录下寻找.hiverc⽂件，⽽且会⾃动执⾏这个⽂件中的命令。

hive面试知识点总结Hive是一个用于存储、查询和分析大规模数据集的数据仓库系统。

它建立在Hadoop的基础上，提供了类似于SQL的查询语言，使得对分布式存储系统中的数据进行查询和分析变得更加方便。

在Hive的面试中，候选人需要展示对Hive的深入了解和熟练掌握，包括HiveQL查询语言、Hive数据分区、Hive表和视图的创建和管理、Hive性能优化等方面的知识。

下面是一些常见的Hive面试知识点总结：HiveQL查询语言HiveQL是Hive的查询语言，类似于SQL语言，用于对Hive中存储的数据进行查询和分析。

在面试中，候选人需要展示对HiveQL语法的熟练掌握，包括常见的查询语句、聚合函数、子查询、连接操作等方面的知识。

候选人可以通过展示编写复杂查询、优化查询性能等方式来展示对HiveQL语言的熟练掌握。

Hive数据分区Hive支持对数据进行分区，可以基于数据的某个字段进行分区，提高查询性能。

在面试中，候选人需要展示对Hive数据分区的理解和应用，包括如何将数据进行分区、如何查询分区数据、如何管理分区等方面的知识。

候选人可以通过展示对分区数据的查询和管理操作来展示对Hive数据分区的熟练掌握。

Hive表和视图的创建和管理Hive支持创建和管理表和视图，用于对数据进行存储和查询。

在面试中，候选人需要展示对Hive表和视图的创建和管理的理解和应用，包括如何创建表和视图、如何添加和删除表的列、如何修改表的属性、如何查询视图数据等方面的知识。

候选人可以通过展示创建和管理表和视图的操作来展示对Hive表和视图的熟练掌握。

Hive性能优化Hive在处理大规模数据时需要考虑性能优化的问题。

在面试中，候选人需要展示对Hive性能优化的理解和应用，包括如何优化查询性能、如何提高数据加载性能、如何减少数据存储空间等方面的知识。

候选人可以通过展示优化查询性能、提高数据加载性能等操作来展示对Hive性能优化的熟练掌握。

hive 的用法摘要：一、Hive简介1.Hive的定义2.Hive的作用二、Hive的架构1.HiveQL2.元数据存储3.数据存储三、Hive的组件1.HiveQL解释器2.编译器3.优化器4.执行器四、Hive的数据类型1.原子数据类型2.复合数据类型五、HiveQL的使用1.创建表2.数据插入3.查询数据4.数据更新与删除六、Hive的高级特性1.分区2.分桶3.索引七、Hive的优化1.查询优化2.存储优化八、Hive与大数据生态系统的结合1.Hadoop2.Spark3.数据仓库正文：Hive是一个基于Hadoop的数据仓库工具，它可以用来存储、查询和分析大规模的结构化数据。

Hive的用法主要涉及到HiveQL语言的使用，以及与Hadoop等其他大数据生态系统的结合。

本文将详细介绍Hive的用法和相关知识。

首先，我们需要了解Hive的架构。

HiveQL是Hive的核心部分，它是一种类SQL的查询语言，可以用来编写查询Hive数据的语句。

元数据存储用于存储表、分区、分桶等元数据信息。

数据存储层则用于存储实际的数据。

Hive由多个组件组成，包括HiveQL解释器、编译器、优化器和执行器。

这些组件协同工作，实现了HiveQL查询的解析、编译、优化和执行。

Hive支持多种数据类型，包括原子数据类型（如整型、浮点型、字符型等）和复合数据类型（如数组、结构体等）。

这些数据类型为编写HiveQL语句提供了基础。

在实际使用中，我们需要掌握HiveQL的使用方法。

例如，如何创建表、插入数据、查询数据以及更新和删除数据等。

此外，Hive还提供了许多高级特性，如分区、分桶和索引等，可以帮助我们更高效地管理和查询数据。

为了提高Hive的性能，我们需要了解如何对Hive进行优化。

这包括对查询语句的优化，以及对存储层的优化。

合理的优化策略可以显著提高Hive的查询效率。

最后，Hive作为大数据生态系统的一部分，需要与其他工具和框架相结合。

Hive练习题一、基础知识篇1. Hive中常用的数据类型有哪些？2. 请简述Hive中的内部表和外部表的区别。

3. Hive中的分区表和分桶表有什么不同？4. 如何在Hive中创建一个数据库？5. 如何在Hive中查看表结构？6. 请写出Hive中查询当前数据库的命令。

7. 如何在Hive中删除一个表？8. Hive中的排序操作有哪些？9. 请简述Hive中的MapReduce执行过程。

10. Hive中的窗口函数有哪些？二、SQL操作篇1. 查询员工表中工资最高的前5位员工信息。

2. 统计各部门员工的平均工资。

3. 查询部门编号为10的所有员工姓名及工资。

4. 查询工资在5000到10000之间的员工信息。

5. 按照部门编号分组，统计每个部门的员工人数。

6. 查询员工表中工资排名第二的员工信息。

7. 查询部门编号为20的员工平均工资。

8. 查询员工表中工资最低的员工信息。

9. 查询部门编号为10的员工工资总和。

10. 查询员工表中各岗位的平均工资，并按平均工资从高到低排序。

三、函数应用篇1. 请使用Hive内置函数，计算字符串"Hello Hive"的长度。

2. 请使用Hive内置函数，将字符串"hello hive"转换为大写。

3. 请使用Hive内置函数，计算数值123.456的整数部分和小数部分。

4. 请使用Hive内置函数，从日期"20210801"中提取年份、月份和日。

5. 请使用Hive内置函数，计算员工表中员工的年龄。

6. 请使用Hive内置函数，将员工表中的姓名和部门名称拼接成一个字符串。

7. 请使用Hive内置函数，统计员工表中各部门工资的平均值。

8. 请使用Hive内置函数，查询员工表中工资最高的员工信息。

9. 请使用Hive内置函数，计算员工表中每个部门的员工总数。

10. 请使用Hive内置函数，查询员工表中工资排名前三的员工信息。

hive的基础知识什么是Hive？Hive是一个开源数据仓库工具，用于处理大规模结构化和半结构化数据。

它构建在Apache Hadoop之上，利用Hadoop的分布式文件系统HDFS和分布式计算框架MapReduce进行数据处理。

为什么使用Hive？Hive的设计目标是使非程序员也能够轻松地通过SQL语句来查询和分析大规模数据。

与传统的关系型数据库不同，Hive使用HQL （Hive Query Language）作为查询语言，这是一种基于SQL的扩展语言，允许用户以熟悉的SQL语法来查询大规模数据集。

Hive的架构是怎样的？Hive的架构由三个主要组件组成：Metastore、Driver和Execution Engine。

1. Metastore：存储了表的元数据信息，包括表的模式、分区、存储位置等。

Metastore可以与多个Hive实例共享，以便不同用户可以访问同一组数据。

2. Driver：接收用户的HQL查询并解析它们，将它们转换为一系列的MapReduce任务并交给Execution Engine执行。

3. Execution Engine：根据Driver传递的查询计划启动一系列的MapReduce任务，并将结果返回给用户。

如何创建表？在Hive中，我们可以使用HQL语句来创建表。

首先通过`CREATEDATABASE`语句创建数据库，然后使用`USE DATABASE`语句将其设置为当前数据库。

接下来，使用`CREATE TABLE`语句创建表，并指定表名、列名和列的数据类型。

例如，以下HQL语句创建了一个名为"employees"的表，该表有三列：id（整数类型）、name（字符串类型）和salary（浮点数类型）。

sqlCREATE DATABASE mydatabase;USE DATABASE mydatabase;CREATE TABLE employees(id INT,name STRING,salary FLOAT);如何向表中插入数据？一旦创建了表，我们可以使用`INSERT INTO`语句将数据插入表中。