当前位置：文档之家 › 02_尚硅谷大数据之Hive安装

02_尚硅谷大数据之Hive安装

  • 格式：pdf
  • 大小：386.23 KB
  • 文档页数：13

第2章Hive安装2.1 Hive安装地址1）Hive官网地址：/2）文档查看地址：https:///confluence/display/Hive/GettingStarted3）下载地址：/dist/hive/4）github地址：https:///apache/hive2.2 Hive安装部署1）Hive安装及配置（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[atguigu@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/ （3）修改apache-hive-1.2.1-bin.tar.gz的名称为hive[atguigu@hadoop102 module]$ mv apache-hive-1.2.1-bin/ hive（4）修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh [atguigu@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh（5）配置hive-env.sh文件（a）配置HADOOP_HOME路径export HADOOP_HOME=/opt/module/hadoop-2.7.2（b）配置HIVE_CONF_DIR路径export HIVE_CONF_DIR=/opt/module/hive/conf2）Hadoop集群配置（1）必须启动hdfs和yarn[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh（2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -mkdir /tmp[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -mkdir -p /user/hive/warehouse[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -chmod 777 /tmp[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -chmod 777 /user/hive/warehouse 3）Hive基本操作（1）启动hive[atguigu@hadoop102 hive]$ bin/hive（2）查看数据库hive>show databases;（3）打开默认数据库hive>use default;（4）显示default数据库中的表hive>show tables;（5）创建一张表hive> create table student(id int, name string) ;（6）显示数据库中有几张表hive>show tables;（7）查看表的结构hive>desc student;（8）向表中插入数据hive> insert into student values(1000,"ss");（9）查询表中数据hive> select * from student;（10）退出hivehive> quit;2.3 将本地文件导入Hive案例需求：将本地/opt/module/datas/student.txt这个目录下的数据导入到hive的student(id int, namestring)表中。

1）数据准备：在/opt/module/datas/student.txt这个目录下准备数据（1）在/opt/module/目录下创建datas[atguigu@hadoop102 module]$ mkdir datas（2）在/opt/module/datas/目录下创建student.txt文件并添加数据[atguigu@hadoop102 datas]$touch student.txt[atguigu@hadoop102 datas]$vi student.txt1001 zhangshan1002 lishi1003 zhaoliu注意以tab键间隔。

2）Hive实际操作（1）启动hive[atguigu@hadoop102 hive]$ bin/hive（2）显示数据库hive>show databases;（3）使用default数据库hive>use default;（4）显示default数据库中的表hive>show tables;（5）删除已创建的student表hive> drop table student;（6）创建student表,并声明文件分隔符’\t’hive> create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';（7）加载/opt/module/datas/student.txt 文件到student数据库表中。

hive> load data local inpath '/opt/module/datas/student.txt' into table student;（8）Hive查询结果hive> select * from student;OK1001 zhangshan1002 lishi1003 zhaoliuTime taken: 0.266 seconds, Fetched: 3 row(s)3）遇到的问题再打开一个客户端窗口启动hive，会产生java.sql.SQLException异常。

原因是，Metastore默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore;2.4 MySql安装2.4.1 安装包准备1）查看mysql是否安装，如果安装了，卸载mysql（1）查看[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64（2）卸载[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_642）解压mysql-libs.zip文件到当前目录[root@hadoop102 software]# unzip mysql-libs.zip[root@hadoop102 software]# lsmysql-libs.zipmysql-libs3）进入到mysql-libs文件夹下，并设置当前用户执行权限[root@hadoop102 mysql-libs]# ll总用量76048-rw-r--r--. 1 root root 18509960 3月26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm -rw-r--r--. 1 root root 3575135 12月 1 2013 mysql-connector-java-5.1.27.tar.gz-rw-r--r--. 1 root root 55782196 3月26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm[root@hadoop102 mysql-libs]# chmod u+x ./*[root@hadoop102 mysql-libs]# ll总用量76048-rwxr--r--. 1 root root 18509960 3月26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm -rwxr--r--. 1 root root 3575135 12月 1 2013 mysql-connector-java-5.1.27.tar.gz-rwxr--r--. 1 root root 55782196 3月26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm 2.4.2 安装MySql服务器1）安装mysql服务端[root@hadoop102 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm 2）查看产生的随机密码[root@hadoop102 mysql-libs]# cat /root/.mysql_secretOEXaQuS8IWkG19Xs3）查看mysql状态[root@hadoop102 mysql-libs]# service mysql status4）启动mysql[root@hadoop102 mysql-libs]# service mysql start2.4.3 安装MySql客户端1）安装mysql客户端[root@hadoop102 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm 2）链接mysql[root@hadoop102 mysql-libs]# mysql -uroot -p OEXaQuS8IWkG19Xs3）修改密码mysql>SET PASSWORD=PASSWORD('000000');4）退出mysqlmysql>exit2.4.4 MySql中user表中主机配置配置只要是root用户+密码，在任何主机上都能登录MySQL数据库。

1）进入mysql[root@hadoop102 mysql-libs]# mysql -uroot -p0000002）显示数据库mysql>show databases;3）使用mysql数据库mysql>use mysql;4）展示mysql数据库中的所有表mysql>show tables;5）展示user表的结构mysql>desc user;6）查询user表mysql>select User, Host, Password from user;7）修改user表，把Host表内容修改为%mysql>update user set host='%' where host='localhost';8）删除root用户的其他hostmysql>delete from user where Host='hadoop102 ';mysql>delete from user where Host='127.0.0.1';mysql>delete from user where Host='::1';9）刷新mysql>flush privileges;10）退出mysql> quit;2.5 Hive元数据配置到MySql2.5.1 驱动拷贝1）在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz2）拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/2.5.2 配置Metastore到MySql1）在/opt/module/hive/conf目录下创建一个hive-site.xml[atguigu@hadoop102 conf]$ touch hive-site.xml[atguigu@hadoop102 conf]$ vi hive-site.xml2）根据官方文档配置参数，拷贝数据到hive-site.xml文件中。

合集下载

02_尚硅谷大数据之VM与Linux的安装

02_尚硅谷大数据之VM与Linux的安装

第2章VM与Linux的安装2.1 VMWare安装2.2 CentOS安装1检查BIOS虚拟化支持2新建虚拟机3新建虚拟机向导4创建虚拟空白光盘5安装Linux系统对应的CentOS版6虚拟机命名和定位磁盘位置7处理器配置，看自己是否是双核、多核8设置内存为2GB9网络设置NAT10选择IO控制器类型11选择磁盘类型12新建虚拟磁盘13设置磁盘容量14你在哪里存储这个磁盘文件15新建虚拟机向导配置完成16VM设置17加载ISO18加电并安装配置CentOS19加电后初始化欢迎进入页面回车选择第一个开始安装配置，此外，在Ctrl+Alt可以实现Windows主机和VM之间窗口的切换20是否对CD媒体进行测试，直接跳过Skip21CentOS欢迎页面，直接点击Next22选择简体中文进行安装23选择语言键盘24选择存储设备25给计算机起名26设置网络环境安装成功后再设置。

27选择时区28设置root密码（一定记住）29硬盘分区-130根分区新建Bootswap分区设置分区完成31程序引导，直接下一步32现在定制系统软件33Web环境34可扩展文件系统支持35基本系统36应用程序37开发、弹性存储、数据库、服务器可以都不勾，有需要，以后使用中有需要再手动安装38桌面除了KDE，其他都选就可以了。

39语言支持40系统管理、虚拟化、负载平衡器、高可用性可以都不选41完成配置，开始安装CentOS42等待安装完成，等待等待等待等待……20分钟左右43安装完成，重新引导44欢迎引导页面45许可证46创建用户，可以先不创建，用root账户登录就行47时间和日期48Kdump,去掉49重启后用root登录2.3 VMTools安装1）什么是VMtoolsVM tools顾名思义就是Vmware的一组工具。

主要用于虚拟主机显示优化与调整，另外还可以方便虚拟主机与本机的交互，如允许共享文件夹，甚至可以直接从本机向虚拟主机拖放文件、鼠标无缝切换、显示分辨率调整等，十分实用。

Hive安装配置详细

Hive安装配置详细

Hive安装配置详细定义Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。

Hive可以将结构化的数据存储在数据仓库中，通过自己的SQL去查询分析需要的内容，这套SQL简称Hive SQL。

它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询。

Hive在Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个MapReduce程序组成可执行计划，并按照该计划生成对应的MapReduce 任务提交给Hadoop集群处理，获取最终的结果。

以上定义来源于《Hadoop开发者入门专刊》Hive安装我将延用《Hadoop安装》文档（/blog/706699）风格撰写下文。

Hive需要Hadoop的支持，也就是说在安装Hive之前需要正确安装Hadoop，这里不再阐述Hadoop 的安装过程。

一般我们会将Hive安装到NameNode所在主机上，这里假设使用root用户进行安装，Hive 的安装过程很简单：以上就是在Linux（cent os 5.X）上安装Hive的过程，下面就到了配置的环节。

Hive配置Hive的必要配置相当简单，只需要声明$HADOOP_HOME（请查阅《Hadoop安装》文档）这个环境变量就行了。

Hive的核心配置文件$HIVE_HOME/conf/hive-default.xml中有一些对Hive关键配置，一般我们不需要对其进行改动，如果你需要更改这个关键配置，请不要直接更改hive-default.xml这个文件，在同一目录下新建hive-site.xml文件，然后将需要更改的属性配置在这里面即可，配置格式与hive-default.xml一样。

另外，在Hive官方文档中重点提到了Hive的日志配置$HIVE_HOME/conf/hive-log4j.properties，虽然不是必要更改的配置文件，但合理的设置会对我们有一定的帮助，具体配置方法可见官方文档。

尚硅谷大数据之hive

尚硅谷大数据之hive

尚硅谷大数据之hive尚硅谷大数据之hive》是一本关于Hive技术的书籍。

它旨在全面介绍Hive的主要内容和应用，并针对不同的读者群体提供有用的信息和指导。

Hive是一个开源的数据仓库基础设施工具，它构建在Hadoop 之上，用于处理大规模数据集。

通过使用Hive，用户可以使用类似于SQL的查询语言来访问和分析存储在Hadoop分布式文件系统中的数据。

这使得非技术背景的用户也能够利用Hive进行数据分析和查询。

本书主要包括以下内容：Hive基础知识：介绍Hive的基本概念、架构和组件。

读者将了解Hive如何与Hadoop生态系统中的其他工具集成，并研究如何安装和配置Hive。

Hive数据模型：详细解释Hive的数据模型，包括数据表、分区和桶等概念。

读者将研究如何创建、修改和管理Hive数据表，并了解如何利用分区和桶来提高查询性能。

Hive查询语言：深入介绍HiveQL，这是Hive的查询语言。

读者将研究如何编写各种类型的查询，包括基本的选择、过滤和聚合查询，以及复杂的连接和子查询。

Hive优化和性能调优：提供有关如何优化Hive查询性能的实用技巧和建议。

读者将研究如何使用索引、分区和桶来改善查询速度，以及如何使用适当的配置参数来优化Hive性能。

Hive高级特性：介绍Hive的一些高级特性和扩展，例如动态分区、外部表、UDF和UDAF等。

读者将了解如何利用这些功能来处理具有更复杂需求的数据分析场景。

本书适合各种读者群体，包括数据分析师、数据工程师、数据库管理员和对Hive技术感兴趣的研究者。

无论您是初学者还是有一定经验的专业人士，本书都将为您提供全面且易于理解的Hive研究资源。

2.简要介绍HiveHive是一个基于Hadoop的数据仓库基础架构，用于处理和分析大数据。

它提供了一个类似于SQL的查询语言，称为HiveQL，使用户能够对存储在Hadoop集群中的大规模数据进行查询和分析。

Hive的重要性在于它简化了大数据处理和分析的过程。

Hive安装

Hive安装

1.将Hive安装包上传到/opt目录下2.将/opt目录下的安装包解压到/usr/local目录下，解压命令如下3.进入到Hive安装包的conf目录下，执行以下命令在文件hive-env.sh末尾添加Hadoop安装包的路径，添加内容如下所示.4.登录MySQL，创建hive数据库1)若还没有安装MySQL，则需要先安装MySQL，执行以下命令。

a)搜索mysql安装包，找到mysql-server.x86_64b)安装mysql-server.x86_64c)开启远程权限i.启动mysql服务ii.启动mysql：直接在终端输入“mysql”iii.执行以下命令：delete from user where 1=1;GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root'WITH GRANT OPTION;FLUSH PRIVILEGES;2)若已安装MySQL，则进入到mysql命令行，创建hive数据库（数据库名称为hive）。

Create database hive;创建完成后推出mysqlExit5.将hive-site.xml文件上传到Hive安装包的conf目录下。

6.上传mysql驱动mysql-connector-java-5.1.25-bin.jar到Hive安装包lib目录。

7.在终端执行以下命令mv/usr/local/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar/usr/local/hadoop-2.6.4/ share/hadoop/yarn/lib/jline-0.9.94.jar.bakcp /usr/local/apache-hive-1.2.1-bin/lib/ /jline-2.12.jar/usr/local/hadoop-2.6.4/share/hadoop/yarn/lib/8.启动hive，执行以下命令。