Hadoop第9周练习—Hive部署测试(含MySql部署)
时间:2022-03-14 04:41
1 运行环境说明... 3
1.1 硬软件环境... 3
1.2 机器网络环境... 3
1 运行环境说明
l 主机操作系统:Windows 64 bit,双核4线程,主频2.2G,6G内存 l 虚拟软件:VMware® Workstation 9.0.0 build-812388 l 虚拟机操作系统:CentOS 64位,单核,1G内存 l JDK:1.7.0_55 64 bit l Hadoop:1.1.2 集群包含三个节点:1个namenode、2个datanode,其中节点之间可以相互ping通。节点IP地址和主机名分布如下: 序号 IP地址 机器名 类型 用户名 运行进程 1 10.88.147.221 hadoop1 名称节点 hadoop NN、SNN、JobTracer 2 10.88.147.222 hadoop2 数据节点 hadoop DN、TaskTracer 3 10.88.147.223 hadoop3 数据节点 hadoop DN、TaskTracer 所有节点均是CentOS6.5 64bit系统,防火墙均禁用,所有节点上均创建了一个hadoop用户,用户主目录是/usr/hadoop。所有节点上均创建了一个目录/usr/local/hadoop,并且拥有者是hadoop用户。 安装Hive,有条件的同学按本地独立模式或远程模式安装,将安装过程和最后测试成功的界面抓图提交。 下载地址:http://dev.mysql.com/downloads/mysql/#downloads,使用系统为CentOS选择 Red Hat Enterprise Linux/Oracle系列: 操作系统为64位,选择对应安装包进行下载: 下载在本地目录如下图: 把下载的mysql安装包,使用SSH Secure File Transfer工具(第1、2作业周2.1.3.1介绍)上传到/home/hadoop/Downloads 目录下,如下图所示: (1) 查找以前是否安装有mysql 使用命令查看是否已经安装过mysql: 2.2.1.4安装mysql
进入安装文件的目录,安装mysql服务端 2.2.1.5设置root密码
在CentOS6.5下安装mysql设置root密码时,出现如下错误: 2.2.1.6设置hive用户
进入mysql命令行,创建hive用户并赋予所有权限: 2.2.1.7创建hive数据库
使用hive用户登录,创建hive数据库: 2.2.2安装Hive
可以到Apache基金hive官网http://hive.apache.org/downloads.html,选择镜像下载地址:http://mirrors.cnnic.cn/apache/hive/下载一个稳定版本,如下图所示: 到mysql官网进入下载页面:http://dev.mysql.com/downloads/connector/j/ ,选择所需要的版本进行下载,这里下载的zip格式的文件 把下载的hive安装包和mysql驱动包,使用SSH Secure File Transfer工具(第1、2作业周2.1.3.1介绍)上传到/home/hadoop/Downloads 目录下,如下图所示: 把下载的hive安装包和mysql驱动包,使用 2.2.2.5解压缩
到上传目录下,用如下命令解压缩hive安装文件: 2.2.2.6配置/etc/profile环境变量
使用如下命令打开/etc/profile文件: 2.2.2.7设置hive-env.sh配置文件
进入hive-0.12.0/conf目录,复制hive-env.sh.templaete为hive-env.sh: 2.2.2.8设置hive-site.xml配置文件
复制hive-default.xml.templaete为hive-site.xml 2.2.3验证部署
在使用hive之前需要启动metastore和hiveserver服务,通过如下命令启用: 2.2.3.2在hive中操作
登录hive,在hive创建表并查看该表,命令如下: 3 问题解决
在CentOS6.5下安装mysql设置root密码时,出现如下错误: 3.2 hive启动,报CommandNeedRetryException异常
启动hive时,出现CommandNeedRetryException异常,具体信息如下:
3.3 在hive中使用操作语言
启动hive后,使用Hsql出现异常,需要启动metastore和hiveserver
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient 在使用hive之前需要启动metastore和hiveserver服务,通过如下命令启用: hive --service metastore & hive --service hiveserver & 启动用通过jps命令可以看到两个进行运行在后台1.1 硬软件环境
1.2 机器网络环境
2 书面作业1:搭建Hive环境
2.1 书面作业1内容
2.2 搭建过程
2.2.1安装MySql数据库
2.2.1.1下载mysql安装文件
2.2.1.2上传mysql安装文件
2.2.1.3卸载旧的mysql
2.2.2.1下载hive安装文件
2.2.2.2下载mysql驱动
2.2.2.3上传mysql安装文件和mysql驱动
2.2.2.4把mysql驱动放到hive的lib目录下
2.2.3.1启动metastore和hiveserver
3.1 设置mysql数据库root用户密码报错