您的位置:首页 > 博客中心 > 数据库 >

Hadoop第9周练习—Hive部署测试(含MySql部署)

时间:2022-03-14 04:41

1  运行环境说明... 3

1.1 硬软件环境... 3

1.2 机器网络环境... 3

1 运行环境说明

1.1  硬软件环境

l  主机操作系统:Windows 64 bit,双核4线程,主频2.2G,6G内存

l  虚拟软件:VMware® Workstation 9.0.0 build-812388

l  虚拟机操作系统:CentOS 64位,单核,1G内存

l  JDK:1.7.0_55 64 bit

l  Hadoop:1.1.2

1.2  机器网络环境

集群包含三个节点:1个namenode、2个datanode,其中节点之间可以相互ping通。节点IP地址和主机名分布如下:

序号

1

2

3

IP地址

机器名

类型

用户名

运行进程

10.88.147.221

hadoop1

名称节点

hadoop

NN、SNN、JobTracer

10.88.147.222

hadoop2

数据节点

hadoop

DN、TaskTracer

10.88.147.223

hadoop3

数据节点

hadoop

DN、TaskTracer

所有节点均是CentOS6.5 64bit系统,防火墙均禁用,所有节点上均创建了一个hadoop用户,用户主目录是/usr/hadoop。所有节点上均创建了一个目录/usr/local/hadoop,并且拥有者是hadoop用户。

2  书面作业1:搭建Hive环境

2.1  书面作业1内容

安装Hive,有条件的同学按本地独立模式或远程模式安装,将安装过程和最后测试成功的界面抓图提交。

2.2  搭建过程

2.2.1安装MySql数据库

2.2.1.1下载mysql安装文件

下载地址:http://dev.mysql.com/downloads/mysql/#downloads,使用系统为CentOS选择 Red Hat Enterprise Linux/Oracle系列:

操作系统为64位,选择对应安装包进行下载:

下载在本地目录如下图:

2.2.1.2上传mysql安装文件

把下载的mysql安装包,使用SSH Secure File Transfer工具(第1、2作业周2.1.3.1介绍)上传到/home/hadoop/Downloads 目录下,如下图所示:

2.2.1.3卸载旧的mysql

(1)  查找以前是否安装有mysql

使用命令查看是否已经安装过mysql:

2.2.1.4安装mysql

进入安装文件的目录,安装mysql服务端

2.2.1.5设置root密码

在CentOS6.5下安装mysql设置root密码时,出现如下错误:

2.2.1.6设置hive用户

进入mysql命令行,创建hive用户并赋予所有权限:

2.2.1.7创建hive数据库

使用hive用户登录,创建hive数据库:

2.2.2安装Hive

2.2.2.1下载hive安装文件

可以到Apache基金hive官网http://hive.apache.org/downloads.html,选择镜像下载地址:http://mirrors.cnnic.cn/apache/hive/下载一个稳定版本,如下图所示:

2.2.2.2下载mysql驱动

到mysql官网进入下载页面:http://dev.mysql.com/downloads/connector/j/ ,选择所需要的版本进行下载,这里下载的zip格式的文件

2.2.2.3上传mysql安装文件和mysql驱动

把下载的hive安装包和mysql驱动包,使用SSH Secure File Transfer工具(第1、2作业周2.1.3.1介绍)上传到/home/hadoop/Downloads 目录下,如下图所示:

2.2.2.4把mysql驱动放到hive的lib目录下

把下载的hive安装包和mysql驱动包,使用

2.2.2.5解压缩

到上传目录下,用如下命令解压缩hive安装文件:

2.2.2.6配置/etc/profile环境变量

使用如下命令打开/etc/profile文件:

2.2.2.7设置hive-env.sh配置文件

进入hive-0.12.0/conf目录,复制hive-env.sh.templaete为hive-env.sh:

2.2.2.8设置hive-site.xml配置文件

复制hive-default.xml.templaete为hive-site.xml

2.2.3验证部署

2.2.3.1启动metastore和hiveserver

在使用hive之前需要启动metastore和hiveserver服务,通过如下命令启用:

2.2.3.2在hive中操作

登录hive,在hive创建表并查看该表,命令如下:

3 问题解决

3.1  设置mysql数据库root用户密码报错

在CentOS6.5下安装mysql设置root密码时,出现如下错误:

3.2  hive启动,报CommandNeedRetryException异常

启动hive时,出现CommandNeedRetryException异常,具体信息如下:

3.3  在hive中使用操作语言

启动hive后,使用Hsql出现异常,需要启动metastore和hiveserver

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

在使用hive之前需要启动metastore和hiveserver服务,通过如下命令启用:

hive --service metastore &

hive --service hiveserver &

启动用通过jps命令可以看到两个进行运行在后台

热门排行

今日推荐

热门手游