sqoop1.4.4从oracle导数据到hive中

sqoop从oracle定时增量导入数据到hive

感谢：

sqoop.metastore.client.record.password
开启sqoop metastore

step 1 创建sqoop job
a.配置sqoop metastore服务
修改sqoop/conf/sqoop-site.xml文件

相关属性：

2) "--create JOBNAME -- import"中”--“后面加一个空格再写import命令，否则执行出错
3) --check-column列不能是char varchar等，可以是date，int，
参考官网： 在官网页面查找 check-column字段，快速定位到相关解释

step 2 执行sqoop job看是否可以顺利进行

<!--查看job列表，看是否成功创建-->
sqoop job --list
<!--执行job,测试能否正常执行,此处如果导入的数据量大，会很耗费时间-->
sqoop job --exec JOBNAME

step 3 确定sqoop job可以正常执行后，编写脚本定时执行

将下面的脚本写入一个文本文件，如 execJob,然后执行 chmod u+x execJob 命令添加可执行权限

source /etc/profile
rm TABLENAME.java -f
sqoop job -exec JOBNAME

step 4 用crontab工具实现定时执行

执行crontab -e 命令，添加如下一行脚本,保存退出即可

# 每天1点钟执行数据导入job
0 1 * * * execJob 1>/root/execlogs 2>&1

注意：execJob就是step3创建的脚本文件，需要用具体的路径，如/root/execJob。“1>/root/execlogs 2>&1”这句是重定向stdout和stderr输出对象到指定文件，可以在文件中查看执行输出的信息。

crontab命令工具用法参考：

sqoop1.4.4从oracle导数据到hive中,布布扣,bubuko.com