Sqoop工具，sqoop安装

Sqoop工具，sqoop安装

简介

SQOOP是用于对数据进行导入导出的。
(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中
(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中

安装sqoop

1.解压sqoop

tar  -zxvf  sqoop-1.4.3.bin_hadoop-1.0.0.tar.gz

2.重命名

mv  sqoop-1.4.3.bin_hadoop-1.0.0   sqoop

3.设置环境变量

vi  /etc/profile
export SQOOP_HOME=/usr/local/sqoop

将$SQOOP_HOME/bin 添加到 PATH 中

source  /etc/profile

完毕！

注意：下面在命令行里的绿色长线是双横线，markdown编辑后博客显示的是一条长线，暂时还不知道该问题如何解决

把mysql数据导入到hdfs或者hive中

我们主要使用的是sqoop脚本。
注：因为要连接mysql 所以需要jdbc驱动

把数据从mysql导入到hdfs(默认是/user/username)中:

sqoop import  --connect jdbc:mysql://hadoop:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'

--null-string  ‘**’ 

表示对于null值使用**代替 默认使用NULL ‘- -’不能使用，专有字符

Sqoop在导入时，使用4个MapReduce并行执行 ，可以指定一个如下：

sqoop import --connect jdbc:mysql://hadoop:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'  -m 1

hdfs不可以多次写入，解决办法：

sqoop import --connect jdbc:mysql://hadoop:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'  -m 1  --append

也可以导入到hive中，但前提是删除 /user/root/目录下内容：

hadoop fs -rmr  /user/root/*

因为在执行导入后，会再次在/user/root下生成 sqoop文件

sqoop import --connect jdbc:mysql://hadoop:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' -m 1 --append --hive-import

导入增量：

sqoop import --connect jdbc:mysql://hadoop:3306/hive --username root --password admin --table