栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

12.2sqoop安装及测试

12.2sqoop安装及测试

Hadoop大数据开发之_Sqoop本地搭建,sqoop作为实例测试,前提要安装好Hadoop和Java环境 1linux下解压sqoop文件 2.配置环境变量
echo 'export SQOOP_HOME=/opt/sqoop-1.4.7' >> /etc/profile
echo 'export PATH=$SQOOP_HOME/bin:$PATH' >> /etc/profile
source /etc/profile
3.配置sqoop-env.sh
export HADOOP_COMMON_HOME=/export/server/hadoop-3.1.4

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/export/server/hadoop-3.1.4

#set the path to where bin/hbase is available
#export Hbase_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/hive-2.3.9

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/zookeeper-3.4.14
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.14
4.拷贝mysql-connector-java-8.0.25.jar到/opt/sqoop-1.4.7/lib/下 5.测试从mysql导入到hdfs,使用mr操作
sqoop import 
--connect jdbc:mysql://node1:3306/web_test 
--username root 
--password 1234 
--table t_web 
--target-dir /sqoop 
--delete-target-dir 
--num-mappers 1 
--fields-terminated-by "t"
6.知识点

关系型数据库导入到hadoop集群用 import

hadoop导出到关系型数据库用 export

导出基本语法

sqoop export

”jdbc“

table 表名

分割符

mapper数
export-dir /hadoop路径

7.可能遇到的问题

1.在配置sqoop文件时环境变量多配到了bin目录

2.运行sqoop语句时未开启yarn集群的ResourceManager,导致连接node结点失败。

8.注意

运行sqoop时要提前启动 HDFS集群,YARN集群,需要Yarn来分配资源

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/652658.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号