栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hdfs文件写入hive报错statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.

hdfs文件写入hive报错statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.

通过kerberos认证后通过jdbc访问hive数据库,对数据库进行创表后准备从hdfs中插入数据,插入dir目录下的所有csv文件片段数据,报错java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

sql  = "load data inpath '/xxx/dir/*.csv' into table database.tableName" 
statement.execute(sql)
java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
    at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:296)
    at org.apache.hive.jdbc.HiveStatement.executeUpdate(HiveStatement.java:406)

可能的原因是没有对dir这个目录进行授权,需要对其授予权限为777,

hdfs dfs -chown -R 777 /xxx/dir

或者通过代码获取到hadoop的org.apache.hadoop.fs.FileSystem 文件管理对象fs,需要在代码中通过kerberos认证后获得,然后fs.setPermission(new Path(path), FsPermission.valueOf(“drwxrwxrwx”));

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758619.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号