栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Sqoop导出数据报错:Illegal character in scheme name at index 0: [file:///usr/.../hive-hcatalog-core.jar]

Sqoop导出数据报错:Illegal character in scheme name at index 0: [file:///usr/.../hive-hcatalog-core.jar]

Sqoop导出数据报错:Illegal character in scheme name at index 0: [file:///usr/…/hive-hcatalog-core.jar]

不积硅步,无以至千里。

1、作业任务

使用Sqoop导出hive的数据到SqlServer

# 脚本
sqoop export --connect 'jdbc:sqlserver://主机名:端口;database=库名' --username '用户名' --password '密码' 
--table 'sqlserver目标表名' 
--input-null-string '\N' --input-null-non-string '\N' 
--hcatalog-database hive库名 
--hcatalog-table hive表名  
--hcatalog-partition-keys dt  
--hcatalog-partition-values $dt  
-m 1
2、问题

任务成功了,但是执行过程日志有ERROR日志:

java.net.URISyntaxException: Illegal character in scheme name at index 0: [file:///usr/…/hive-hcatalog-core-3.1.0.jar],如下图:

3、解决方案

因为hive-site.xml中hive.aux.jars.path配置的路径用 中括号[ ] 括起来了,然后源码中new URI(String path) 传入的参数为:[路径],

URI解析时检查首字符为 ‘[’ ,就出现了上述报错。将hive.aux.jars.path配置的value中的中括号去掉即可。

其实从日志中可以看出:在索引为0的位置有非法字符

java.net.URISyntaxException: Illegal character in scheme name at index 0: [file:///usr/.../hive-hcatalog-core-3.1.0.jar]

我一直以为是file的首字符 ‘f’ 有问题,直接把中括号[忽略了,因为不知道源码中打印日志的格式。查了源码才知道。

4、相关源码: 4-1、org.apache.hadoop.hive.common.FileUtils#getJarFilesByPath

4-2、org.apache.hadoop.hive.common.FileUtils#getURI 4-3、java.net.URI#URI(String)

4-4、java.net.URI.Parser#parse

4-5、java.net.URI.Parser#checkChar

4-6、java.net.URI.Parser#checkChars

scan方法返回的0,因为input代表的路径字符串首字符为左中括号 ‘[’,ASCII十进制为91。由4.7可知 scan返回p结果为0。

4-7、java.net.URI.Parser#scan(int, int, long, long)

c = input.charAt(0) = ‘[’ ,ASCII十进制为91,由4.8可知match方法return为false,最后该方法返回p的结果为0。

4-8、java.net.URI#match

该方法只有字符的ASCII十进制为97-122时,才返回true。97~122对应字符 ‘a’ ~ ‘z’ 。变量c为 ‘[’ ,ASCII十进制为91,return结果为false。

4-9、java.net.URI.Parser#fail(String, int)

4-10、java.net.URISyntaxException#URISyntaxException(String, String, int)

4-11、java.net.URISyntaxException#getMessage


由此可以看出日志"Illegal character in scheme name at index 0: [file:///usr/…/hive-hcatalog-core-3.1.0.jar]"中的中括号也是路径的一部分,所以解析错误了。去掉即可。

青山不改,绿水长流。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/687358.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号