栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 云计算 > 云平台

Spark使用idea整合Hive无法从hdfs读取文件,报错信息为LOAD DATA input path does not exist: hdfs://解决办法

云平台 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark使用idea整合Hive无法从hdfs读取文件,报错信息为LOAD DATA input path does not exist: hdfs://解决办法

在用idea学习spark整合Hive时,从hdfs导入数据突然报错

完整报错信息:

Exception in thread "main" org.apache.spark.sql.AnalysisException: LOAD DATA input path does not exist: hdfs://master1:9000/sql/athlete_events.csv;
	at org.apache.spark.sql.execution.command.LoadDataCommand.run(tables.scala:389)
	at org.apache.spark.sql.execution.command.ExecutedCommandExec.sideEffectResult$lzycompute(commands.scala:70)
	at org.apache.spark.sql.execution.command.ExecutedCommandExec.sideEffectResult(commands.scala:68)
	at org.apache.spark.sql.execution.command.ExecutedCommandExec.executeCollect(commands.scala:79)
	at org.apache.spark.sql.Dataset$$anonfun$6.apply(Dataset.scala:190)
	at org.apache.spark.sql.Dataset$$anonfun$6.apply(Dataset.scala:190)
	at org.apache.spark.sql.Dataset$$anonfun$52.apply(Dataset.scala:3259)
	at org.apache.spark.sql.execution.SQLExecution$.withNewExecutionId(SQLExecution.scala:77)
	at org.apache.spark.sql.Dataset.withAction(Dataset.scala:3258)
	at org.apache.spark.sql.Dataset.(Dataset.scala:190)
	at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:75)
	at org.apache.spark.sql.SparkSession.sql(SparkSession.scala:642)
	at hive$.main(hive.scala:32)
	at hive.main(hive.scala)

一开始以为是文件不存在,但是实际上是存在的

之后以为是hive的问题,但是在hive中这条命令是可以用的

网上查了半天也没有解决办法,最后翻阅官方文档时注意到 

于是我将三个配置文件复制到了spark的conf和代码目录的resources下(我这里是用了软连接测试),同时在代码中添加了一行spark.sql.warehouse.dir来指定数仓默认位置

 

之后就应该不会报错了,如果报错的话可以试试把图里圈起来的上面两行也加进去试试

同时要注意,这里不能像在hive里直接操作那样不屑文件系统,需要指定地址hdfs地址为hdfs://{主机名或者ip}:9000/{Hive在hdfs上的数据目录}

不然可能会报找不到文件的错误

具体是什么原理我也不清楚,我猜测应该是默认数仓位置不在hdfs上,因为我查看文件时发现不知道什么时候创建了一个spark-warehouse,而进入该目录会发现出现了代码中我要创建的库test1

我个人理解可能不是很对,如果有大牛知道为什么可以在评论说一下,互相学习

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/896575.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号