栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Scala 通过读取HDFS上的文件创建SparkRDD出现的问题

Scala 通过读取HDFS上的文件创建SparkRDD出现的问题

一、Could not locate executable nullbinwinutils.exe in the Hadoop binaries.

如果本机操作系统是Windows,如果在程序中使用了Hadoop相关的东西,比如写入文件到HDFS,则会遇到该异常
出现这个问题的原因,并不是程序的错误,而是用到了hadoop相关的服务,解决办法:
1、在本机上解压对应版本的hadoop压缩包
不太清楚别的版本压缩包行不行,bin里面要有winutils.exe
如果没有,请自行前往下载对应版本
https://github.com/cdarlint/winutils

2、配置HADOOP_HOME环境变量
3、在IDEA中配置Run Configuration,添加HADOOP_HOME变量

二、Exception in thread “main” org.apache.hadoop.security.AccessControlException: Permission denied: user=LCQ, access=WRITE, inode="/":fanger:supergroup:drwxr-xr-x

Windows和Linux用户不对应,导致权限问题

解决方法:
添加一行代码

System.setProperty("HADOOP_USER_NAME", "lcq")
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/583200.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号