栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

在IDEA编写MapReduce程序加载数据出现错误:(null) entry in command string: null chmod 0644

在IDEA编写MapReduce程序加载数据出现错误:(null) entry in command string: null chmod 0644

在IDEA编写MapReduce程序,使用BulkLoad加载数据到hbase上时

报错:(null) entry in command string: null chmod 0644

原因:hadoop集群是搭载在Linux环境上,而开发环境是在windows系统上,没有hadoop的环境,IDEA会报错,需要安装一些工具

解决方法:

① hadoop版本3.3.0

② 创建文件夹C:softwarehadoop-3.3.0bin,把相应版本的文件放进去

③ 配置环境变量:配置HADOOP_HOME环境变量,再到Path中添加bin目录:%HADOOP_HOME%bin

如果能在黑窗口输入命令【winutils】成功运行,则表明配置成功。

参考:

https://stackoverflow.com/questions/48010634/why-does-spark-application-fail-with-ioexception-null-entry-in-command-strin

https://stackoverflow.com/questions/40764807/null-entry-in-command-string-exception-in-saveastextfile-on-pyspark

https://www.jianshu.com/p/9e8cc794f7e6

另外:

有时候报错会显示某个依赖的包丢失:NoClassDefFoundError......

有可能是IDEA识别不出来,在设置那里让IDEA重新识别一下即可,(这个问题被坑得好惨。)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/774157.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号