栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark运行在windows环境的idea遇到的问题记录

spark运行在windows环境的idea遇到的问题记录

关于在windows10环境开发spark时,遇到的一些环境问题,作一下记录

这次只了两点记录,如下:

1、Couldn't find pwsh.exe or powershell.exe

2、Could not locate executable nullbinwinutils.exe in the Hadoop binaries

前提:由于机器使用已久,申请了一台新的笔记本 ,各种环境都需要重新安装,确实是头大啊,需要准备各种安装软件

一、问题1的解决方案

1、新本到手后,下载了新版idea工具,进行安装

2、Java和Scala环境安装,即配置

3、此时将原项目导入去,由于是scala项目,选择的build工具为sbt,在进行init时一直提示错误

Couldn't find pwsh.exe or powershell.exe on path or in default system 

由于之前安装一次,踩过相关的坑,直接下载的“PowerShell-7.0.7-win-x64.msi”,进行安装即可

下载地址:Installing PowerShell on Windows - PowerShell | Microsoft Docs

到目前为止,项目可以正常编译了打包了

二、问题2解决方法

 上面的环境已经准备就位,开始测试spark程序代码了,不过直接抛出异常,如下

这个主要是由于hadoop环境没有配置的原因,通过配置系统的环境变量,进行解决,由于windows和linux环境不同的原因,需要在windows的环境下,使用winutils.exe

通过配置hadoop_home环境,在path环境中将%hadoop_home%bin配置好

winutils.exe放在%hadoop_home%bin即可

记录一下,否则每次换了环境都要折腾一番,后面有其它问题再作补充

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/721138.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号