栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【scala+spark+hadoop+idea】踩坑记

【scala+spark+hadoop+idea】踩坑记

昨天装了一天,出现各种问题,比如版本不对应,hadoop的配置文件修改错误等等,我出现了问题照着网上的教程一步步走,最终还是死在了spark版本应该改低点【传送门】的问题上,这个问题我没有找到其他的解决方法,所以今天我把他们全部卸载重新配置一遍,记录自己遇到的问题供大家参考。
参考教程:milkboylyf写的博客【传送门】

0:安装材料:

(1) jdk-8u171-windows-x64
(2) scala-2.11.8
(3) spark-2.3.1-bin-hadoop2.7.rar
(4) hadoop-2.7.6.rar

1:下载链接

链接: https://pan.baidu.com/s/1TEwzZFwotDvi7Izc1Mr-FA
提取码: dasq

2:安装过程

(1) 安装jdk环境
因为我已经安装过jdk8,所以在这边就不作展示了。

(2) 安装scala-2.11.8
(2.1)双击scala-2.11.8图标,选择路径默认安装。
(2.2)配置环境变量

在path中加入scala的环境变量

(2.3)打开PowerShell窗口输入scala出现如下窗口。

(3) 安装spark-2.3.1-bin-hadoop2.7
(3.1)解压
(3.2)类似地设置环境变量

注意这里的spark环境变量需要绝对路径,如果用%SPARK_HOME%bin的话,启动spark-shell时会出现spark-shell不是内部或外部命令,也不是可运行的程序或批处理文件。

(3.3)cmd输入spark-shell启动spark,若如下图所示则启动成功

(4) 安装hadoop-2.7.6
(4.1)类似地解压、配置环境变量

(4.2)修改配置文件参考这篇博客【传送门】(很重要!!!)

(4.3)格式化namenode时出现问题

找到hadoop-env.cmd文件右键编辑修改JAVA_HOME的值(根据自己的情况)

(4.4)cmd进入E:hadoop-2.7.6sbin文件夹输入start-all.cmd
再输入jps看是否全部启动
如下图所示则启动成功

3:IDEA配置环境

(1) scala


(2)spark
导入下载好的spark的jar包

4.:总结

目前为止,我遇到的问题告一段落,如果之后还有问题再做记录,配这个环境花了我一天半的时间,真的是太浪费时间了,猛女生气,希望能给大家作个参考不用走太多的弯路。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/734462.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号