栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)

文章目录
  • 前言
  • 一、下载资源
  • 二、本地配置步骤
    • 1.解压
    • 2.引入本地环境
    • 3.启动HADOOP文件
    • 4.进行Spark测试
  • 三、IDEA引入Spark项目
    • 1.idea按照scala插件
    • 2.新建scala项目
    • 3.配置项目
    • 4.新建scala类


前言

本文适用于《Spark大数据技术与应用》第九章-菜品推荐项目环境配置:`

跟着做就行…
资源都在网盘里面,纯粹的无脑配置…


提示:以下是本篇文章正文内容,所用资源版本过低,用于课本实验,且已有Java环境

一、下载资源

scala:2.12.8
spark:1.6.2
hadoop:2.6.4
hadoop启动文件exe

JAVA
如果按照我的方法在仍然不能使用的话,那大概率就是你的JAVA环境有问题,那么你就用我的JAVA文件找一篇JAVA配置的文章把JAVA环境换成我的

链接:https://pan.baidu.com/s/1dVLt3q_D3AQuwRZ0Q2TVvg 提取码:rfwb

![在这里插入图片描述](https://img-blog.csdnimg.cn/c50b6d9837284c6fba1396df9e819b88.png

二、本地配置步骤 1.解压

记住:解压到根目录下或者父目录不带空格 还不如直接这样直接搞到D盘下面(反正你水完课设再也不用了)

2.引入本地环境

1.打开高级环境配置并且找到“环境变量”

2.进入之后在系统变量里面找到path

3.将Spark,Hadoop,scala三个文件的bin文件路径引入path里面

注意:Hadoop文件的bin和sbin都要引入

4.系统编辑新建名为HADOOP_HOME的变量

3.启动HADOOP文件

首先你要检查你的C盘
有没有tmp文件,tmp文件下面有没有hive文件,没有你要手动创建

将winutils.exe文件复制到hadoop的bin目录下面

打开cmd
输入
前面半句是你自己的winutils.exe路径,后半句是C盘hive的路径,不要无脑复制

D:hadoop-2.6.4binwinutils.exe chmod 777 C:tmphive

4.进行Spark测试

打开cmd
输入

spark-shell

出现这两句话即为成功


注:一般问题

1.出现CMD出现Spark字母,但是出现如下


说明是Hadoop的配置问题。重新看我的过程

2.连字母都出现不了而且scala和spark配置没有问题
说明是JAVA环境问题

三、IDEA引入Spark项目 1.idea按照scala插件

在
File->Plugins->搜索scala->然后下载按照->重启idea

2.新建scala项目

点这个创建

java用本地的

3.配置项目

在File->Projct structure->Libraies
点击左上角加号

点击java引入包

找到你下载的Spark文件下面的lib文件点击引入



再次点击加号,点击scala
点击下方browse按钮

找到本地scala的文件引入

成功

4.新建scala类


点击Object,输入类名

完成

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/935743.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号