栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Spark基础学习笔记03:搭建Spark单机版环境

Spark基础学习笔记03:搭建Spark单机版环境

(一)通过SecureCRT访问ied虚拟机

本机远程桌面连接hw_win7虚拟机

启动hw_win7虚拟机上的SecureCRT

新建一个连接,访问ied虚拟机

 

单击【Connect】按钮

 

 关闭连接,修改连接名为ied

 设置选项

 

 

单击【OK】按钮

 

 查看一下是否安装了Java

说明ied虚拟机上没有安装Java (二)下载、安装和配置JDK

下载链接:https://pan.baidu.com/s/1RcqHInNZjcV-TnxAMEtjzA 提取码:jivr下载到hw_win7虚拟机

将Java安装包上传到ied虚拟机/opt目录,但是rz命令不能用

 rz命令无法使用,需要安装lrzsz。lrzsz是一个unix通信套件提供的X,Y,和ZModem文件传输协议。Windows 需要向CentOS服务器上传文件,可直接在CentOS上执行命令yum -y install lrzsz,程序会自动安装好。要下载,则sz [找到你要下载的文件];要上传,则rz浏览找到你本机要上传的文件。

 利用rz命令上传Java安装包到ied虚拟机/opt目录

 

执行tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local,将Java安装包解压到/usr/local

 

执行yum -y install vim,安装vim编辑器

 配置Java环境变量

JAVA_HOME=/usr/local/jdk1.8.0_231

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME PATH CLASSPATH

 

存盘退出,让环境配置生效

在任意目录下都可以查看JDK版本

 

(三)下载Spark安装包到hw_win7虚拟机

 下载链接:https://pan.baidu.com/s/1dLKt5UJgpqehRNNDcoY2DQ 提取码:zh0x

(四)将Spark安装包上传到ied虚拟机

执行cd /opt,进入/opt目录

 利用rz命令上传Spark安装包

 

(五)将Spark安装包解压到指定目录

查看解压之后的spark目录

 

(六)配置Spark环境变量

执行vim /etc/profile

JAVA_HOME=/usr/local/jdk1.8.0_231
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
SPARK_HOME=/usr/local/spark-2.4.4-bin-hadoop2.7
PATH=$JAVA_HOME/bin:$SPARK_HOME/bin:$PATH
export JAVA_HOME SPARK_HOME PATH CLASSPAT

 

存盘退出,让环境配置生效

 

二、使用Spark单机版环境 (一)使用SparkPi来计算Pi的值

 看第61行:Pi is roughly 3.1441757208786045

(二)使用Scala版本Spark-Shell

执行 pyspark 启动 spark shell

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/784813.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号