Java8+Hadoop2.7+Spark2.4.5

有用的小工具安装java

下载scala

安装spark安装pyspark

安装vm-tools可以取消主机与虚拟机的隔离，使主机复制的内容可以在虚拟机上复制粘贴。

sudo apt-get autoremove open-vm-tools
sudo apt-get install open-vm-tools
sudo apt-get install open-vm-tools-desktop

ps:下载该工具可能会很慢，建议先换掉默认的源镜像。

1.java8下载地址

2.在自建的路径下解压jdk，sudo tar -zxvf jdk-8u321-linux-x64.tar.gz

3.修改环境变量

sudo vi ~/.bashrc

4.按e进入vi编辑器，在尾部添加一下代码（注意java_home路径）

#set oracle jdk environment
export JAVA_HOME=~/java/jvm/jdk1.8.0_321  ## 这里要注意目录要换成自己解压的jdk >目录
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

ps:本文安装的方法触类旁通，可将环境变量一次性添加完毕

#set oracle jdk environment
export JAVA_HOME=~/java/jvm/jdk1.8.0_321  ## 这里要注意目录要换成自己解压的jdk >目录
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#scala environment
export PATH=$PATH:~/scala/bin ##自行更改个人路径，但要具体到bin目录下
#spark environment
export PATH=$PATH:~/spark/bin ##自行更改个人路径

5.最后按esc键退出编辑，输入：wq!保存并退出
6.环境变量生效

source ~/.bashrc

7.检验是否安装成功

java -version

1.scala下载地址

2.进入Scala文件的目录，并解压tar xvf scala-2.12.0.tgz

3.我将解压后Scala的文件复制移动到 ~/scala

4.添加环境变量，与添加java环境变量一致

sudo vi ~/.bashrc

export PATH=$PATH:~/scala/bin  ##scala路径为个人的安装路径

5.激活环境变量

source ~/.bashrc

6.查看安装是否成功

scala -version

spark下载地址


下载后将文件解压并改名spark

添加环境变量

export PATH=$PATH:~/spark/bin

4.激活环境变量

source ~/.bashrc

5.检查是否安装成功

spark-shell

#更新系统包
sudo apt-get update

#安装pip
sudo apt-get install python-pip

#更新pip
pip install --upgrade pip

#安装pyspark
pip install pyspark