栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【无标题】

【无标题】

安装spark3.2 1 .下载

地址:https://spark.apache.org/downloads.html

2. 解压到安装目录

解压:

重命名:

3.安装scala

地址:https://downloads.lightbend.com/scala/2.12.15/scala-2.12.15.tgz

4. 配置环境变量


立即生效:source ~/.bashrc

4.配置

配置spark-env.sh

cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh
vim $SPARK_HOME/conf/spark-env.sh
export JAVA_HOME=/usr/local/java
export SCALA_HOME=/opt/src/scala-2.12.15
export HADOOP_HOME=/opt/src/hadoop-3.3.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_HOST=node001
export SPARK_LOCAL_DIRS=/opt/src/spark-3.2.0
export SPARK_DRIVER_MEMORY=2g  #内存
export SPARK_WORKER_CORES=1     #cpus核心数


配置workers

添加worker主机:

5.复制到其他结点并启动

6.启动
./sbin/start-all.sh


7.验证
./bin/run-example SparkPi 10

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663078.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号