栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

从0 spark本地开发环境搭建(idea)

从0 spark本地开发环境搭建(idea)

1、jdk的安装、查看

什么是jdk? - 知乎

2、maven

Maven安装配置及在idea中配置_iqqcode-CSDN博客_maven安装与配置idea

3、参考

0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建_gendlee1991的专栏-CSDN博客_hadoop spark 开发


4、基本软件情况:

(1)jdk: 独立检查、安装,添加环境变量

(2)idea:独立安装

(3)scala:可独立安装,使用其命令行形式,添加环境变量

(4)scala-intellij:在idea中以plugs形式添加进idea中

(5)spark:文件夹,pom中添加spark依赖;

(6)maven:解压到文件夹,idea中build_tools 中配置maven路径,添加环境变量

(7)Hadoop:解压到文件夹,添加环境变量

(8)xgboost/lgbm 等算法:jar包放到项目的lib文件夹中,pom中添加依赖

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/722809.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号