栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

5.编写Spark独立应用程序(Maven)(华为云学习笔记,Spark编程基础,大数据)

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

5.编写Spark独立应用程序(Maven)(华为云学习笔记,Spark编程基础,大数据)

实验拓扑图

编写Spark独立应用程序(Maven)
① 使用Scala语言编写Spark独立应用程序;
② 使用Maven工具对Spark应用程序进行编译打包。
实验原理
-> Maven
Maven是一个项目管理工具,它包含了一个项目对象模型 (Project Object Model),一组标准集合,一个项目生命周期(Project Lifecycle),一个依赖管理系统(Dependency Management System),和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。当你使用Maven的时候,你用一个明确定义的项目对象模型来描述你的项目,然后Maven可以应用横切的逻辑,这些逻辑来自一组共享的(或者自定义的)插件。Maven 有一个生命周期,当你运行 mvn install 的时候被调用。这条命令告诉 Maven 执行一系列的有序的步骤,直到到达你指定的生命周期。遍历生命周期旅途中的一个影响就是,Maven 运行了许多默认的插件目标,这些目标完成了像编译和创建一个 JAR 文件这样的工作。此外,Maven能够很方便的帮你管理项目报告,生成站点,管理JAR文件,等等。
1. 安装Maven工具
∥ 下载maven安装包
打开浏览器,访问如下链接,下载maven安装包
拷贝代码http://file.ictedu.com/fileserver/big_data_common/data/apache-maven-3.3.9.tar.gz
下载后的安装包保存在/home/user/Downloads目录下

∥ 对安装文件进行解压缩
打开Terminal,登录到hadoop用户(su - hadoop)执行如下命令对安装文件执行解压缩:
拷贝代码
sudo tar -xvf /home/user/Downloads/apache-maven-3.3.9.tar.gz -C /usr/local

∥ 设置目录权限
接着使用如下命令设置目录权限:

拷贝代码
cd /usr/local
sudo mv ./apache-maven-3.3.9 ./maven
拷贝代码
sudo chown -R hadoop ./maven

2. 编写Spark应用程序代码
∥ 创建应用程序代码目录
在Linux终端中,执行如下命令创建一个文件夹 sparkapp2作为应用程序根目录:
#进入用户主文件夹
#创建应用程序根目录

拷贝代码
cd ~
mkdir ./sparkapp2
#创建所需的文件夹结构

拷贝代码
mkdir -p ./sparkapp2/src/main/scala

∥ 创建代码文件
下面使用vim编辑器在“~/sparkapp2/src/main/scala”下建立一个名为 SimpleApp.scala的Scala代码文件,命令如下:

拷贝代码
cd ~
vim ./sparkapp2/src/main/scala/SimpleApp.scala
然后,在SimpleApp.scala代码文件中输入以下代码:

拷贝代码

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
def main(args: Array[String]) {
val logFile = “file:///usr/local/spark/README.md”
val conf = new SparkConf().setAppName(“Simple Application”)
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains(“a”)).count()
val numBs = logData.filter(line => line.contains(“b”)).count()
println(“Lines with a: %s, Lines with b: %s”.format(numAs, numBs))
}
}

3. 使用Maven工具对代码进行编译打包∥ 新建文件pom.xml使用vim编辑器在“~/sparkapp2”目录中新建文件pom.xml,命令如下:拷贝代码cd ~vim ./sparkapp2/pom.xml然后,在pom.xml文件中添加如下内容,用来声明该独立应用程序的信息以及与Spark的依赖关系:拷贝代码 cn.edu.xmu simple-project 4.0.0 Simple Project jar 1.0 jboss JBoss Repository http://repository.jboss.com/maven2/ org.apache.spark spark-core_2.11 2.1.0 src/main/scala org.scala-tools maven-scala-plugin compile 2.11.8 -target:jvm-1.5


∥ 检查整个应用程序的文件结构为了保证Maven能够正常运行,先执行如下命令检查整个应用程序的文件结构:拷贝代码cd ~/sparkapp2find .文件结构应该是类似如下的内容:…/pom.xml./src./src/main./src/main/scala./src/main/scala/SimpleApp.scala

∥ 把整个应用程序打包成JAR包
接下来,我们可以通过如下代码将整个应用程序打包成JAR包:
#一定把这个目录设置为当前目录

拷贝代码
cd ~/sparkapp2
/usr/local/maven/bin/mvn package
生成的应用程序JAR包的位置为“/home/hadoop/sparkapp2/target/simple-project-1.0.jar”。

由于文件打包过程较长可以直接使用已经打包好的文件,文件存放在/home/user/Downloads目录下

4. 通过spark-submit运行程序
∥ 把JAR包通过 spark-submit 提交到 Spark 中运行
对于前面Maven打包得到的应用程序JAR包,可以通过 spark-submit 提交到 Spark 中运行,命令如下:

拷贝代码
/usr/local/spark/bin/spark-submit --class “SimpleApp” /home/user/Downloads/simple-project-1.0.jar
记住用ctrl+z截止
∥ 过滤屏幕信息
上面命令执行后会输出太多信息,可以不使用上面命令,而使用下面命令查看想要的结果:

拷贝代码
/usr/local/spark/bin/spark-submit --class “SimpleApp” /home/user/Downloads/simple-project-1.0.jar 2>&1 | grep “Lines with a:”
上面命令的执行结果如下:
Lines with a: 62, Lines with b: 30

由于文件打包时间较长,文件已经提前存放在 /home/user/Downloads/目录下可直接使用。

实验结论
到这里,使用Scala语言编写Spark独立应用程序并且使用Maven工具进行编译打包,已经学习完毕了。
回顾一下,通过本实验,掌握了哪些知识? 在实验中遇到了哪些问题,这些问题是如何解决的。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/963426.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号