栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > C/C++/C#

用 Scala 语言写的 Spark 框架程序利用 JNI 调用 C++ 程序

C/C++/C# 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

用 Scala 语言写的 Spark 框架程序利用 JNI 调用 C++ 程序

这个和我“ Scala 程序使用 JNI 技术调用 C++ 程序 ” 这个博客基本一致,只不过是加上了 Spark 框架而已。区别不大

1、首先,在 IDEA 中创建 Spark 程序,如:实现 Spark 程序中 调用 c++ 实现 向量相加 和 矩阵相乘 的案例,最后输出结果并显示。

class MatrixMulti {
	// ---  Native methods
	@native def matrixMulti(matrix1: Array[Int], matrix2: Array[Int]): Array[Int]

	def loadLibrary(libName: String): Unit = {
		
		System.loadLibrary(libName)
	}
}

2、

 然后打开文件所在位置,进入 cmd , 输入命令,scalac MatrixMulti.scala

这一步骤的意思是:先将 MatrixMulti.scala 程序生成一个 MatrixMulti.class 文件

然后 输入 javah MatrixMulti,   就会生成相应的  MatrixMulti.h 头文件

3、接下来是实现 MatrixMulti.cpp  ,即对实现 MatrixMulti.h 里面的函数

4、

完成 .cpp 实现后,这里分两种情况:

情况一:你要生成的是 .dll 动态链接库(这是在windows下运行的动态链接库)

情况二:你要生成的是 .so 动态链接库(这是在linux下运行的动态链接库)

这里只介绍 .so 情况:

首先,在linux 下建一个文件夹,把一些相关文件放进去,如:jni的两个头文件,MatrixMulti.cpp  MatrixMulti.h 即可。

然后命令行输入:

就会生成 MatrixMulti.so 了。 

5、

然后就是调用这个动态连接库

还是在 IDEA 程序中:地址就是你的 .so 文件的地址,建议用绝对路径

写好后,maven 对其进行打包(这里注意一下打包 scala 语言编写时的问题,需要加上 pom 文件打包编译的配置,要不不会编译。详情查看我“spark 提交任务时出现问题” 博客) 

6、打包后上传到 linux 下刚才的文件所在位置,然后就可以运行 Spark 了

运行命令为:

./bin/spark-submit --class spark_Jni_VectorAdd --master spark://storm333:7077 ./MyProjects/SparkJNIVectorAdd/spark-core-1.0-SNAPSHOT_spark-standalone.jar

7、到此成功运行。欧耶!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/604959.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号