这个和我“ Scala 程序使用 JNI 技术调用 C++ 程序 ” 这个博客基本一致,只不过是加上了 Spark 框架而已。区别不大
1、首先,在 IDEA 中创建 Spark 程序,如:实现 Spark 程序中 调用 c++ 实现 向量相加 和 矩阵相乘 的案例,最后输出结果并显示。
class MatrixMulti {
// --- Native methods
@native def matrixMulti(matrix1: Array[Int], matrix2: Array[Int]): Array[Int]
def loadLibrary(libName: String): Unit = {
System.loadLibrary(libName)
}
}
2、
然后打开文件所在位置,进入 cmd , 输入命令,scalac MatrixMulti.scala
这一步骤的意思是:先将 MatrixMulti.scala 程序生成一个 MatrixMulti.class 文件
然后 输入 javah MatrixMulti, 就会生成相应的 MatrixMulti.h 头文件
3、接下来是实现 MatrixMulti.cpp ,即对实现 MatrixMulti.h 里面的函数
4、
完成 .cpp 实现后,这里分两种情况:
情况一:你要生成的是 .dll 动态链接库(这是在windows下运行的动态链接库)
情况二:你要生成的是 .so 动态链接库(这是在linux下运行的动态链接库)
这里只介绍 .so 情况:
首先,在linux 下建一个文件夹,把一些相关文件放进去,如:jni的两个头文件,MatrixMulti.cpp MatrixMulti.h 即可。
然后命令行输入:
就会生成 MatrixMulti.so 了。
5、
然后就是调用这个动态连接库
还是在 IDEA 程序中:地址就是你的 .so 文件的地址,建议用绝对路径
写好后,maven 对其进行打包(这里注意一下打包 scala 语言编写时的问题,需要加上 pom 文件打包编译的配置,要不不会编译。详情查看我“spark 提交任务时出现问题” 博客)
6、打包后上传到 linux 下刚才的文件所在位置,然后就可以运行 Spark 了
运行命令为:
./bin/spark-submit --class spark_Jni_VectorAdd --master spark://storm333:7077 ./MyProjects/SparkJNIVectorAdd/spark-core-1.0-SNAPSHOT_spark-standalone.jar
7、到此成功运行。欧耶!



