spark(三)------spark pi任务提交

1.输出1到100的数字中x,y轴的和在单位圆中的点，并统计个数

object sparkPi {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf()
    conf.setAppName("sparkPi")
    conf.setMaster("local")
    val context: SparkContext = new SparkContext(conf)
    val value: RDD[Int] = context.parallelize(1 to 100)
    val value1: RDD[Int] = value.map(one => {
      var x = random() * 2 - 1
      var y = random() * 2 - 1
      if (x * x + y * y <= 1) 1 else 0
    })
    val count: Int = value1.reduce((v1, v2) => v1 + v2)
    println(count)
  }
}

2.
程序写完进行打包，上传到Master节点虚拟机上，打包之前需要clear把target清空然后把master删除，然后package
在虚拟机终端spark-3.0.0/bin，
spark-submit–master spark://hadoop102:7077 --class 包名+类名 打包的程序路径