MLlib Statistics统计操作

MLlib Statistics是基础统计模块，是对RDD格式数据进行统计，包括：汇总统计、相关系数、分层抽样、假设检验、随机数据生成等。

• 列统计汇总
• 相关系数（PS：我写过一篇专利，用的核心算法就是皮尔逊相关系数，知识不是没有用，而是需要用的时候 你能想到它）
• 假设检验

Statistics的colStats函数是列统计方法，该方法可以计算每列最大值、最小值、平均值、方差值、L1范数、L2范数。

import org.apache.log4j.{Level, Logger}
import org.apache.spark.SparkContext._
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
//向量
import org.apache.spark.mllib.linalg.Vector
//向量集
import org.apache.spark.mllib.linalg.Vectors
//稠密向量
import org.apache.spark.mllib.linalg.DenseVector
//实例
import org.apache.spark.mllib.stat.{MultivariateStatisticalSummary, Statistics}
//矩阵
import org.apache.spark.mllib.linalg.{Matrix, Matrices}
//索引矩阵
import org.apache.spark.mllib.linalg.distributed.RowMatrix
//RDD
import org.apache.spark.rdd.RDD

object WordCount {

  def main(args: Array[String]) {
    Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
    val conf = new SparkConf().setAppName("HACK-AILX10").setMaster("local")
    val sc = new SparkContext(conf)

    val datapath = "C:\study\spark\ailx10.txt"
    val data = sc.textFile(datapath)
      .map(_.split("t"))
      .map(f=>f.map(f=>f.toDouble))

    val data1 = data.map(f=>Vectors.dense(f))

    val stat1 = Statistics.colStats(data1)

    println("列最大值："+stat1.max)
    println("列最小值："+stat1.min)
    println("列平均值："+stat1.mean)
    println("列方差值："+stat1.variance)
    println("列L1范数："+stat1.normL1)
    println("列L2范数："+stat1.normL2)

  }
}

皮尔逊相关系数，表达的是两个变量的线性相关，它一般适用于正态分布，它的取值范围是[-1,1]，取值为0表示不相关，取值小于0表示负相关，取值大于0表示正相关。

斯皮尔曼相关系数也用于表达两个变量的相关性，但是它没有皮尔逊相关系数的分布那么严格，另外斯皮尔曼相关系数可以更好的用于测量变量的排序关系。

import org.apache.log4j.{Level, Logger}
import org.apache.spark.SparkContext._
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
//向量
import org.apache.spark.mllib.linalg.Vector
//向量集
import org.apache.spark.mllib.linalg.Vectors
//稠密向量
import org.apache.spark.mllib.linalg.DenseVector
//实例
import org.apache.spark.mllib.stat.{MultivariateStatisticalSummary, Statistics}
//矩阵
import org.apache.spark.mllib.linalg.{Matrix, Matrices}
//索引矩阵
import org.apache.spark.mllib.linalg.distributed.RowMatrix
//RDD
import org.apache.spark.rdd.RDD

object WordCount {

  def main(args: Array[String]) {
    Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
    val conf = new SparkConf().setAppName("HACK-AILX10").setMaster("local")
    val sc = new SparkContext(conf)

    val datapath = "C:\study\spark\ailx10.txt"
    val data = sc.textFile(datapath)
      .map(_.split("t"))
      .map(f=>f.map(f=>f.toDouble))

    val data1 = data.map(f=>Vectors.dense(f))

    val stat1 = Statistics.colStats(data1)

    val corr1 = Statistics.corr(data1,"pearson")
    val corr2 = Statistics.corr(data1,"spearman")

    val x = sc.parallelize(Array(1.0,2.0,3.0,4.0))
    val y = sc.parallelize(Array(5.0,6.0,6.0,6.0))
    val corr3 = Statistics.corr(x,y,"pearson")

    println("皮尔逊相关系数："+corr1)
    println("斯皮尔曼相关系数："+corr2)
    println("皮尔逊相关系数："+corr3)

  }
}

mllib当前支持用于判断拟合度、独立性的皮尔逊卡方检验，不同的输入类型决定了是做拟合度检验，还是做独立性检验。拟合度检验要求输入为Vector，独立性检验要求输入时Matrix。

import org.apache.log4j.{Level, Logger}
import org.apache.spark.SparkContext._
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
//向量
import org.apache.spark.mllib.linalg.Vector
//向量集
import org.apache.spark.mllib.linalg.Vectors
//稠密向量
import org.apache.spark.mllib.linalg.DenseVector
//实例
import org.apache.spark.mllib.stat.{MultivariateStatisticalSummary, Statistics}
//矩阵
import org.apache.spark.mllib.linalg.{Matrix, Matrices}
//索引矩阵
import org.apache.spark.mllib.linalg.distributed.RowMatrix
//RDD
import org.apache.spark.rdd.RDD

object WordCount {

  def main(args: Array[String]) {
    Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
    val conf = new SparkConf().setAppName("HACK-AILX10").setMaster("local")
    val sc = new SparkContext(conf)

    val x = Vectors.dense(1.0,2.0)
    val y = Vectors.dense(3.0,4.0)

    val c = Statistics.chiSqTest(x,y)
    print(c)

  }
}

• 统计量：皮尔逊
• 自由度：1
• 值：0.111
• 概率：0.738

本篇完~