- 学习MLlib: Main Guide的Basic statistics。
学习内容：
Basic statistics的主要内容：
1、Correlation
2、Hypothesis testing——ChiSquareTest
3、Summarizer
Correlation
- Correlation：计算两个序列之间的相关性是统计学中的常见操作。在spark.ml模块中也提供了多个序列间的成对相关性的计算。目前支持计算Pearson相关性和Spearman相关性。
- 假设检验：统计中强有力的工具，去检验结果是否显著。spark.ml中提供了Pearson’s Chi-squared tests去检验独立性。
- Summarizer：可以计算Dataframe的聚合统计量，包括列的最大值，最小值，均值，总计，方差，标准差，非零个数，总次数等。
[1] pyspark帮助文档：https://spark.apache.org/docs/latest/ml-features.html
