以二分类为例
训练：class1 表征输出目标是1，class 2的输出-1
测试：closer to 1 means class 1,otherwise is class 2
features:x1, x2
liniar model:
左图分类很好，右图中，绿色线是分类线，右下角的点的output远大于1，希望蓝色点应该越接近1越好，这些远大于1的点是error。用regression learn，会得到紫色这条线。
再多类问题中，regression不好。
在分类函数中，内嵌一个函数g(x)
统计函数f在训练集上错误的次数，作为loss function
知道先验概率，就可以得到蓝球从盒子1出来的概率。
贝叶斯公式。
推演该例子倒分类问题。
P(C1):从class1抽样出来的概率—先验
P(C2):从class2抽样出来的概率
P(x|C1):从class1中抽样出来x的概率
P(x|C2)
可以计算x属于class1的概率，如下
现在需要估测前面的四个概率，可以从training data中估测，称为generative model，计算P(x)
假设某一个x所属的分类（用到的training data）都是从一个Gaussian分布里面抽样出来的，现在就是从samiple出来的点中反向找到Gaussian distribution的一些参数。
在上述例子中，假设抽样出来79个点，呈现出蓝色点表示的分布状态，Gaussian分布看作是一个函数。 Gaussian Distribution 可以选择任何一种分布
是probability的density，上述函数表示input一个x，输出抽样出这个x的概率密度
mean μ mu μ （位置） covariance matrix Σ boldSigma Σ（散的程度）
ex: 同样的方差，不同均值
同样的均值，不同方差
回到刚才的问题，在已知的training data里面，如果能确定均值和方差，那么对于新的点x，带入高斯分布的function里面，就可以计算出sample这个点的概率，因此问题就是如何通过training data计算出均值和方差，这里的方法是
Maximum liklihood理论上，任何一个Gaussian都可能sample出这里的training data，但是不同的Gaussian sample这些data的可能性是不同的----Different Liilihood,如图
显然，左下角的Gaussian sample出这些点的可能性高于右上角的分布
如果能给一个Gaussian的均值和方差，就可以计算出这个gaussian sample这些点的概率，即
这里的L表示可能性，因为每一个点是独立sanmple的，最大的L对应的就是需要找到的分布
用同一组协方差矩阵
maximizing the likelihood
Find the best function Math从posterir probability 到后面用的sigmoid，转换了表述方式，后验概率变成了sigmoid函数
为了得到z的表征，用数学的方式，将gaussian分布的表达式代入
由于考虑公用一个协方差矩阵，在进行简化
所以当公用协方差矩阵后，boundary就是linear形式
这样，只要能够直接找出w和b，就可以得到分类界
