python机器学习学习笔记（五）

非线性支持向量机分类

1.三次多项式

用多项式曲线把决策空间分成两部分 kernel='poly'，degree为多项式次数

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm

x = np.array([[1,3],[1,2],[1,1.5],[1.5,2],[2,3],[2.5,1.5],[2,1],[3,1],[3,2],[3.5,1],[3.5,3]])
y = [0]*6+[1]*5
svc = svm.SVC(kernel='poly',C=1,degree=3).fit(x,y)  #kernel='poly'表示使用多项式曲线，degree=3表示多项式次数为3
X,Y = np.mgrid[0:4:200j,0:4:200j]
Z = svc._decision_function(np.c_[X.ravel(),Y.ravel()])
Z = Z.reshape(X.shape)

plt.contourf(X,Y,Z>0,alpha=0.4)
plt.contour(X,Y,Z,colors=['k','k','k'],linestyles=['--','-','--'],levels=[-1,0,1])
plt.scatter(svc.support_vectors_[:,0],svc.support_vectors_[:,1],s=120,facecolors='r')  #绘制参与计算间隔的数据点
plt.scatter(x[:,0],x[:,1],c=y,s=50,alpha=0.9)
plt.show()

2.径向基函数RBF

用径向基函数把决策空间分成两部分 kernel='rbf'，gamma表示单个样本的影响波及范围，gamma 比较小的话，其影响较小，反之则影响范围较大。

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm

x = np.array([[1,3],[1,2],[1,1.5],[1.5,2],[2,3],[2.5,1.5],[2,1],[3,1],[3,2],[3.5,1],[3.5,3]])
y = [0]*6+[1]*5
svc = svm.SVC(kernel='rbf',C=1,gamma=3).fit(x,y)
X,Y = np.mgrid[0:4:200j,0:4:200j]
Z = svc._decision_function(np.c_[X.ravel(),Y.ravel()])
Z = Z.reshape(X.shape)

plt.contourf(X,Y,Z>0,alpha=0.4)
plt.contour(X,Y,Z,colors=['k','k','k'],linestyles=['--','-','--'],levels=[-1,0,1])
plt.scatter(svc.support_vectors_[:,0],svc.support_vectors_[:,1],s=120,facecolors='r')  #绘制参与计算间隔的数据点
plt.scatter(x[:,0],x[:,1],c=y,s=50,alpha=0.9)
plt.show()

 所有数据点都处于正确位置

参考:

法比奥·内利. Python数据分析实战：第2版.北京：人民邮电出版社, 2019.11.