栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

李航《统计学习方法》第二章——感知机及python实现

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

李航《统计学习方法》第二章——感知机及python实现

感知机对偶形式

算法2.2

(1) 初始化参数 α = 0 alpha = 0 α=0, b = 0 b = 0 b=0, η ∈ ( 0 , 1 ] eta in (0,1] η∈(0,1]
(2) 对于特征数据进行循环:
quad quad 如果 y i ( ∑ j = 1 N α j y j x j ∗ x i + b ) ⩽ 0 y_i(sum_{j=1}^N alpha_j y_j x_j * x_i + b) leqslant 0 yi​(∑j=1N​αj​yj​xj​∗xi​+b)⩽0 ,更新参数:
quad quad quad quad quad quad quad quad α i = α i + η alpha_i = alpha_i + eta αi​=αi​+η
quad quad quad quad quad quad quad quad b = b + y i ∗ η b= b+ y_i *eta b=b+yi​∗η
(3) 重复(2),直到没有错分数据。

错分条件在Python里其实可以使用 Gram 矩阵进行简便计算:
记 α = ( α 1 , α 2 , α 3 ) T , y = ( y 1 , y 2 , y 3 ) T alpha = (alpha_1,alpha_2,alpha_3)^T, y = (y_1,y_2,y_3)^T α=(α1​,α2​,α3​)T,y=(y1​,y2​,y3​)T
其实错分条件就等价于:先将 α alpha α 和 y y y 的对应项相乘,然后在和 Gram 矩阵的 第 i i i 行求内积。(就是下面代码里的写法)

例2.2 Python 代码

class perceptronDual:
    def __init__(self):     # 初始化参数
        self.a = np.zeros(3)
        self.b = 0
        self.lr = 1
        
    def fit(self, Y, Gram):
        flag = False
        while flag != True:
            count = 0
            for i in range(len(Y)):
                if (np.dot(self.a * Y , Gram[i]) + self.b) * Y[i] <= 0:    # 误分条件
                    self.a[i] += self.lr
                    self.b += self.lr * Y[i]
                    count += 1
                    print(self.a,self.b)
                    print("-"*10)
                else:
                    continue
            if count == 0:
                flag = True
                

if __name__ == '__main__':
	x = np.array([[3,3],[4,3],[1,1]])
	y = np.array([1,1,-1])
	G = np.dot(x,x.T)   # 计算Gram矩阵
	p1 = perceptronDual()
	p1.fit(y,G)
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/915800.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号