栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

DeepLearning与CNN入门基础总结

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

DeepLearning与CNN入门基础总结

由于想入门深度学习的一些框架,所以就自己开始学习了关于深度学习的入门知识以及python代码的实现过程。对于下面的文章的基础是掌握一定的python还有numpy的技巧。而且这篇文章真的是像我这种没有接触过的入门者而言,所以对于掌握很多东西的大佬就可以没有必要看我这篇文章了。


目录

0x01 从感知机开始

0x02 从感知机到神经网络

0x03 激活函数

sigmoid函数

阶跃函数

ReLu函数

0x04 实现三层神经网络

0x05 输出层的设计

0x06 批处理

0x07 神经网络的学习

(一)损失函数

(二)梯度下降法

0x08 神经网络的学习步骤

0x09 误差反向传播

0x0A 最优化(梯度下降法的一些方法)

(一)随机梯度下降法(SGD)

        (二)Momentum动量

        (三)AdaGrad

        (四)Adam

0x0B 权重初始值的问题

0x0C CNN卷积神经网络


神经网络可能大家听起来确实是一个有挑战性的事情,其实它的本质是一个线性回归以及逻辑回归的问题。那么我们回过头看看机器学习的流程:数据获取->特征工程->建立模型->评估与应哟。

那么深度学习是在干什么的:

其实深度学习一直在做的事情就是提取特征,我们可以称之为特征工程,那么特征工程的作用:

  • 数据特征决定了模型的上限

  • 预处理和特征提取是最核心的

  • 算法与参数选择决定了如何逼近这个上限

那么这一切从一个感知机开始说起:

0x01 从感知机开始

感知机:接收多个输入信号,输出一个信号。感知机的信号只有0和1,表达不传递信号以及传递信号。其实到最后会发现其实感知机就是我们的一个神经单元。

下面是一个接收两个输入信号的感知机的例子:

输入信号被送往神经元时,会被分别乘以固定的权重(w1x1,x2w2)。神经元会计算传送过来的信号的总和,只有当这个总和超过了某个界限时才会输出1。这里称为“神经元激活”,并且我们将这个界限称为阈值。

那么使用数学表达式来表达上面那个东西:

感知机的多个输入信号都有各自固定的权重,这些权重都控制着各自信号的重要性作用,权重越大,对应该权重的信号的重要性就越高。

我们先回顾一下关于简单逻辑电路:

  • 与门:x1和x2同时为1时,信号加权总和才会超过给的阈值。

  • 与非门:颠倒了与门的输出。

  • 非门:把实现与门的参数值的符号取反。

以上,感知机可以通过适当地调整参数即可改变其门的表达形式。需要注意的时感知机无法表达异或门。

那么我们可以首先写一个python函数来实现刚刚的逻辑电路AND:

def AND(X1,X2):
    W1,W2,theta = 0.5,0.5,0.7
    tmp=x1*w1+x2*w2;
    if tmp<=theta:
        return 0;
    elif tmp>theta:
        return 1;

 那么我们因此可以倒入权重和偏置这么两个概念:

我们可以利用numpy去实现上面的那个功能np.sum(w*x),最后得到的就是各个元素的总和。

要实现那个上面的公式,我们可以使用如下:tmp=np.sum(w*x)+b

那么对于参数w1、w2、b:

w1、w2:控制输入信号的重要性参数

b:偏置是调整神经元被激活的容易程度(输出信号为1的容易程度)

感知机的局限性就在于它只能表示由一条直线分割的空间,对于弯曲的曲线,是无法使用感知机表示的。

非线性空间:由曲线分割而成的空间。

线性空间:由直线分割而成。

可是在实际的神经网络中,我们不可能让一个网络是线性的性质。

我们可以使用多重感知机来实现异或门的操作:

 在python中有实现与非门等语句:

AND(x1,x2)	#与门
NAND(x1,x2) #与非门
OR(x1,x2)	#或门

异或门是一种多层结构的神经网络,也就是多层感知机。那么使用代码可以如下表示:

def XOR(x1,x2):
	s1=NAND(X1,X2)
	S2=OR(x1,x2)
	y=AND(s1,s2)
	return y

实际上,与门、或门是单层感知机,而异或门是2层感知机。叠加了多层的感知机也称为多层感知机。单层感知机只能表示线性空间,而多层感知机可以表示非线性空间;多层感知机理论上可以表示计算机。

0x02 从感知机到神经网络

对于复杂的神经网络,感知机也隐含着能够表示它的可能性。那为什么要引入神经网络,对于我们上面感知机,它是需要人工设定权重的工作,即需要人工的确定合适的、能符合预期的输入与输出的权重。那么神经网络重要的性质,就是可以自动从数据中学习到合适的权重参数。

对于神经网络的表示:最左边为输入层,最右边为输出层,中间称为隐藏层。

那么我们回到我们最熟悉的感知机上,我们使用一个神经网络来表示我们的函数:

对于w的初始化可以为一个随机的参数,之后我们要进行不断地更新,使其可以达到我们所预期的值。其实这个处理的函数我们称之为线性函数y=wx+b。

看看下面这幅图:

上面的图像使用的是一个[3,4]的矩阵,也就是权重w,输入一副图像x,之后再加上一个偏置b。最后矩阵的计算可以表达为如下:[3,4] * [4,1] + [3,1] = [3,1]。而且我们可以发现,我们要输出的矩阵的大小,是与偏置b的大小可以说是一样的。

对于我们函数的输出,其实需要一个函数h(x)进行转换,那么这个h(x)就是我们经常听到的激活函数。为什么要使用激活函数呢,因为我们使用了线性的函数进行输出,可是我们使用那么多线性权重去计算,我们要实现一个函数xw1w2w3,那我们为什么不做一个一个权重w4直接等于w1w2w3呢?其实这种线性的处理,在神经网络中是不可取的,我们需要在一次线性函数的输出后,将其转化为非线性输出,这个时候就需要激活函数。

0x03 激活函数

激活函数可以说是连接感知机和神经网络的桥梁了。我们熟悉的神经网络有Relu、Sigmoid等。

  • 朴素的感知机:单层网络,激活函数使用的是阶跃函数的模型。

  • 多层感知机:神经网络,采用sigmoid函数等平滑的激活函数的多层函数。

使用激活函数就开始说明我们已经进入神经网络的世界了。激活函数是为了进行信号转换,转换后的信号即传递给下一个神经元。

sigmoid函数

这个函数的表达式如下:

 若使用numpy进行表达是如下的:

def sigmoid(x):
	return 1/(1+np.exp(-x))

阶跃函数

这个函数是最为简单的函数,其解释为当输入超过0时,输出1,否则输出0。

def step_function(x):
    if x>0:
        return 1;
    else:
        return 0;

这里的参数只可以接收实数或者是浮点数,那么对于数组怎么实现:

def step_function(x):
    y = x > 0;					#返回bool类型的数组
    return y.astype(np.int)		#进行类型转换,将bool转为int

也可以将上述合并为如下:

def step_function(x):
	return np.array(x>0,dtype=np.int)

那么对于阶跃函数以及sigmoid函数的区别可以如下:

两个函数的平滑性不同,sigmoid是一条平滑的曲线,输出随着输入发生连续的变化。而阶跃函数以0为界,输出发生急剧性变化。sigmoid函数的平滑性对神经网络的学习具有重要意义。

输出值是输入值的常数倍的函数称为线性函数,h(x)=cx。否则就为非线性函数。

神经网络的激活函数必须使用非线性函数。如果使用线性函数,则不管怎么加深层数,总是存在与之等效的“无效”隐藏层的神经网络。因为对于一个线性函数,加深层只会让它一直在乘以一个常数,最后输出一直为y=ax,这根本无法满足叠加层所带来的优势。

ReLu函数

这个函数是比较常用的,现在还在继续使用,对于上面的sigmoid函数,当他遇到大数据的处理时,容易出现数据无法实现更新的情况,就是他曲线上面的那一段平滑的线。比较实用的还是relu函数。

0x04 实现三层神经网络

在实现三层神经网络之前,我们需要了解清楚numpy的一些处理机制,对于多维数组的运算:

  • 数组维度可以使用numpy中np.ndim()进行获取。

  • 数组的形状可以使用A.shape(),返回值为元组,若为一维数组则使用A.shape[0]

  • 实现矩阵间的点积计算:np.dot(A,B),此函数的使用前提是A列=B行,运算结果C为矩阵A的行数和矩阵B的列数构成。

>>> B=np.array([[1,2],[3,4],[5,6]])
>>> printf(B)
[[1 2]
 [3 4]
 [5 6]]
 >>> np.ndim(B)
 2
 >>> B.shape
 (3,2)

 那么我们先看一下三层神经网络的结构:

三层神经网络:输入层(第0层)有两个输入的神经元,第一个隐藏层(第1层)有三个神经元,第二个隐藏层(第2层)有两个神经元,输出层(第3层)有两个神经元。

上面的前三层,我们都加上一个偏置b:

那么我们输入层到第一层的第一个神经元的信号传递过程可以表示为如下:

a1(1)=w11(1)x1+w12(1)x2+b1(1)

之后我们将每一层输出的值都进行sigmoid激活函数处理,再传给下一层,那么我们对a1的输入进行处理,我们可以表达为:

X = np.array([1.0,0.5])
W1 = np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]])
B1 = np.array([0.1,0.2,0.3])

A1 = np.dot(X,W1)+B1
Z1 = sigmoid(A1)

之后我们来实现第二层,我们将第一层的三个输出进行处理:

W2 = np.array([0.1,0.4],[0.2,0.5],[0.3,0.6])
B2 = np.array([0.1,0.2])

A2 = np.dot(Z1,W2)+B2
Z2 = sigmoid(A2)

我们可以发现若使用numpy数组可以实现层到层的信号传递过程。

最后是第二层到输出层的信号传递,输出层的激活函数我们不使用在隐藏层中的函数,我们使用恒等函数,在下面再进行扩展:

def identity_function(x):
	return x
	
W3 = np.array([0.1,0.3],[0.2,0.4])
B3 = np.array([o.1,o.2])

A3 = np.dot(Z2,W3)+B3
Y = identity_function(A3)

输出层所使用的激活函数,我们需要根据求解问题的性质决定。一般地,回归问题可以使用恒等函数,二元分类问题可以使用sigmoid函数,多元分类问题可以使用softmax函数。

那么如果我们完成了上面的操作,我们可以说是完成了神经网络的前向传播(从输入到输出的处理)。那么反向传播是干什么的,我个人的理解是作为参数更新使用的。

最后总结上面的代码:

def init_network():
	network = {}
	network['W1'] = np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]])
	network['B1'] = np.array([0.1,0.2,0.3])
	network['W2'] = np.array([[0.1,0.4],[0.2,0.5],[0.3,0.6]])
	network['B2'] = np.array([0.1,0.2])
	network['W3'] = np.array([[0.1,0.3],[0.2,0.4]])
	network['B3'] = np.array([0.1,0.2])
	
	return netwok

def forward(network, x)
	W1,W2,W3 = network['W1'],network['W2'],network['W3']
    B1,B2,B3 = network['B1'],network['B2'],network['B3']
    
    a1 = np.dot(x,W1)+B1
    z1 = sigmoid(a1)
    a2 = np.dot(z1,W2)+B2
    z2 = sigmoid(a2)
    a3 = np.dot(z2,W3)+B3
    y = identity_function(a3)
    
    return y

network = init_network()
x = np.array([1.0,0.5])
y = forward(network,x)

0x05 输出层的设计

输出层使用什么函数进行表达,正常视情况而定,一般而言 ,回归问题使用的是恒等函数,分类问题用softmax函数。

机器学习的问题大致可以分为两类:分类问题以及回归问题 。

分类问题:数据属于哪一个类别的问题

回归问题:根据某个输入预测一个(连续的)数值问题

对于输出层激活函数σ的设计主要有下面几个函数;

  • 恒等函数

    会将输入按原样输出,对于输入信息,不加任何改动地连接输出。 

  • softmax函数

输出层地各个神经单元都受到所有输入信号的影响。

 函数原型:

那么使用numpy表示指数运算可以使用np.exp(a)、对数组中所有元素求和可以使用np.sum(a)。

那么使用python实现softmax:

def softmax(a):
    c = np.max(a)
	exp_a = np.exp(a-c)
	sum_exp_a = np.sum(exp_a)
	y = exp_a/sum_exp_a
	
	return y

这个函数最大的问题就是存在溢出问题。使用指数运算的值很容易变得非常大。对于无穷大的结果会返回一个无穷大的inf。如果在这超大值之间进行除法运算,那么结果就会出现一个不确定的值,这种情况需要避免。

计算机在处理数的时候,数值必须在4字节或者8字节的有限数据宽度内,这意味着数存在有效位数,也就是说,可以表示的数值范围是有限的。因此会出现超大值无法表示的问题。这个问题称为溢出。

我们在分子和分母上都乘上C这个任意的常数(因为同时对分母和分子乘以相同的常数,计算结果不变),在进行softmax的指数函数的运算时,加上(或者减去)某个常数并不会改变运算的结果。这里的C可以使用任何值,但是我们一般为了防止溢出,会使用输入信号中的最大值。这样减去的值就会变小很多,并且可以正常输出。

softmax函数的特征:输出的是0.0~1.0之间的实数,且softmax函数的输出的总和是1。将其理解为分类的概率性问题。

一般而言,神经网络只是把输出最大的神经元所对应的类别作为识别结果。并且,即便使用softmax函数,输出值最大的神经元的位置也不会改变。因此,神经网络在进行分类时,输出层的softmax函数可以省略。在实际问题中,由于指数函数的运算需要一定的计算机运算量,因此输出层的softmax函数一般会被省略。

输出层的神经元的数量:我们是根据待解决问题来决定的。

对于分类问题,比如说我们要区分0~9十个数,那我们使用的是十个神经元,也就是说在分类问题中,我们输出层的神经元数量一般设定为类别的数量。

最后我们再说明几个名词:

  • 正规化:把数据限定到某个范围内的处理。

  • 预处理:对神经网络的输入数据进行某种既定的转换。

  • 数据白化:将数据整体的分布形状均匀化的方法

0x06 批处理

批处理对计算机的运算大有好处,可以大幅缩短每张图像的处理时间。批处理可以减轻数据总线的负荷(严格的讲,相对于数据输入,可以将更多的时间用在计算上)。也就是说,批处理一次性大型数组要比分开逐步计算各个小型数组速度更快。我们使用batch来表达。

输入数据的几何称为批,通过批单位进行推理处理,能够实现高速的运算:

for i in range(0,len(x),batch)

之后我们再根据样本的数量设定epoch,相对于迭代次数,迭代每次计算这么多的batch。

0x07 神经网络的学习

神经网络的学习可以理解为从训练数据中自动获取最优权重参数的过程。那么如何去获取那个最优的参数,其实就是使用了损失函数的这个指标。学习的目的就是以该损失函数为基准,找出能使他的值达到最小的权重参数。

而我们上面所实现的,只是人工给了一些参数,并且根据我们的参数进行学习,并不会更新,这其实不算是一种自动学习的状态,只可以说是我们对输入做的一些处理。

那么深度学习与机器学习的不同在哪呢,可以说是一个特征量到底是否为人工设计的问题。

当使用机器学习的时候,我们会先从图像中提取特征量,再用机器学习技术学习这些特征量的模式。这里所说的特征量是指可以从输入数据(输入图像)中准确地提取本质数据(重要数据)的转换器。图像的特征向量通常表现为向量的形式。在计算机视觉领域中,常用的特征向量处理可以说是有SIFT、SURF和HOG等。这些特征向量将图像数据转换为向量,然后对转换后的向量使用机器学习的SVM、KNN等分类器进行学习。机器学习是从我们给的数据集中找出其规律性,但是这些数据集,将图像转为特征向量是由人设计的,对不同的问题,那么人就需要设计合适的特征向量。机器学习就是每一步都需要确定好要做什么,也需要明确定义(人工)。

对于特征向量处理的一些算法:SIFT算法原理_youkiaaa的博客-CSDN博客_sift

那么如果看回神经网络,连图像中保安的重要特征向量也都是由机器来学习的。因此深度学习也可以说为端到端的机器学习。可以看看下面的图:

端到端是什么意思呢:其实可以说是从原始数据(输入)中获得目标结果(输出)的意思。

在机器学习中,我们一般将数据分为训练数据(监督数据)和测试数据两个部分来进行学习和实验等。我们首先使用训练数据来进行学习,寻找最优的参数;然后使用测试数据评价训练得到的模型的实际能力。我们追求的是这个模型的泛化能力,所以我们要避免过拟合。

泛化能力:指处理未被观察过的数据(不包含在训练数据中的数据)的能力

过拟合:只对某个数据集过度拟合的状态。(只会识别这个数据集的东西)

那么为了避免上面的问题,我们使用了损失函数,引入损失函数的概念。

(一)损失函数

神经网络的学习中所用的指标称为损失函数。这个损失函数可以使用任意函数,但一般使用的是均方误差和交叉熵误差等。损失函数是表示神经网络性能的“恶劣程度”的指标,即当前的神经网络对监督数据在多大程度上不拟合,在多大程度上不一致。

 均方误差:

怎么理解这个使用:

假设我们现在通过softmax得出了0~9的识别程度,我们的真实值为2,我们就可以这么去定义我们的y与t:

y = [0.1,0.05,0.6,0.0,0.05,0.1,0.0,0.1,0.0,0.0]

t = [0,0,1,0,0,0,0,0,0,0]

t可以说是这个监督数据,我们将正确的标签表示为1,将非正确标签的值设定为0,这种方法我们称为one-hot。

def mean_squared_error(y,t):
	return 0.5*np.sum((y-t)**2)

最后我们得到一个数,这个数越小,就说明与我们目标值是越贴合的。

交叉熵误差:

 使用python:

def cross_entropy_error(y,t):
	delta = 1e-7
	return -np.sum(t*np.log(y+delta))

要加入一个delta是因为当出现np.log(0)时,得出的值可能为负无限大-inf。

当这个求出来数越大的时候,就表名我们与真实值的差距越大,表明这个参数算的不好。

损失函数可以如下定义:

(二)梯度下降法

寻找最优参数(权重和偏置),要寻找使损失函数的值尽可能小的参数,所以我们需要导数来求解梯度,来逐步更新参数。

我们可以将对某个权重参数的损失函数进行求导,可以得到以下这三种情况:

  • 导数的值为负——权重参数向正方向改变,可减小损失函数的值。

  • 导数的值为正——权重参数向负方向改变,可减小损失函数的值。

  • 导数的值为0——权重不管从哪个方向变化,损失函数的值不变,权重参数的更新会停在此处。

在进行神经网络的学习时,我们不能将识别精度作为指标。因为如果以识别的精度作为指标,则参数的导数在绝大多数情况下都会变为0。若以精度,微调参数,无法改善识别精度,即便改善,数据则非连续变化而损失函数可以进行连续并微小的变化。

既然都要进行求导了,那么我们就需要非线性的激活函数进行处理。

那么我们就到了梯度下降:找最优的方向进行更新,求梯度下降最快的方向,每次都在找新的方向,不断地迭代更新的过程。

我们使用的是偏导数来代表梯度: 

神经网络的学习以损失函数为指标,更新权重参数,以使损失函数的值减小。利用某个给定的微小值的差分求导数的过程,称为数值微分,可用于计算参数的梯度。

获取梯度:

def numerical_gradient(f,x):
	h = 1e-4
	grad = np.zeros_like(x)
	
	for idx in rang(x.size):
		tmp_val = x[idx]
		x[idx] = tmp_val + h
		fxh1 = f(x)
    
    	x[idx]=tmp_val - h
    	fxh2 = f(x)
    	
    	grad[idx] = (fxh1-fxh2)/(2*h)
    	x[idx] = tmp_val
    return grad

梯度指示的方向是各点处的函数值减小最多的方向。使用梯度来寻找函数最小值(尽可能小的值)的方法就是梯度法。梯度表示的是给俺处的函数减小最多的方向,无法保证梯度所指的方向就是函数的最小值或者真正该前进的方向。在复杂函数中,梯度指示的方向基本上都不是函数的最小处。

当出现梯度为0的情况:

  • 函数的极小值(局部最小值)

  • 最小值及鞍点(从某个方向上看是极大值,从另一个方向上看是最小值)

学习高原:函数很复杂且呈扁平形状时,学习可能进入一个几乎平坦的区域,导致停滞不前。

寻找最小值的梯度法我们称之为梯度下降法

寻找最大值的梯度法我们称之为梯度上升法

以上的两个方法我们可以通过反转函数符号来进行实现。

我们使用数学来表示这个梯度下降的趋势:

 

在上面我们提及到了一个学习率的概念:学习率可以称之为步长,取决于你下一步要走多远。(在神经网络中我们称之为超参数,超参数即为人工设定的参数)

那么可能看到这会觉得学习率这个东西跟我们的epoch的分配也是相关的,其实它们的道理也是差不多的。批处理数量很多时候要考虑内存和效率。

0x08 神经网络的学习步骤
  • 前提

    神经网络存在合适的权重和偏置,调整权重和偏置以便拟合训练数据的过程称为“学习”。神经网络的学习可以分为下面四个步骤:

  • 步骤1:mini-batch

    从训练数据中随机选出一部分数据,这部分数据称为mini-batch。我们的目标是减小mini-batch的损失函数的值。每经过一个epoch,就对所有的训练数据和测试数据计算识别精度,并记录结果。

  • 步骤2:计算梯度

    为了减小mini-batch的损失函数的值,需要求出各个权重参数的梯度。梯度表示损失函数的值减小最多的方向。

  • 步骤3:更新参数

    将权重参数演着梯度方向进行微小更新。

  • 步骤4:重复

    重复123

0x09 误差反向传播

我们在上面实现的是一个正向传播的过程,那么对于反向传播,我们是结合了梯度下降法进行反向更新。那么反向传播是怎么个过程,它的原理是基于链式法则:

链式法则是关于复合函数的导数的性质:如果某个函数由复合函数表示,则该复合函数的导数可以用构成复合函数的各个函数的导数乘积来表示。

我们可以使用z=(x+y)^2来表示:

关于反向传播的一些计算:

  • 加法:

  • 乘法:

当我们要构造一个神经网络时,我们正常的做法是将他们的层封装为一个类。层的是现有两个共通的方法(接口)forward()以及backward()。需要注意的是我们调用backward()的前后顺序要与forward()相反。

这个时候我们会想到relu激活函数的作用:当正向传播时输入x大于0,那我们将其值原封不动的送给下游,如果正向传播时的x小于等于0,则反向传播中传给下游的信号将停留在此处。

那么对于sigmoid层的正反向传播又是什么样子呢:

 对于softmax层:

0x0A 最优化(梯度下降法的一些方法)

最优化可以说是寻找最优参数的问题,解决这个问题的过程。

(一)随机梯度下降法(SGD)

使用参数的梯度,沿梯度方向更新参数,并重复这个步骤多次,从而逐渐靠近最优参数。

SGD呈“之”字形移动,这个路径其实是很低效的。它的缺点是在于:如果函数形状是非均向的,比如呈延伸状,搜索的路径会非常低效。SGD低效的根本原因是:梯度的方向并没有指向最小值的方向。

(二)Momentum动量

使用数学表达:

 这个算法可以看作是小球的滚动:

 他使用程序表达出来以及图示如下:(笔记些许潦草)

 实例变量中v会保持物体的速度。初始化时v什么都不保存,但当第一次调用update()时,v会以字典型变量的形式保存与参数结构相同的数据。这个函数它可以减少“之”字形的变动程度。moment,这个数一般不变,0.9、095。

 和SGD时的情形相比,可以更快的朝x轴方向靠近,减弱“之”字形的变动程度。

(三)AdaGrad

在神经网络的学习中,学习率的值很重要。学习率过小,会使学习花费很多时间,学习率过大,会使学习发散而无法正确进行。

使用的方法为学习率衰减:随着我们迭代的次数,我们将学习率先慢慢增大,之后使用大的学习率学习一段时间后,再慢慢衰减。

看看数学公式:

 这里新出了一个变量h,它保存了以前的所有梯度值的平方和,然后在更新参数时,乘以系数,就可以合理的调整学习的尺度。其实他就是SGD的一个方向处理。我们可以看看这个图:

这个算法就是在做这件事情。AdaGrad会记录过去所有梯度的平方和。学习越深入,更新幅度会逐渐减小,无止境的学习,更新率就会变为0,完全不再更新。如何改进这个方法呢,可以是哟个RMSProp方法,并非将过去所有梯度一视同仁的相加,而是逐渐遗忘过去的梯度,指数移动平均,呈指数函数式减小过去的梯度尺寸。

那么它所表示的图:

函数的取值搞笑的想着最小值移动,由于y轴方向上的梯度较大,因此刚开始变动较大,但是后面会根据这个较大的变动按比例调整,减小更新的步伐。

函数的实现可以看这个,些许潦草:

(四)Adam

0x0B 权重初始值的问题

权重的初始值可以为0吗?我们权值衰减,是为了抑制过拟合,提高泛化能力。如果我们一开口就想减小权重的值,那么就将初始值设为比较小的值才是正途。我们正常初始化的随机权重可以这么表示:0.01*np.random.randn(10,100),使用由高斯分布生成的值 * 0.01后得到的标准高斯分布。

那为什么不可以使其为0,那会无法正确进行学习,会使权重被更新为相同的值,并有了对称、重复的值。为了防止“权重均一化”,严格的讲是为了瓦解权重的对称结构,必须随机生成初始值(每层权重也不可单一)。

那么权重分配的不好会造成什么影响:

  • 梯度消失:偏向0和1的数据分布会造成反向传播中梯度的值不断变小,最后消失。如果是在层次加深的深度学习中,梯度消失的问题可能会更加严重。

    造成原因有如下:训练过多,梯度越来越小,损失函数处理的不好,权重初始化的不好。

  • 梯度爆炸:权重参数之间其实是没有关系的,相互独立的,这样会导致局部最优解,会出现过拟合,梯度值算出来太大了。

  • 表现力受限:激活值的分布有所偏向,存在多个神经元都输出几乎相同的值。可以使用推荐的权重初始值:使各层的激活值呈现出具有相同广度的分布,推导了合适的权重尺度。比如S型曲线:tanh、sigmoid适合Xavier初始值。如果激活函数使用ReLU,使用"He初始值"

如何改进:

  • 正则化

    过拟合:只能拟合训练数据,但不能很好地拟合不包含在训练数据中的其他数据状态。产生原因:模型拥有大量参数,表现力强/训练数据少。

    使用权值衰减可以说是一直被使用的一种过拟合的方法。很多过拟合原本就是因为权重参数取值过大才发生的。

 

 我们的目的是减小损失函数的值,那么解决方法就是用损失函数+权重平方范数去抑制权重变大。

 

 这个范数有三种形式:

其中L2是比较常见的。

对于惩罚力度:

以上的方法适合于模型比较简单的神经网络。如果网络模型变得复杂,我们可以使用DropOut。DropOut是一种在学习过程中随机删除神经元的方法。训练时,每传递一次数据,就会随机选择要删除的神经元。在测试时,虽然会传递所有的神经元信号,但是对于各个神经元的输出,要乘上训练时删除比例后再输出。

正向传播时传递了信号的神经元,反向传播时按原样传递信号。正向传播时没有传递信号的神经元,反向传播时将会停在那里。

  • 超参数的验证

我们使用的数据可以分为三类:训练数据、验证数据、测试数据。验证数据是用于调整超参数的数据。

超参数的最优化:一开始先大致设定一个范围,从这个范围中随机抽取一个超参数(采样),用这个采样到的值进行识别精度评估。之后不断重复这个过程,缩小超参数的“好值”范围。可以使用对数尺度进行指定。

在超参数的最优化中,减少学习的epoch,缩短一次评估的时间。

步骤:

  1. 设定超参数的范围

  2. 从设定的超参数范围中随机采样

  3. 从2中采样到的超参数的值进行学习,通过验证数据评估识别精度(要将epoch设置得很小)

  4. 重复1与2,根据识别精度的结果,缩小超参数的范围。

0x0C CNN卷积神经网络

卷积神经网络的架构如下:输入层、卷积层、池化层、全连接层。

其中的全连接可以说是我们上面的函数,所有层数合在一起的函数。全连接的概念为:相邻的所有神经元之间都有连接。

那么卷积是在做什么事情呢,其实就是在做得到特征图的事情,就是进行特征的分类。我们使用CNN得到输入所对应的特征。卷积核的值是随机初始化的值,相当于我们的权重。运算的方式是使用内积:对应位置相乘后相加,最后可得到特征图。

那么对于全连接的Affine中出现了什么问题:

比如Affine:数据的形状会被忽略(我们将三维拉为一维),这样会忽略重要的空间信息:空间上的邻近像素为相似的值、RGB各个通道之间有密切的关联性、有值得提取的本质模式。

所以我们才需要使用CNN来进行改进上面的算法。

使用CNN可以保持形状不变,以3维数据的形式接收输入数据,并以同样的三维数据的形式传输给下一层。

卷积运算:

对于卷积可以看一下卓大的描述:一文精简介绍CNN神经网络

在卷积之前要做什么呢:

  • 填充:在进行卷积层的处理之前,有时要向输入数据的周围填入固定的数据(如0)。

    为什么要进行填充?如果没有填充给的话,我们会忽略边缘信息,这样会使我们存在于图像中间的部分卷积处理很多遍,这样得到的输出并不准确,而且忽略了边缘。还有一个作用是,使用填充使我们卷积后的图像的大小与我们输入的图像大小保持一致。而且如果每次进行卷积运算都会缩小空间,那么在某个时刻输出大小就有可能变为1,导致无法再应用卷积计算。

    填充的边界我们称之为pading:

    (1)边缘填充

    数据填充,也称为Padding。如果有一个尺寸为n* n的图像,使用尺寸为m* m卷积核进行卷积操作,在进行卷积之前对于原图像周围填充p层数据,可以影响卷积输出结果尺寸。

 

 

(2)膨胀填充

对于数据的填充也可以使用数据上采样填充的方式。这种方式主要应用在转置卷积(反卷积中)。

 

  • 步幅:应用滤波器的位置间隔称为步幅

步幅也可以称为步长:

对于步长越大的,输出图像的大小越小,反之越大。

那么读于一副经过填充并且设置过步长的卷积输出来说,输出的图像大小可以使用如下表示:

如果遇到输出大小无法除尽(结果是小数时),需要采取报错等措施,某些框架会进行四舍五入,不进行报错。在pytorch中处理为向下取整。

对于三维数据的卷积运算:长* 高* 通道。

  • 输入数据和滤波器的通道数要设为相同的值

  • 每个通道的滤波器大小要全部相同。

 

那么对于卷积核的大小有什么要求:

  • 可以识别出多个特征。卷积的目的是最后使得到的特征要多一些。

  • 步长小,仔细。

  • 卷积核个数越多的时候,特征图越多。

  • 要注意填充。有些点卷积卷的次数比较多,我们不可以因为这个点在中间就拼命卷,觉得他很重要,对边界持有偏见,那么我们需要补充一些边界。

  • 感受野

    卷积神经网络每一层输出的特征图(featuremap)上的像素点在输 入图片上映射的区域大小,即特征图上的一个点对应输入图上的区 域。

  •  引用卓大的公式:

 

  • 池化层

池化是缩小高、长方向上的计算。池化操作其实是一个下采样的过程,使用某位置相邻输出的总体统计特征作为该位置的输出,常用最大池化和均值池化。将图像进行缩小,取我们分的区域中的最大值进行存储。特征值越大的,代表他重要,他学的很好。正常池化后的图像是源图像的二分之一。保留大的特征值,称为最大池化。

  • 一般来说,池化窗口的大小会和步幅设定成相同的值。

    池化的特征:

    • 没有要学习的参数(只是从目标区域中取最大值或平均值)

    • 通道数不发生变化(计算是按通道独立进行的)

    • 对微小的位置变化具有鲁棒性(池化仍会返回相同的结果)

    池化的作用:

    • 减少网络中的参数计算量,从而抑制过拟合。

    • 增强网络对输入图像中的小变形、扭曲、平移的鲁棒性(输入里的微小扭曲不会改变池化输出——因为我们在局部邻域已经取了最大值/平均值)

    • 帮助我们获得不因尺寸而改变的等效图片特征。

  • 卷积层和池化层的实现

    (1)四维数组(需要使用很多次for循环)

    (2)基于im2col的展开(im2col是一个函数,可以将输入数据展开以适合滤波器)

    对于3维数据,我们可以应用im2col将其转换为2维矩阵: 

 若在滤波器在应用区域重叠的情况下,使用im2col展开后,展开后的元素个数会多于原方块的元素个数。(会消耗更多内存)

 对于卷积层的实现:

 那么代码可以这么表达:

要进行反向传播时使用col2im。

对于池化层的实现:

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/915779.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号