栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > 资讯 > 高等教育 > 院校资讯

观察|深度学习为何强大?适当的神经网络架构大数据

观察|深度学习为何强大?适当的神经网络架构大数据

根据Emergen Research的分析,到2028年,全球深度学习市场预计将达到933.4亿美元,年复合增长率稳定在39.1%。推动其市场收入的关键因素是采用基于云的技术和在大数据分析中使用深度学习系统。

那么,深度学习到底是什么?它是如何工作的?

根据VentureBeat最近的文章《这就是深度学习如此强大的原因》,深度学习是机器学习的一个子集,它使用神经网络来执行学习和预测。深度学习在各种任务中都表现出惊人的性能,无论是文本、时间序列还是计算机视觉。深度学习的成功主要来源于大数据的可用性和计算能力,这使得深度学习的性能远远优于任何经典的机器学习算法。

深度学习的本质:神经网络和功能

有网友曾笑称,“当你想拟合任何函数或任何分布却没有头绪的时候,试试神经网络吧!”

前两个重要结论是:

神经网络是由相互连接的神经元组成的网络,每个神经元是一个有限函数逼近器。这样,神经网络被视为一个通用函数逼近器。

深度学习是一个有很多隐含层的神经网络。深度学习是从一层到另一层的函数的复杂组合,从而找到定义从输入到输出的映射的函数。

在高中数学中,我们会学到一个函数是从输入空到输出空的映射。一个简单的sin函数从angle 空映射到实数空。函数逼近是函数论的重要组成部分,涉及的基本问题是函数的近似表示。那么,为什么神经网络被认为是一种通用的函数逼近器呢?

每个神经元学习一个有限的函数:f=g其中w是要学习的权重向量,x是输入向量,g是非线性变换。W*X可以形象化为高维空中的一条线,而g可以是任意非线性可微函数,如sigmoid、tanh、ReLU等。

神经网络中的学习无非是寻找最佳权向量w,比如在y=mx+c中,我们有2个权:M和C,现在根据二维平面间中点的分布空,找到满足某种准则的M和C的最佳值。然后,对于所有的数据点,预测的Y点和实际点之间的差异是最小的。

神经“层”效应:学习从具体到类别概括的映射

如果输入是狮子的图像,输出是狮子类的图像分类,那么深度学习就是学习将图像向量映射到类的功能。同样,输入是单词序列,输出是输入的句子是否有正面/中性/负面情绪。所以深度学习就是学习从输入文本到输出类的映射:中性或正或负。

如何实现上述任务?

每个神经元都是一个非线性函数。我们将几个这样的神经元堆叠成一个“层”。每个神经元接收相同的一组输入但学习不同的权重w,因此,每一层都有一组学习函数:f1,f2,…,fn,称为隐层值。这些值在下一级被再次组合:h,以此类推。这样,每一层都是由前一层的功能组成的。已经证明,通过这种组合,我们可以学习任何非线性的复杂函数。

深度学习是一个有很多隐含层的神经网络。深度学习是从一层到另一层的函数的复杂组合,从而找到定义从输入到输出的映射的函数。

作为曲线拟合插值的深度学习:过拟合挑战与泛化目标

深度学习的先驱Yann LeCun曾在推特上发文称“深度学习并没有你想象的那么神奇,因为它只是美化曲线拟合的插值。但是在高维中,没有插值这种东西。高维空之间,一切都是外推。”

插值是逼近离散函数的一种重要方法。利用它,我们可以通过函数在有限点的值来估计函数在其他点的近似值。从生物解释的角度来看,人类对世界的图像是通过逐层解释来处理的,从边缘、轮廓等低层特征到物体、场景等高层特征。神经网络中的函数组合与此一致,其中每个函数组合都在学习图像的复杂特征。最常见的用于图像的神经网络架构是CNN,它以分层的方式学习这些特征,然后一个全连接的神经网络将图像特征分为不同的类别。

例如,给定一个平面上的一组数据点,我们试图通过插值来拟合一条曲线,这在某种程度上代表了定义这些数据点的函数。我们拟合的函数越复杂,就越能拟合数据;但是,新数据点的泛化能力越低。

这就是深度学习面临挑战的地方,通常被称为过拟合:尽可能拟合数据,但在泛化上妥协。几乎所有的深度学习架构都必须处理这一重要因素,以便学习在不可见数据上同样表现良好的常见函数。

深度学习。怎么学?问题决定神经网络架构。

那么,我们如何学习这个复杂的函数呢?

这完全取决于手头的问题,该问题决定了神经网络架构。如果我们对图像分类感兴趣,那么我们使用CNN。如果我们对与时间相关的预测或文本感兴趣,那么我们使用RNN或变压器。如果我们有一个动态的环境,那么我们使用强化学习。

此外,学习包括应对不同的挑战:

确保模型通过使用正则化来学习一般函数,而不仅仅是适合训练数据。

根据手头的问题选择损失函数。粗略地说,损失函数是我们想要的和我们目前拥有的之间的误差函数。

梯度下降是一种用于收敛到最优函数的算法。决定学习率变得具有挑战性,因为当我们远离最优时,我们希望更快地向最优移动,当我们接近最优时,我们希望放慢速度,以确保我们收敛到最优和全局最小值。

大量的隐藏层需要处理渐变消失。跳过连接和适当的非线性激活函数等架构变化有助于解决这一问题。

基于神经架构和大数据:深度学习带来计算挑战

现在我们知道深度学习只是一个复杂的学习功能,它带来了其他计算挑战:

学习一个复杂的函数,我们需要大量的数据;为了处理大数据,我们需要一个快速的计算环境;因此,我们需要一个基础设施来支持这种环境。

用CPU并行处理不足以计算几百万或几十亿的权重。神经网络需要学习向量乘法的权重。这就是GPU派上用场的地方,因为它们可以非常快速地进行并行向量乘法。根据深度学习架构、数据大小和手头的任务,我们有时需要1个GPU。有时,数据科学家需要根据已知文献或通过测量1 GPU的性能来做出决策。

通过使用合适的神经网络架构和足够的数据,深度学习网络可以学习从一个向量空到另一个向量空的任何映射。这就是深度学习成为任何机器学习任务的强大工具的原因。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/news/1692245.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号