订阅博客
收藏博客
微博分享
QQ空间分享

程念慈,卷积神经网络背面的数学,艾薇儿

频道:全民彩票网网站 标签:婚检手链 时间:2019年05月14日 浏览:331次 评论:0条

主动驾驶、医疗和零售是核算机视觉的重要运用,这是早年被认为是不或许作业的范畴。今日,自驾车或主动杂货店的愿望不再那么具有未来感。事实上,咱们每天都在运用核算机视觉:当咱们用手机解锁手机或许在将相片发布到交际媒体上之前主动润饰相片时。

卷积神经网络或许是这一巨大成功反面最重要的要素。配方将拓展咱们对神经网络怎么与CCN反面的思维一同作业的了解。

传统密布神经网络的局限性

咱们了解所谓的密布衔接的神经网络。这些网络的神经元被分成组,构成接连的层。每个这样的单元衔接到来自相邻层的每个单个神经元。这种架构的一个比如如下图所示。

图1.密布衔接的神经网络架构

当咱们依据一组有限的界说特征处理分类问题时,这种办法很有用 - 例如,咱们依据他在竞赛期间记载的统计数据猜测足球运动员的方位。可是,运用相片时状况会变得愈加杂乱。

当然,咱们能够将每个像素的亮度视为一个独自的特征,并将其作为输入传递杨梦樱给咱们的密布网络。不幸的是,为了使其适用于典型的智能手机照双狮地球牌片,咱们的网络有必要包含数十乃至数亿个神经元。iternary另一方面,咱们能够缩小相片,但在此进程中咱们会丢掉有价值的信息。

咱们当即看到传统战略对咱们没有任何效果,咱们需求一种新的聪明办法来尽或许多地运用数据,但一起削减必要的核算和参数的数量,这正是适宜CNN闪亮出场的时分。

数码相片数据结构

开端花一点时刻来解说数字图画的存储办法。大多数人或许都意识到它们实际上是巨大的数字矩阵。每个这样的数字对应于单个像素的亮度。在RGB模型中,五颜六色图画实际上由对应于三个色彩通道的三个这样的矩阵组成 - 赤色,绿色和蓝色。在是非图画中,咱们只需求一个矩阵。这些矩阵中的每一个都存储从0到255的值。该规模是存储关于图画的信息(256个值彻底适宜1个字节)的功率与人眼的灵敏度(咱们差异有限数量的暗影)之间的折衷。

图2.数字图画海底两万里作者反面的数据结构

卷积

Kernel卷积不只用于CNN,仍是许多其他核算机视觉算法的要害要素。这是一个咱们选用一日本成人动漫个小数字矩阵(卷积核)的进程,咱们将它传递给咱们的图画并依据过滤器的值对其进行转化。依据以下公式核算后续特征映射值,其间输入程念慈,卷积神经网络反面的数学,艾薇儿图画由f表明,咱们的核由h表明。成果矩阵的行和列索引别离用m和n符号。

图3.内核卷积示例

将滤镜亲友棋牌放在选定的像素上后,咱们从卷积核中取出每个值,并将它们与图画中的相应值成对相乘。终究,咱们总结了全部内容,并将成果放在输出要素图中的正确方位。上面咱们能够看到这样的操作在微观尺度上看起来怎么,但更风趣的是,咱们能够经过在完好图画上程念慈,卷积神经网络反面的数学,艾薇儿履行它来完结。图4显现了运用几个不同滤波器的卷积成果。

图4.运用内核卷积查找边际性的

有用且相同的卷积

正如咱们在图3中看到的,当咱们运用3x3内核对6x6图画履行卷积时,咱们得到4x4特程念慈,卷积神经网络反面的数学,艾薇儿征映射。这是因为咱们只要16个共同的方位能够将滤镜放在这张图片中。因为每次履行卷积时咱们的图画都会缩小,因而在咱们的图画彻底消失之前,咱们只能进行有限次数的烘托。更重要的是,假如咱们看看咱们的滤波器怎么在程念慈,卷积神经网络反面的数学,艾薇儿图画中移动,咱们会发现坐落边际的像素发作的影响远小deverse于图画中心的像素。这样咱们就失去了图片中包含的一些信息。能够鄙人面看到像素的方位怎么改动其对要素图的影响。

图5.像素方位的影响

为了处理这两个问题扇贝的做法,咱们能够运用额定的边框填充图画。例如,假如咱们运用1像素填充,咱们将相片的巨细增加到8x8,因而运用3x3滤镜的卷积输出将为6x6。通常在实践中咱们用零作为额定的填充。依据咱们是否运用填充,咱们正在处理两种类型的卷积 - 有用和相同。命名是十分不幸的,所以为了明晰起见:有用 - 意味着咱们运用原始图画,相同 - 咱们运用它周围的边框,以便输入和输出的图画巨细相同。在第二种状况下,填充宽度应满意以下等式,其间p是填充,f是滤波器尺度(通常是奇数)。

跨步卷积

图6.跨步卷积的示例

在前面的比如中,咱们总是将内核移动一个像素。可是,步长也能够视为卷积层超参数之一。在图6中,咱们能够看到假如咱们运用更大的步幅,卷积是怎么构成的。在规划咱们的CNN架构时,假如咱们期望感知字段堆叠较少或许咱们想要特征贴图的较小空间维度,咱们能够决议增db加过程。输出矩阵的尺度 - 考虑填充和步幅 - 能够运用以下公式核算。

过渡到第三个维度

操控卷积核数量是一个十分重要的visa信用卡概念,这将使咱们不只要与五颜六色图画的作业,但更重要的是单层中运用多个滤波器。第一个重要规矩是滤波器和要运用它的图画有必要具有相同数量的通道。基本上,咱们十分类似于图3中的示例,但九型品格测验是这次咱们将三维空间中的值对相乘。假如咱们想在同一个图画上运用多个滤镜,咱们别离对每个滤镜履行卷积,将成果叠加在另一个上面并将它们组合成一个全体。接纳张量的尺度(能够称为咱们的3D矩阵)满意以下等式,其间:n - 图画巨细,f - 滤波器巨细石田燿子,nc - 图画中的通道数,p-运用的填充,s- 运用的步幅,nf - 滤波器的数量。

图7.卷上的卷积

卷积层

总算到了运用咱们今日所学到的全部,并树立咱们的CNN层的时分了。咱们的办法简直与咱们用于密布衔接的神经网络的办法相同,仅有的差异是不是运用简略的矩阵乘法,而是这次咱们将运用卷积。前向传达包含两个过程。第一个是核算中心值 Z,它是由前一层的输入数据与W张量(包含滤波器)卷积后得到的,然后加上误差b。第二个是对咱们的中心值运用非线性激活函数(咱们的激活用g表明)。矩阵方程将鄙人面找到适宜的数学公式。

图8.张量尺度

衔接切开和参数同享

在文章的最初我说到因为需求学习很多的参数,密布衔接的神经网络在处理图画方面很差。现在咱们现已了解了卷积的全部内容,让咱们考虑它怎么答应咱们优化核算。鄙人图中,2D卷积现已程念慈,卷积神经网络反面的数学,艾薇儿以稍微不同的办法可视化 - 用数字1-9符号的神经元构成接纳后续像素的亮度的输入层程念慈,卷积神经网络反面的数学,艾薇儿,而单元AD表明核算的特征地图元素。终究但相同重要的是,I-IV是来自内核的后续值 - 有必要学习这些值。

图9.衔接切开和参数同享

现在,让咱们重视卷积层的两个十分重要的特点。首要,你能够看到并非母子夫妻两个接连层中的全部神经元都相互衔接。例如,单元1仅影响A的值。其次,咱们看到一些神经元同享相同的权重。这两个特点都意味着咱们学习的参数要少得多。趁便说一下,值得注意的是,滤波器中的单个值会影响要素图的每个元素,在反向传达中它将是至关重要的。

卷积层反向传达

假如你试尼泊尔天气预报15天图从头开端编写自己的神经网络,正向传达是不到一半的成功。当你想回去时,真实的趣味就开端了。现在,咱们不需求为反向传达而烦恼 - 深度学习框架为咱们做了,但钱文挥我觉得值得了解暗地发作的作业。就像在密布衔接的神经网络中相同,咱们的方针是核算导数,然后在一个称为梯度下降的进程中运用它们,更新咱们的参数值。

在咱们的核算中,咱们将运用链式法则咱们想要评价参数改变对成果特征图的影响,然后评价终究成果。本文将曼陀罗运用的以下的数学符号。运用这种表明法时,一直意味着本钱函数的偏导数。

图10.前向和后向传达中单个卷积层的输入和输出数据

咱们的使命是核算dW [1]db [l] -它们是与当时层参数相关的导数,以及dA [l -1]的值- 它将被传递给前一层。如图10所示,咱们收到dA [l]作为输入。当然,张量dWWdbb以及dAA的程念慈,卷积神经网络反面的数学,艾薇儿尺度别离相同。第一步是取得中心值dZ [1]经过将激活函数的导数运用于输入张量。依据链规矩,此操作的成果将在今后运用。江西科技学院

现在,咱们需求处理卷积自身的向后传达,为了完结这个方针,咱们将运用一个称为彻底卷积的矩阵运算 - 下面将对此进行可视化。请注意,在此进程中咱们运用卷积内核,咱们之前旋转了180度。该操作能够经过以下公式描绘,其间滤波器由W表明,而且dZ [m,n]是归于早年一层取得的偏导数的标量。

图11.彻底卷积

池化层

细胞神经网络常常运用池化层。它们首要用于减小张量的巨细并加速核算速度。这个层很简略 - 咱们需求将图画划分到不同的区域,然后对每个部分履行一些操作。例如,关于Max Pool Layer,咱们从每个区域中挑选一个最大值,并将其放在输出中的相应方位。与卷积层的状况相同,咱们有两个超参数可用:滤波器巨细和步幅。终究但并非最不重要的是,假如要为多通道图画履行池化,则应别离完结每个通道进行池化。

图12.最大池化示例

池化层反向传达

接下来,咱们将仅评论最大池反向传达,但咱们将学习的规矩稍作调整,适用于全部类型的池层。因为在这种类型的层中,咱们没有任何咱们有必要更新的参数,咱们的使命仅仅适当地分配梯度。咱们记住,在suck最大池的前向传达中,咱们从每个区域中挑选最大值并将它们传输到下一层。因而很明显,在反向传达期间,梯度不该影响未包含在前向通道中的矩阵元素。在实践中,这是经过创立一个掩码来完结的,该掩码记住第一阶段中运用的值的方位,然后能够运用该掩码来传递梯度。

图13.最大池向后传递