手机浏览器扫描二维码访问
对于这个神经网络的训练过程,就是要确定这个参数。
训练的目标可以粗略概括为:对于每一个训练样本,对应的输出无限接近于1,而其它输出无限接近于0。
根据MichaelNielsen给出的实验结果,以上述网络结构为基础,在未经过调优的情况下,可以轻松达到95%的正确识别率。而核心代码只有74行!
在采用了深度学习的思路和卷积网络(convolutionalnetworks)之后,最终达到了99.67%的正确识别率。而针对MNIST数据集达到的历史最佳成绩是99.79%的识别率,是由LiWan,MatthewZeiler,SixinZhang,YannLeCun,和RobFergus在2013年做出的。
考虑到这个数据集里还有一些类似如下这样难以辨认的数字,这个结果是相当惊人的!它已经超越了真正人眼的识别了。
在这个过程中一步步调整权重和偏置参数的值,就必须引入梯度下降算法(gradientdescent)。
在训练的过程中,我们的神经网络需要有一个实际可行的学习算法,来逐步调整参数。
而最终的目的,是让网络的实际输出与期望输出能够尽量接近。我们需要找到一个表达式来对这种接近程度进行表征。这个表达式被称为代价函数(costfunction)
x表示一个训练样本,即网络的输入。其实一个x代表784个输入。
y(x)表示当输入为x的时候,期望的输出值;而a表示当输入为x的时候,实际的输出值。y(x)和a都分别代表10个输出值(以数学上的向量来表示)。而它们的差的平方,就表征了实际输出值和期望输出值的接近程度。越接近,这个差值就越小。
n是训练样本的数量。假设有5万个训练样本,那么n就是5万。因为是多次训练,所以要除以n对所有训练样本求平均值。
C(w,b)的表示法,是把costfunction看成是网络中所有权重w和偏置b的函数。为什么这样看呢?进行训练的时候,输入x是固定的(训练样本),不会变。在认为输入不变的情况下,这个式子就可以看成是w和b的函数。那么,式子右边的w和b在哪呢?实际上,在a里面。y(x)也是固定值,但a是w和b的函数。
总结来说,C(w,b)表征了网络的实际输出值和期望输出值的接近程度。越接近,C(w,b)的值就越小。因此,学习的过程就是想办法降低C(w,b)的过程,而不管C(w,b)的表达形式如何,它是w和b的函数,这就变成了一个求函数最小值的最优化问题。
由于C(w,b)的形式比较复杂,参数也非常多,所以直接进行数学上的求解,非常困难。
为了利用计算机算法解决这一问题,计算机科学家们提出了梯度下降算法(gradientdescent)。
这个算法本质上是在多维空间中沿着各个维度的切线贡献的方向,每次向下迈出微小的一步,从而最终抵达最小值。
由于多维空间在视觉上无法体现,所以人们通常会退到三维空间进行类比。当C(w,b)只有两个参数的时候,它的函数图像可以在三维空间里呈现。
就好像一个小球在山谷的斜坡上向下不停地滚动,最终就有可能到达谷底。这个理解重新推广到多维空间内也基本成立。
而由于训练样本的数量很大(上万,几十万,甚至更多),直接根据前面的C(w,b)进行计算,计算量会很大,导致学习过程很慢。
、于是就出现了随机梯度下降(stochasticgradientdescent)算法,是对于梯度下降的一个近似。
在这个算法中,每次学习不再针对所有的训练集,而是从训练集中随机选择一部分来计算C(w,b),下一次学习再从剩下的训练集中随机选择一部分来计算,直到把整个训练集用光。然后再不断重复这一过程。
帝国盛宠:吻安,总统夫人! 满级宿主捡走了反派小可怜 亿万继承者追妻:九十九次说爱你 隐形大佬她超乖的 洪荒:通天亲传,天地异象常伴吾身! 我在三国当主播 外门弟子修仙路 全能签到 我见众生皆草木 木叶食神 不知道取啥名 玄幻:超级花呗系统 仙尊的奶爸人生 快穿之我又被坑了 从笑傲开始的诸天万界 神级医生在都市 从绝世唐门开始穿梭诸天 王者荣耀之老子喷人就变强 人在尸魂界:无双剑圣! 仙葫修仙
龙潜之后踏上至尊之路!英雄挂宝刀,美女念英雄!至尊人生的漫漫长路,巅峰欲望的靡靡梵音。本站为书迷更新天娇至尊最新章节,查看加减号所撰都市言情天娇至尊的最新章节免费在线阅读。...
一支华夏全新的兵种正在雄起,他们的教官在经历诸多变迁之后,势必将这支队伍打造成令黑暗势力闻风丧胆的华夏龙魂!超级教官的修炼之道,华夏龙魂的崛起之路,黑暗势力的湮灭之日。...
想知道,将整个世界都踩在脚下是一种怎样的爽感吗?一代兵王笑面死神奉命回归华夏,本来只是想回去看看师父,谁成想一不小心就闯入了百花丛中卓烈各位看官悠着喷,多了小爷受不住啊!本书传授都市杂谈装逼打脸热血励志暧昧功夫撩妹技巧Tags绝色女总裁的透视兵王追风绝色女总裁的透视兵王txt全集下载绝色女总裁的透视兵王无弹窗绝色女总裁的透视兵王最新章节绝色女总裁的透视兵王txt全文...
本文又名天才美少女养成记我养你长大,你陪我变老,可好?5岁,他把她从街上拎回家,让她面壁思过一个晚上。8岁,他把她从学校接回家,让她写检讨书一个晚上。1本站为书迷更新名门圈养嗜宠甜萌妻最新章节,查看月影青悠所撰都市言情名门圈养嗜宠甜萌妻的最新章节免费在线阅读。...
在读学生吴桐因为打鲁克团误操作,竟然穿越到一个从未接触过的游戏世界,第一局决赛圈就看到了同校的校花,然后被校花一枪爆掉了脑壳...
一代宗师,邪神鬼医,重生花都,纵横天下!上一世的遗憾,此生一一弥补!...