手机浏览器扫描二维码访问
但这里还有一个问题,在训练过程中,当实际输出值和期望输出值产生差异的时候,要如何去调整各个参数呢?
当然,在思考怎么做之前,也应该先弄清楚:通过调整参数的方式获得期望的输出,这个方法行得通吗?
实际上,对于感知器网络来说,这个方法基本不可行。
比如在上图有39个参数的感知器网络中,如果维持输入不变,我们改变某个参数的值,那么最终的输出基本完全不可预测。
它或者从0变到1(或从1变到0),当然也可能维持不变。这个问题的关键在于:输入和输出都是二进制的,只能是0或者1。
如果把整个网络看成一个函数(有输入,有输出),那么这个函数不是连续的。
因此,为了让训练成为可能,我们需要一个输入和输出能够在实数上保持连续的神经网络。于是,这就出现了sigmoid神经元。
sigmoid神经元(sigmoidneuron)是现代神经网络经常使用的基本结构(当然不是唯一的结构)。它与感知器的结构类似,但有两个重要的区别。
第一,它的输入不再限制为0和1,而可以是任意0~1之间的实数。
第二,它的输出也不再限制为0和1,而是将各个输入的加权求和再加上偏置参数,经过一个称为sigmoid函数的计算作为输出。
具体来说,假设z=w1x1+w2x2+w3x3+...+b,那么输出output=σ(z),其中:σ(z)=1(1+e-z)。
小主,这个章节后面还有哦,请点击下一页继续阅读,后面更精彩!
σ(z)是一个平滑、连续的函数。而且,它的输出也是0~1之间的实数,这个输出值可以直接作为下一层神经元的输入,保持在0~1之间。
可以想象,在采用sigmoid神经元组装神经网络之后,网络的输入和输出都变为连续的了,也就是说,当我们对某个参数的值进行微小的改变的时候,它的输出也只是产生微小的改变。这样就使得逐步调整参数值的训练成为可能。
在历史上,很多研究人员曾经也做过尝试,MichaelNielsen的书《NeuralNetworksandDeepLearning》这本书中也曾经提到过这个例子。
这个神经网络只有一层隐藏层,属于浅层的神经网络(shallowneuralnetworks)。而真正的深度神经网络(deepnerualnetworks),则会有多层隐藏层。
神经元系统采用了左右脑半球的设计方式进行设计和制造。
最右侧则是输出层(outputlayer),有10个神经元节点,分别代表识别结果是0,1,2,...,9。当然,受sigmoid函数σ(z)的限制,每个输出也肯定是0~1之间的数。
那我们在得到一组输出值之后,哪个输出的值最大,最终的识别结果就是它。
而在训练的时候,输出的形式则是:正确的那个数字输出为1,其它输出为0,隐藏层和输出层之间也是全连接。
神经网络共的权重参数有784*15+15*10=个,偏置参数有15+10=25个,总共参数个数为:+25=个。
这是一个非常惊人的数字。
喜欢我的超级黑科技帝国请大家收藏:()我的超级黑科技帝国
玄幻:超级花呗系统 全能签到 我在三国当主播 帝国盛宠:吻安,总统夫人! 外门弟子修仙路 木叶食神 从绝世唐门开始穿梭诸天 亿万继承者追妻:九十九次说爱你 人在尸魂界:无双剑圣! 王者荣耀之老子喷人就变强 洪荒:通天亲传,天地异象常伴吾身! 从笑傲开始的诸天万界 满级宿主捡走了反派小可怜 仙尊的奶爸人生 神级医生在都市 不知道取啥名 我见众生皆草木 仙葫修仙 隐形大佬她超乖的 快穿之我又被坑了
丈夫家外有家,结婚四年的我,方知一切的幸福都是假象。危急时刻,丈夫用身体护住情人和孩子,而我却因为冲动把自己送进了监狱,两年后,一无所有的我迈出监狱的大门,从此开始我复仇的步伐...
1vs1独宠好漂亮的雄兽!好美丽的小雌性!一人一兽四目相对!他跑,她追!她爱,他躲!他被人欺负,她为他欺负别人!她为他受伤,他为她努力变强!男人,我要生崽!—男人红了脸在等等!—还等?黄花菜都凉了!—豹子狮子孔雀兔子银狼老虎狐狸熊个个干瞪眼,个个心中在骂着你不行,让我来!—云起书院正版!拒绝偷盗,转载!月亮家族群①群号码361507683...
当别人还在用辛勤的双手脱贫致富,赵斌已经用双手征服女人了,一百个女人就会有九十九个成为他的客户,不管是少妇萝莉御姐熟女,只要经过赵斌按摩,都会迷恋上这种感觉,没错,赵斌就是一个按摩师。...
温婉重生了,这一世,她还是温国公府的孙小姐。父亲枉死,家中男丁悉数下狱,拿得一手烂牌,温婉表示无所谓!这一世,她再也不会袖手旁观。于是抛头露面成了家常便饭,当街打马也无不可,暴揍狂徒更是手到擒来,挺不住了,以一己之身对抗豺狼虎豹也是有的,泼辣之名如雷贯耳。而当她被亲手拖出深渊的亲人背叛,反咬一口,推入那死无葬身之地时,却是那曾经一鞭子毁了她容的炮灰反派拼死为她杀出了一条生路。温婉惊讶,这世...
大姐白子柒,荣登福布斯富豪榜,霸道总裁。二姐夏娉婷,顶级杀手。三姐李羽真,中医圣手。四姐楚灵儿,超级大明星。五姐苏清荷,国际黑暗世界女皇,号称罗刹。六姐方涵,是个智商高达两百的天才,在各种艺术方面有超高造诣。七姐秦楚楚,身份神秘叶萧自己,全球黑暗世界的王者修罗!...
作者赵守中的经典小说大尊主最新章节全文阅读服务本站更新及时无弹窗广告小说试看一个小小的奴才,如何做到笑傲宇宙之内,独尊天地之间。...