欣雅小说 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

虽然长短期记忆神经网络在处理长序列文本的时候可能会有一定的优势。

但实际上当初提出长短期记忆神经网络并不是为了文本处理。

当时之所以提出长短期记忆神经网络神经网路是为了处理训练传统循环神经网路时可能遇到的梯度消失和梯度爆炸问题。

在机器学习中,用基于梯度的学习方法和反向传播训练人工神经网络时。

有时会遇到梯度消失和梯度爆炸的问题。

这两种情况都不是研究人员希望看到的情况。

出现梯度消失或梯度爆炸后,原本的深度学习根本深不起来,只能说是浅度学习。

个别极端情况,别说浅度学习了,连最起码的机器学习都做不到。

总而言之,梯度消失和梯度爆炸问题会极大地降低利用神经网络的深度学习的训练效率。

梯度消失和梯度爆炸问题也是一个极其难缠的问题。

和神经网络有关的研究人员在1991年就注意到梯度消失和梯度爆炸现象。

该问题在长短期记忆神经网络出现后得到一定的缓解。

但还是没有彻底解决梯度消失和梯度爆炸问题。

除了利用长短期记忆神经网络之外,其他的几种处理梯度消失和梯度爆炸的问题的方式(比如说多级层次结构、利用更快的硬件、利用其他的激活函数等等。)也各有各的局限性。

总之梯度消失和梯度爆炸问题但还没有被彻底解决。

到今天梯度消失和梯度爆炸问题已然成为了机器学习上空中一朵乌云。

这个问题已然严重制约机器学习向前发展。

心念及此,埃克莱尔·基尔卡加不免有些感慨。

也不知道这个问题什么时候会被什么人彻底解决???

埃克莱尔·基尔卡加突然感觉他对LIN HUI算法这么较真也没什么必要啊?

诸如梯度消失和梯度爆炸现象这问题都二十多年了还没彻底解决。

不也没什么人着急吗?至少看起来没啥人着急?

自己为什么要为要跟LIN HUI这么一个算法较劲呢?

埃克莱尔·基尔卡加突然有些疲乏感。

不过面对兴冲冲的同事,埃克莱尔·基尔卡加还不至于打退堂鼓。

埃克莱尔·基尔卡加:“我现在还不能够肯定LIN HUI算法中用的就是长短期记忆神经网络。

只能说LIN HUI算法中所采用的神经网络的特征有点类似于长短期记忆神经网络。

至于到底是不是还有待验证。

说起来那些高层跟麻省理工学院自然语言处理文本摘要研究小组那边闹得不欢而散还真是个损失。

据我了解伊芙·卡莉他们在研究抽取式文本摘要算法的时候就用到了循环神经网络了。

只不过他们用的具体是哪种循环神经网络暂时还不清楚。

不过不管怎么说,我觉得能有麻省理工学院那边的帮助的话对我们来说将会助力不小。”

哈雷·普莱斯:“这倒是个问题,不过问题不大。

m国最不缺的就是研究机构。

我前段时间听尼克那家伙说普林斯顿大学的朱尔斯教授正在搞一个循环神经网络的项目。

或许我们可以跟普林斯顿大学展开合作?”

埃克莱尔·基尔卡加:“呃,你确定要跟普林斯顿那些傲慢的数学佬打交道?

他们看我们的就跟我们看那些文科生的一样?

还有如果我们和他们合作的话,究竟是以谁为主导?研究出来的成果又怎么划分?”

哈雷·普莱斯:“他们怎么看我们无所谓。

一群搞数学的现在搞循环神经网络,谁更占优势还不一定呢?

至于谁主导到时候再说吧,一切达者为尊。”

埃克莱尔·基尔卡加:“那你去联系吧,反正我是懒得跟朱尔斯那个老秃驴洽谈。”

哈雷·普莱斯:“呃,其实我也不想去跟朱尔斯联系……”

埃克莱尔·基尔卡加:“那你还提这个馊主意?”

哈雷·普莱斯坏坏地道:“或许我们可以叫阿西莱·维拉斯克斯去,谁叫他卖专利给那个LIN HUI……”

埃克莱尔·基尔卡加:“这是个好主意!”

喜欢穿越:2014请大家收藏:(www.xinyaxs.com)穿越:2014欣雅小说更新速度全网最快。

欣雅小说推荐阅读: 近身医王我姐姐太有钱了天才高手娱乐帝国系统天庭小狱卒都市最强修真妖孽点金魔术师第一序列大医凌然怀旧时代我的绝色总裁未婚妻安先生今天依然单身超品战兵重生之我为书狂无敌神龙养成系统软饭天王逍遥小镇长绝色总裁爱上我国际供应商校花的贴身高手女神的贴身高手我的景区爆火了拒当接盘侠:开局坑了女神全家一个厨子的往事影帝从天降系统开始国王的穿越之门我真没想当大网红啊我是星主驭兽戒都市最高手宅之崛起商踪谍影超级俗人重生之龙在都市桃运小神农动力王朝最强神话传说咸鱼的自救攻略都市神级弃少重生之股动人生超级警监功夫帝皇顾道长生绝世大明星穿越四合院世界老兵新警影帝他不想当太监仙界归来文娱帝国我能改变东西颜色
欣雅小说搜藏榜: 大王饶命天才相师万族之劫神级强者在都市修真聊天群全球高武我真没想重生啊罪人当道重生之神级明星永生诡术余罪都市全能高手拒当接盘侠:开局坑了女神全家噩梦了愿师极品美女爱上我小农民修真无敌幸运星仕路红颜:美女记者丧尸猎人都市电能王都市枭雄系统护美邪医文娱缔造者重生之二代富商巅峰权力绝品狂少辣手神医透视狂医都市神级护卫娱乐天王的养成系统近身兵王超时空微信我的娇美大小姐我的老爸是国王豪门贵婿护花圣手一个厨子的往事我开局就有一个交易系统重生在那机遇年代重返1995田家巷一号我的剧本被全球直播极品贴身兵王大天王大牧场主东方梦工厂从直播开始成为神级设计师医色生香帝国重器石头牧场
欣雅小说最新小说: 地窟求生:开局食物增幅三十倍再启仙途带着爸妈去上班李氏汽车公司?不,是国货之光我的金融帝国我写的娱乐文被杨老板看到了放弃留学,我打造了世界第一名校娱乐:别联系了,真不熟从重生开始合租怪物食堂奶爸,开局校花找上门,当爸了?我的夫妻关系竟能数据化骑士荣耀之半岛风云四合院里的老中医文娱:让你唱歌,你搁这作法?热搜第一:叫你捡漏你开挂啊百元求生:从潘家园捡漏开始浪在娱乐圈四合院里的唯一老实人韩娱之隔世斑斓首富后才知是反派平行空间命犯桃花极道狂龙黑道教父迷情美女总监乱世血皇幕后邪徒天才高手市长千金恋上我靠近我温暖你高圆寺的坏小子贴身护美高手重生之纵横一生第一少爷王牌特工都市天龙重生之超级班长都市神语者黑道偷天换日逆龙息狂傲特工开创皇朝:香媚特行逆天奇缘楚霸王在今世坠落的心痕重生之都市逍遥天圣宫风云录都市之风华大少与玉兔下凡的日子