倪政齐吧 关注:5贴子:191
  • 0回复贴,共1

高能,神经元网络最后一块拼图被揭开。

只看楼主收藏回复

预览:最开始在研究神经元网络的记忆能力,通过构造巧妙的激活函数实现神经元网络的数据显式存储(数据在权重中可见)这是第一块拼图。然后发现单一训练的模型都是弱神经元网络神经元,其拟合能力再强也是无法拟合所有数据。翻看文献后发现采用集成方法可以将多个弱神经元集成为强神经元网络。于是构造多个弱模型,进行集成,确实性能大幅提升。从单一弱分类器到多个弱分类器,最后变成强分类器。从这个过程可以发现神经元网络性能扩容的过程,而这个过程其实也是模型适应环境的过程,中间包含了不同数据分布的适应能力。如果要让模型自动具备这些能力,我们其实可以做一些手脚,比如强模型中的弱模型是增量的,是按需扩容的,在训练中一旦出现能力比较差情况,就将比较差的数据的分布进行调整,并分配新的分类器进行分类回归,并根据情况进行打分。最后进行加权融合输出。神经元网络的扩容在生理学上,一种是预制的神经元区域被激活作为新的弱分类器,还有基于生长的神经元,大量的神经元生长因子会在需要大量记忆的情况发生,促进新的弱分类神经元网络区域的产生。到此为止我们似乎发现了神经元网络世界最后一个神秘拼图。


IP属地:福建1楼2021-08-10 09:13回复