触摸未来吧 关注：6,270贴子：95,540
- 4回复贴，共1页
原文-Neural network and physical systems with emergent collective computational abilities. 1982 Proc. Natl. Acad. Sci. USA
首语： 神经科学与统计物理的第一次完美结合。 加州理工的hopfield（"希望之野先生“）在1982年的时候提出了一个解释记忆存储和读取的模型。hopfield借住了一个叫自旋冰的统计物理模型（spin glass model）。
自旋冰模型属于易辛模型（Ising model）的范畴，这个模型最初被应用于解释铁磁性是如何从金属晶体中自发产生的， 但是神奇的是， 它还具有人工智能的特性。 PS-自旋冰模型在生物学的应用在当时是个崭新的概念， 目前已经被越来越广的应用于从基因网络到金融的各种学科。 自旋冰模型的解释请往下看。
原文题目： 神经网络具有自涌现的计算能力题解： 何为自涌现？ 这是复杂科学的核心概念。 宏观尺度的物体是微观尺度的大量基本粒子构成。 比如由水分子和水， 当水被加热到100度， 水变成水蒸气，在这个过程中，每个分子知道的只是自己的动能越来越大，它们对宏观尺度上水变成水蒸气这件事一无所知。
自涌现，就是指微观尺度上的事物都只顾及自己和自己的邻居的事情， 而不会集体合谋做什么， 但是在宏观尺度上，却出现了类似集体合谋的行为， 就好像当水被加热到一定温度， 水分子好像相约在这个时刻集体逃出容器的控制蒸发掉。神经网络，由它们的基本单元神经元构成， 每个人神经元并不具备智能（例如记忆）， 但是很多的神经元通过彼此的相互作用连接在一起， 它们却不约而同的一起做事情（关联体系）而产生了整体网络尺度的新现象， 这就是智能，比如记忆功能。
Abstract: 生物组织或者计算机的计算性能可以被看做是一种从大料相同单元（神经元，电子管）组成的系统里自涌现的群体属性（collective property）。 这里特别讨论的是关联记忆， 它可以看做系统在态空间里的某种运动轨迹（分析力学的思路）。
这个记忆的特点是读取它，只需唤醒网络中的一小部分（类似全息照相的特性）。由于运用了平行算法，单个原件出错不会影响这个系统的结果。这个系统具有概括（把很多特例统一到一个点--概括），相似性识别（把新的输入和记忆中的比较），分类（还是把类似的集中到一点）， 纠错（依然是把新的输入和记忆中的做比较）等功能。
PS： 其实这里的记忆多体现在处理输入的信息上， 网络内部的结构具有记忆，这些记忆好些隐藏在网络连接中的神经元活动状态， 他们就好像一些吸引力的陷阱， 各种输入引出的网络输出往往会掉入区其中一个陷阱中。这些陷阱态具有处理信息的功能。其实神经系统处理信息也像是在不断给现实世界建模型（学习），然后当有信息输入，就给出一定的推断-做出决策。 那么它推断的过程就是利用了之前的记忆。其中最主要的方法是比较现在的输入和记忆中的态的相似性，然后反推该做何种决策。如果现在的处境和记忆中的足够相似，网络就会被吸引到记忆的状态， 然后做出根据当时经验比较有利的决策。
正文：
我们已经详知神经元的电化学属性和他们的连接（synapse），我们已经知道如何从几个神经元里获知一些基本的生物行为。 我们知道大型计算机的计算性能随着元件数量增多而增加。 生物进化是没有计划的，我们需要提出的问题是，神经系统的运算性能是否来源于具有大量相互连接的神经元。在物理系统中，大量相互作用的基本粒子可以产生复杂的群体尺度行为，比如磁性，或者流体里的涡旋（自涌现行为）。
那么大量相互作用的神经元是否也会产生一些群体尺度的新行为--比如记忆，分类和概括？ 他们是否属于自涌现行为呢？ 本文将会用一个新模型阐述这个根本问题，并且展现一些重要的计算属性可以自发产生。 所有建模过程都需要大量细节，但是神经系统研究的解剖学细节依然大量缺乏。 在大量物理系统里， 很多自涌现现象对细节不敏感（例如声音是微粒碰撞的结果，但是只要是合理的微粒间的作用力都可以产生声波-与作用力细节无关）。所以我要找到一个神经系统的模型， 对于细节不敏感， 但是具有用的宏观属性。 PS-hopfield提出的极富创意的思想，专注事物的功能关系而非无关细节建立模型。 模型不是越复杂而是越简单越好，抓住要点并且给出预言与相应理解。 目前依然是神经系统建模指导思想。
- 作为物理系统的记忆模型
二维易辛模型是这个系统的源模型。
PS 易辛模型不懂的同学需要去找找wikipedia。
简单的说是一个四方晶格网络， 每个节点上有一个小磁针， 小磁针根据周围磁针的走向判断自己的走向， 有的时候他希望自己与周围人同向，有时则想发。 但是它的想法不是确定的而是随机的。就好像一个赌徒， 最终通过掷硬币决定它的朝向， 只不过这个硬币正反的概率不是均等，而是略微受到周围邻居的影响（相关性）。
易辛模型的核心就是相关性和随机性的竞争， 相关性由元素间耦合强度决定，随机性由温度决定， 当系统受随机性影响为主， 系统成无序状态，但是当随机性下降 ，相关性的影响水落石出，这种现象是剧烈的而非逐步出现，呈现一种相变， 在某个点上， 晶格网络上的所有磁针取到同向，系统从无序态瞬间变成高度有序的状态。
这就是易辛模型。当系统元素间的相互作用更加复杂， 例如相互作用不仅取决于邻居，相互作用的类型也多变的时候， 简单的易辛模型就得到了它的高级形式-自旋冰模型-它的特点是， 他所具有的高度有序的态很多，甚至多到与系统的元素个数在一个数量级， 而系统在由统一的无序态化身为有序态的时候，有无数的可能性会跨入不同的有序态，这些有序态可以看做系统内部储存的信息，这就是hopfiled模型记忆的基础。
原文继续：
记忆应该具有的一种特性是零读整取，即可以从片段的信息中获取整个记忆。分析力学用广义坐标描述大量粒子构成的体系，N个粒子的位置和动量随时间的变化被理解为6N维空间里一个点的运动轨迹，它可以既是连续的又是离散的（例如易辛模型里每个磁针的取向）。 一个系统的衍化即系统在广义坐标下的运动轨迹。 经典的描述记忆的方法就是把记忆看做是广义坐标下的一个吸引中心， 只要系统所处的位置离它足够近都会被吸引之其中， 这个吸引中心的坐标就是储存在系统中的记忆。
首语： 神经科学与统计物理的第一次完美结合。 加州理工的hopfield（"希望之野先生“）在1982年的时候提出了一个解释记忆存储和读取的模型。hopfield借住了一个叫自旋冰的统计物理模型（spin glass model）。
自旋冰模型属于易辛模型（Ising model）的范畴，这个模型最初被应用于解释铁磁性是如何从金属晶体中自发产生的， 但是神奇的是， 它还具有人工智能的特性。 PS-自旋冰模型在生物学的应用在当时是个崭新的概念， 目前已经被越来越广的应用于从基因网络到金融的各种学科。 自旋冰模型的解释请往下看。
原文题目： 神经网络具有自涌现的计算能力题解： 何为自涌现？ 这是复杂科学的核心概念。 宏观尺度的物体是微观尺度的大量基本粒子构成。 比如由水分子和水， 当水被加热到100度， 水变成水蒸气，在这个过程中，每个分子知道的只是自己的动能越来越大，它们对宏观尺度上水变成水蒸气这件事一无所知。
自涌现，就是指微观尺度上的事物都只顾及自己和自己的邻居的事情， 而不会集体合谋做什么， 但是在宏观尺度上，却出现了类似集体合谋的行为， 就好像当水被加热到一定温度， 水分子好像相约在这个时刻集体逃出容器的控制蒸发掉。神经网络，由它们的基本单元神经元构成， 每个人神经元并不具备智能（例如记忆）， 但是很多的神经元通过彼此的相互作用连接在一起， 它们却不约而同的一起做事情（关联体系）而产生了整体网络尺度的新现象， 这就是智能，比如记忆功能。
Abstract: 生物组织或者计算机的计算性能可以被看做是一种从大料相同单元（神经元，电子管）组成的系统里自涌现的群体属性（collective property）。 这里特别讨论的是关联记忆， 它可以看做系统在态空间里的某种运动轨迹（分析力学的思路）。
这个记忆的特点是读取它，只需唤醒网络中的一小部分（类似全息照相的特性）。由于运用了平行算法，单个原件出错不会影响这个系统的结果。这个系统具有概括（把很多特例统一到一个点--概括），相似性识别（把新的输入和记忆中的比较），分类（还是把类似的集中到一点）， 纠错（依然是把新的输入和记忆中的做比较）等功能。
PS： 其实这里的记忆多体现在处理输入的信息上， 网络内部的结构具有记忆，这些记忆好些隐藏在网络连接中的神经元活动状态， 他们就好像一些吸引力的陷阱， 各种输入引出的网络输出往往会掉入区其中一个陷阱中。这些陷阱态具有处理信息的功能。其实神经系统处理信息也像是在不断给现实世界建模型（学习），然后当有信息输入，就给出一定的推断-做出决策。 那么它推断的过程就是利用了之前的记忆。其中最主要的方法是比较现在的输入和记忆中的态的相似性，然后反推该做何种决策。如果现在的处境和记忆中的足够相似，网络就会被吸引到记忆的状态， 然后做出根据当时经验比较有利的决策。
正文：
我们已经详知神经元的电化学属性和他们的连接（synapse），我们已经知道如何从几个神经元里获知一些基本的生物行为。 我们知道大型计算机的计算性能随着元件数量增多而增加。 生物进化是没有计划的，我们需要提出的问题是，神经系统的运算性能是否来源于具有大量相互连接的神经元。在物理系统中，大量相互作用的基本粒子可以产生复杂的群体尺度行为，比如磁性，或者流体里的涡旋（自涌现行为）。
那么大量相互作用的神经元是否也会产生一些群体尺度的新行为--比如记忆，分类和概括？ 他们是否属于自涌现行为呢？ 本文将会用一个新模型阐述这个根本问题，并且展现一些重要的计算属性可以自发产生。 所有建模过程都需要大量细节，但是神经系统研究的解剖学细节依然大量缺乏。 在大量物理系统里， 很多自涌现现象对细节不敏感（例如声音是微粒碰撞的结果，但是只要是合理的微粒间的作用力都可以产生声波-与作用力细节无关）。所以我要找到一个神经系统的模型， 对于细节不敏感， 但是具有用的宏观属性。 PS-hopfield提出的极富创意的思想，专注事物的功能关系而非无关细节建立模型。 模型不是越复杂而是越简单越好，抓住要点并且给出预言与相应理解。 目前依然是神经系统建模指导思想。
- 作为物理系统的记忆模型
二维易辛模型是这个系统的源模型。
PS 易辛模型不懂的同学需要去找找wikipedia。
简单的说是一个四方晶格网络， 每个节点上有一个小磁针， 小磁针根据周围磁针的走向判断自己的走向， 有的时候他希望自己与周围人同向，有时则想发。 但是它的想法不是确定的而是随机的。就好像一个赌徒， 最终通过掷硬币决定它的朝向， 只不过这个硬币正反的概率不是均等，而是略微受到周围邻居的影响（相关性）。
易辛模型的核心就是相关性和随机性的竞争， 相关性由元素间耦合强度决定，随机性由温度决定， 当系统受随机性影响为主， 系统成无序状态，但是当随机性下降 ，相关性的影响水落石出，这种现象是剧烈的而非逐步出现，呈现一种相变， 在某个点上， 晶格网络上的所有磁针取到同向，系统从无序态瞬间变成高度有序的状态。
这就是易辛模型。当系统元素间的相互作用更加复杂， 例如相互作用不仅取决于邻居，相互作用的类型也多变的时候， 简单的易辛模型就得到了它的高级形式-自旋冰模型-它的特点是， 他所具有的高度有序的态很多，甚至多到与系统的元素个数在一个数量级， 而系统在由统一的无序态化身为有序态的时候，有无数的可能性会跨入不同的有序态，这些有序态可以看做系统内部储存的信息，这就是hopfiled模型记忆的基础。
原文继续：
记忆应该具有的一种特性是零读整取，即可以从片段的信息中获取整个记忆。分析力学用广义坐标描述大量粒子构成的体系，N个粒子的位置和动量随时间的变化被理解为6N维空间里一个点的运动轨迹，它可以既是连续的又是离散的（例如易辛模型里每个磁针的取向）。 一个系统的衍化即系统在广义坐标下的运动轨迹。 经典的描述记忆的方法就是把记忆看做是广义坐标下的一个吸引中心， 只要系统所处的位置离它足够近都会被吸引之其中， 这个吸引中心的坐标就是储存在系统中的记忆。
