按键盘上方向键 ← 或 → 可快速上下翻页，按键盘上的 Enter 键可回到本书目录页，按键盘上方向键 ↑ 可回到本页顶部！
————未阅读完？加入书签已便下次继续阅读！
持执τ诤谙渲械囊鼗啤Ｒ虼耍潜怀莆ピ！ �
当然，真实的神经系统显示出多得多的单元和层次。例如，对于人来说，大脑皮层的结构包含了至少6层各异的神经元。顺便指出，图4．4所示的小脑的神经矩阵的输入对于输出的映射，可以等价地由具有输入和输出的两层神经网来描述。3层神经网络等价于顺序相连的两个神经矩阵。但是这种多层的网络不可能推广到整个大脑和神经系统，因为在实际大脑中细胞群体往往在给定层次中表现出广泛的细胞与细胞的关联。这需要在某些不同的模型中加以考虑。
按照复杂系统探究方式，特定层的神经元可以被解释为态空间轴线，代表了该层可能活性状态。状态的发展，即其动力学由轨迹来说明，轨迹可由该特定网络的某种学习过程所引起。
例如，感知可以用神经网络的矢量处理来解释。最初，来自外部世界的对于输入神经元的刺激样品（例如，作用于眼睛的电磁光信号、颜色，或者作用于耳朵的声波），它们在神经网络中被加工，产生出某种输出矢量，代表了例如外部世界的视觉或嗅觉图像。但是神经网络必须学会在大量的输入信号中区别和识别出正确的形式、颜色、声音等等。
学习程序只不过是一种对于众多极重的调节，以获得所希望的输出矢量（例如感知）。学习程序可以由数学算法来加以模拟，这是人工智能研究中的重要课题（参见5．3节）。它们在每一神经层次上（也是由矢量来代表）产生出权重构型。在任一给定的时间，突触值的完整集定义了一个权重空间，在每一轴线上的点说明了每一特定权重的大小。一般来说，学习意味着使得最适解（感知、思想等等）和不适解之间的错误和差异最小化。因此，学习过程可以形象表示为权重空间的轨迹，轨迹从初始的随机集合位置出发，到达最终的最小误差位置（图4．7a）。这种建模的关键意味着，可以通过算法程序使某个函数具体化来获得网络中的权重。业已假定，任何可表示的世界都可以通过权重的构型在网络中得到表示。
图4．7a示意了学习过程中突触权重空间的轨迹。这个空间进行了简化，只有3个权重，代表了3层网络中突触的所有权重值的组合（图4．6）。图4．7示意了相应的活化矢量空间，其轴线是3层网络中的隐含单元（图4．6）。
权重空间和活化空间是类似的空间，因为代表类似事物类似矢量由位置近似来反映。权重构型把类似的事物集合在一起，考虑了权重空间可能对于事物之间的细微差异的敏感性。因此，在活化空间，我们可以区分出原型矢量，它们代表了具有细微差异的类似事物，细微的差异由其到原型矢量的距离来度量。在观察和行为的宏观水平上，这些原型矢量可以代表特定的范畴，如树木、植物、果实、人物等等，它们都有或多或少的相似性。在复杂系统动力学的框架中，原型矢量可以被解释为点吸引子，把态空间划分为若干个区域。
类似的原动行为（诸如抓拿、行走等等）用原动态空间的类似轨迹来表示。正如我们看见的，学习意味着权重依据某种算法程序重新构型。关键性问题在于：成千上万的细胞和突触如何知道它们在什么时候应该变化其状态而不需要小妖的指引？
唐纳德·霍布在他的著名的《行为组织》（1943）一书中提出，学习必须被理解为一种复杂脑模型中的自组织。如同生命有机体的进化，组织“妖”的信念可以去掉，用复杂系统探究方式的自组织程序来代替。历史上，这是首次清楚地提出了生理学的突触变化的学习规则。霍布在关于复杂的脑模型中使用了“联结主义”一词。他引入了突触概念，后来被称为“霍布突触”。如果两个神经元同时发放，两个神经元之间的联结就得到加强。
当细胞A的轴突充分靠近细胞B使之激发，并可以反复地或持续地向其发放，在细胞之一或两者之中就发生了某种生长过程或代谢变化，使得A向B的发放效率也就增加了。
“霍布规则”在1949年还只能是一种假设的实体。今天，它的神经生理学上的存在得到了经验确证。霍布规则并非一种精确的数学陈述。我们在后面还将看到可能霍布类型的联结主义学习规则。霍布规则的一种简单的数学表述要求，神经元A映射到神经元B的权重WBA的变化△WBA正比于A的发放速率vA和B的发放速率vB的平均值，即△WBA＝εUAUB，其中ε是常数。
在霍布类型的规则主张的图式中，强化神经元的前提倾向于是“毋需［外部〕教师”。在此意义上，它是一种自组织的方法，使得神经元发放与成群的刺激模式越来越好地关联起来。霍布意识到，大脑运用相互联结的神经元的整体模式来表示某种事物。他明确地运用了“细胞集合体”一词，这对于现代神经科学是关键性的。激活的细胞集合体可以相应于复杂的感觉或思维。哲学上，霍布的细胞集合体的思想使我们想起休谟的联想概念，但他的联想只具有脑心理学上的基础而没有脑生理学的基础。
霍布的生理学概念是如何溶进现代的神经网络复杂系统之中的呢？这个联想网络的基本概念要求，一个输入矢量与输出矢量用某种变换而“联结起来”。在数学上，两种矢量类似性可以由其内积来度量，内积即由两个矢量相乘，其中的元素乘以元素，然后将这些乘积加起来。在几何上，内积是正比于矢量之间角度的余弦。在两个矢量总相等的情况下，角度为零，这意味着相似性是完全等同的。
因此，所贮存的原型矢量（例如典型树的原型图）与输入矢量（例如对于特定树的感觉）之间的相似性，就可以在联想网络中由其内积来计算。原型矢量假定贮存于联结网络中的输入和输出的权重矩阵之中。图4．8a示意的网络中，有代表着输入元素的水平输入线、垂直输出线和联结的权重（这里采用二进制，空心圆圈为零，实心圆圈为1）。
如果一般地，输入矢量（xj）与输出矢量（yj）通过线性变换从yj＝EWijXj联结起来，其中Wij是贮存的权重矢量，于是我们就获得了一种简单的线性联想子。这种联想网络，能够对于代表某种范畴例子的矢量进行分类，这种范畴是由所贮存的原型矢量实现的。对于动物的生存，这个任务实际上是关键性的。在现实中，种种或多或少的类似的感觉（例如怀着敌意的动物）必须进行鉴别并归于某一范畴。
某一种联想网络可以进行矢量完善或矢量校正。所谓的自动联想网络可以产生一种输出，使之在仅仅给出贮存矢量的一部分作为输入时，尽量地接近预先贮存的矢量。在现实中有噪声的（例如一个人的图像），必须根据所贮存的图像来加以完善。一个霍布类型的规则，可以通过加强在神经元之间的相关活性程度的关联权重来完成这一任务。
一种增加这样的复杂网络能力的方法是，对于输出单元引入非线性的阈值。线性的联想网络（例如图4．8a）具有前向反馈拓扑，信息从输入单元流向输出单元。霍布类型的学习程序认为，神经单元的局域的相互作用通过自组织而收敛到正确的总输出。网络中的循环信息意味着某种反馈构造。在图4。8b中，每一单元都接受从外部的输入，同时也接受网络中内部单元的反馈。权重由水平线和垂直线的交接点来表示。
显然，图4．8b模型的复杂系统是一种非线性的反馈网络，它允许范围广泛的可能的动力学。约翰·霍普菲尔德讨论了一个著名的例子（1982）。他的非线性反馈网络的类型具有收敛解的动力学。对于它们的兴趣不仅仅是由于对大脑的建模，而且是由于（正如我们将在关于人工智能的第6章见到的）发展出新的网络技术。对于我们的复杂系统探究方式，值得注意的是，霍普菲尔德是一位物理学家，他把运用于自旋玻璃体物理学的数学方程运用到了神经网络上。
铁磁体的动力学是大家熟知的一个热平衡态的保守自组织的例子。在伊辛模型中，铁磁体由自旋体点阵构成，每一方向都可以是向上（↑）或向下（↓）的。每一自旋体都可以与其近邻发生相互作用。在最低能量状态中，所有的自旋体都以相同方向排列。在高温下，自族体的方向是随机的，因为热能使得涨落大于相互作用能。如果减低温度，自旋体就变得按照相同方向排列。显然，自族体的行为类似于磁体（参见2．4节）。在动力学上，它表现为寻求作为某个吸引子状态的最近的局域能量极小值（图4．9a）。但是，只有所有的相互作用是吸引作用，才有在相同方向上的所有自旋体点的单个能量极小值。在吸引相互作用和排斥相互作用混合的情形下，复杂系统如自旋玻璃体可以具有许多局域能量极小值。
霍普菲尔德提出，神经系统的功能是在态空间发展起来的一些局域稳定点。态空间的其他的点流向作为系统吸引子的稳定点。由于对稳定点的偏离的消失，这种动力学是一种自校正程序。另一方面，稳定点适当地将一个并不完善的始态矢量丢失的部分弥补起来。因此，这种动力学可以用来完善有噪声的输入。
霍普菲尔德的模型是相当简单的，包括有阈值的逻辑单元。加和的突触输入并将此加和与阈值进行比较。如果此加和处于阈值或阈值之上，就产生出1，否则就产生出0。除了自联结之外，神经元相互联结时，就认为该网络恢复了。数学上，相应的联结矩阵的主对角线为零。霍普菲尔德提出，运用霍布类型的学习规则来构建联结矩阵元。复杂系统的演化如自旋玻璃体伊辛模型遵循非线性的反馈动力学。能量差异项逐渐减少，直到它到达某一个——可能是局域的——极小值。
字符特征识别问题是人们熟悉的一个简单应用。此复杂的网络由2维格子的相互作用的布尔变量来代表。一个模式（例如字母A）可以被联想到格子中，其中黑点代表激活态变量（其值为1），空点代表其值为零的变量。这里假定，字母作为所希望的动力系统状态被联想到吸引子（不动点）。我们可以想像，通过多次看见正确的字母，人的大脑中贮存了正确的字母形状。如果某个不完善的、部分受损的字母显示给该系统，它就应该能够重新构造出正确的形状——这是以前已经学会的（图4．9b）。
因此，模式识别就意味着自组织的模式演化。这种过程指向某些吸引子，作为所希望的系统状态。我们回忆一下，一个吸引子就是从一定条件出发，系统将向其演化的一种状态。吸引盆由起始条件来定义，起始条件推动着在吸引子方向的系统的轨迹。正如我们在前面的章节中已看见的，一个吸引子可以是包含不动点的或稳定态的唯一状态，如同在霍普菲尔德网络和自旋玻璃体系统的例子。但是，一个周期相继的状态（“极限环”）或几种形式的混沌吸引子（在耗散系统中）也是可能的。因此，霍普菲尔德网络对于以复杂系统的吸引子来建立神经状态的模型，仅仅是初级的、简化的方式。
霍普菲尔德注意了自旋玻璃体中的局域能量极小值与联想的大脑原型之间的类似性。在自旋玻璃体的形式网络中，吸引子可以被设计为原型矢量。在图4．10a中，霍普菲尔德系统的态空间用能量地形图形象地表示出来，这里利用了它与自旅玻璃热力学的类似性。网络上所有可能的状态都由平面上的点来代表。表面的高度表示相应的网络状态的能量。
图4．10b中的相图显示，轨迹从不同的起始点向稳定的局域最小值的收敛。平面上的每一点就是该网络的一种状态。能量地形图具有霍普菲尔德动力学轨迹的吸引盆。稳定点（“吸引子”）处于盆的底部。在模式识别的例子中，原型字母与稳定点相关联。因此，模式完善的过程是一种反省形式，在形式上可与保守自组织的退火过程相比较。在此物理学例子中，终态是自旋玻璃体、磁化的铁磁体或冻结的晶体的有序结构。
一般地说，霍普菲尔德网络仅仅收敛到低能态的局域最小值。在某些应用中，局域最小值是与特定的贮存项目相联系的，也许是不必要到达某种全局最小值的。不过，在许多情况下是需要全局最小值的。这种问题的一个解，是由个体单元的随机运动而不是确定论运动来提供的。
图4．11a中，通过一个沿着能量地形曲线运动的小球很可能最终是落入最深的最小值，从而显示了问题的求解。从一定的起始状态出发，小球将向能量最小值或曲线的底部运动。如果能量地形是由多个靠得很近的极小值标志的，结果就取决于最初的起始条件。如何来阻止网络粘在某个局域极小值上呢？这种想法是以一定的能量增量来动摇能量地形，该增量是逃离局域极小值B（低谷）而进入全局极小值A所需要的。
于是，在力学上，小球从B进入A比从A进入B的可能性要大。平均来看，小球应该终止于低谷A。在热力学语言中，动摇地形的动能相应于系统温度的增加。在适当高的温度情况下，在低谷之间的转移几率不再是可忽略的。在热平衡态，占有不同凹地的几率仅仅取决于它们的深度。
实际上，模拟退火的方法是人们所熟悉的，并用于全局优化上。正如我们已经提到的，退火是加热一种材料（例如金属或玻璃）到高温、然后逐步地减低温度的过程。但是，该材料将仅仅终止于其全局能量最低点，如果退火过程进行得足够慢的话。例如，金属的突然冷却将留下仅仅有局域极小值的材料，处于易脆状态。模拟退火使得有可能逃离局域极小值，跳跃到较高的能量状态。
在气体热力学中，气体由其相转移的几率来描述。波耳兹曼对处在均匀温度分布的气体，推导出来气体状态的几率分布。欣顿、西杰诺夫斯基等人认为，这种分布可以运用于描述神经相互作用。在这种模型的情形，加进系统中的低温项被解释为小噪声项。它是神经与气体中分子的随机热运动的类似物。
这种形式上的等价，是上述网络被称为“波耳兹曼机”的原因。但是，这里并非是物理主义，并非打算把神经相互作用还原为气体分子相互作用。在波耳兹曼的形式表达式中，可以证明，冷却得充分慢时波耳兹曼机可保证找到所希望的全局极小值。显然，具有模拟退火动力学的神经网络，是能够通过搜索模式的态空间给出全局最小值的。
一种按照这种动力学的可能的学习规则，是与网络及其环境之间的几率相匹配的。该网络的所有可能状态在热平衡时都是可能的，具有波耳兹曼分布的相对几率。如网络中状态的几率与环境状态的几率相同，那么网络便得到一个适当的环境模型。因此，学习规则必须能够调整波耳兹曼机中的权重，以便减少网络模型与环境之间的差距。
最初，学习规则让系统自由地运行。每一单元的状态几率可以估计出来。然后，输入和输出单元就被强制或被迫取得适当的值。其次，单元的几率值是估计出来的。局域的权重变化正比于与该权重耦合的单元的几率的差。
形式上，权重的变化规则要求
△Wij＝E（ ＜sisj＞强制…＜ sisj＞自由）
式中E是比例常数（“学习速率”），Si是第i个单元的二进制单元，sisj在网络达到平衡后的时间的平均值是＜sisj＞。在强制的条件下，输入和输出单元都固定在其正确值上。在自由条件下，这些单元都不是固定不变的。于是，学习规则并未受到指示。如果输入在自由的条件下是固定不变的，学习规则就是受指导的。
在图4．11b中，波耳兹曼机的网络中的单元采取了二进制值，它们之间的联结是相互的。连接的权重可以进行训练，也就是把模式提供给存在着和不存在输出模式的输入单元，并应用波耳兹曼学习现则。在学习过程中，网络中的所有的权重都发生了变化。并不直接接受外界信息的隐含单元，可以使得该网络产生出在输入模式和输出模式之间的复杂的联想。因此，在其中间层有隐含单元的波耳兹曼机具有内部的对于环境的表示，而这对于仅仅具有可见（输入和输出）单元的网络则是不可能的。
从神经生理学的观点看，由“教师”指导的学习在自然界看来是颇为不现实的。动物对感觉输入分析中进行的特征提取或范畴划分必定是自组织的。在输入矢量中出现得越是频繁的特征，就越是可能归属于一定的范畴。网络的输出必须学会使相应的原型矢量收敛为吸引子。
如何设计一个网络使得在没有外部教师指导的情况下产生出分类标准呢？一些�