神经网络中的BP神经网络和贝叶斯

1 贝叶斯网络在地学中的应用 1

1.1基本原理及发展过程 1

1.2 具体的研究与应用 4

2 BP神经网络在地学中的应用 6

2.1BP神经网络简介 6

2.2基本原理 7

2.3 在地学中的具体应用与研究 9

结论 11

参考文献 12

1 贝叶斯网络在地学中的应用

贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型，所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程，基于概率推理的贝叶斯网络(Bayesian network)是为了解决不定性和不完整性问题而提出的，它对于解决复杂设备不确定性和关联性引起的故障有很大的优势，在地学以及其他领域中都得到了广泛的应用。

1.1基本原理及发展过程

这里我们需要首先介绍贝叶斯公式以便我们更加深入的了解贝叶斯网络。贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A) = P(A|B)*P(B) / P(A)。在这里我们可以举一个简单的例子。现分别有 A、B 两个容器，在容器 A 里分别有 7 个红球和 3 个白球，在容器 B 里有 1 个红球和 9 个白球，现已知从这两个容器里任意抽出了一个球，且是红球，问这个红球是来自容器 A 的概率是多少?这时候我们假设已经抽出红球为事件 B，选中容器 A 为事件 A，则有：P(B) = 8/20，P(A) = 1/2，P(B|A) = 7/10，按照公式，则有：P(A|B) = (7/10)*(1/2) / (8/20) = 0.875。

由此可见，贝叶斯公式为利用搜集到的信息对原有判断进行修正提供了有效手段。在采样之前，经济主体对各种假设有一个判断（先验概率），关于先验概率的分布，通常可根据经济主体的经验判断确定（当无任何信息时，一般假设各先验概率相同），较复杂精确的可利用包括最大熵技术或边际分布密度以及相互信息原理等方法来确定先验概率分布。对于变量有二个以上的情况，贝式定理亦成立。例如P(A|B,C)=P(B|A)*P(A)*P(C|A,B)/(P(B)*P(C|B))这个式子可以由套用多次二个变量的贝氏定理及条件机率的定义导出。这里我们对于复杂的公式推导不做具体的阐述。在这里我们直接给出贝叶斯公式的一般形式：

其中为完备事件组，即

由贝叶斯公式为基础发展出了贝叶斯网络。贝叶斯网络又称信度网络，是Bayes方法的扩展，是目前不确定知识表达和推理领域最有效的理论模型之一。从1988年由Pearl提出后，已经成为近几年来研究的热点.。一个贝叶斯网络是一个有向无环图(Directed Acyclic Graph,DAG),由代表变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表了节点间的互相关系(由父节点指向其子节点)，用条件概率进行表达关系强度，没有父节点的用先验概率进行信息表达。节点变量可以是任何问题的抽象，如：测试值，观测现象，意见征询等。适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种控制因素的决策，可以从不完全、不精确或不确定的知识或信息中做出推理，贝叶斯网络的建造是一个复杂的任务，需要知识工程师和领域专家的参与。在实际中可能是反复交叉进行而不断完善的。面向设备故障诊断应用的贝叶斯网络的建造所需要的信息来自多种渠道，如设备手册，生产过程，测试过程，维修资料以及专家经验等。首先将设备故障分为各个相互独立且完全包含的类别（各故障类别至少应该具有可以区分的界限），然后对各个故障类别分别建造贝叶斯网络模型，需要注意的是诊断模型只在发生故障时启动，因此无需对设备正常状态建模。通常设备故障由一个或几个原因造成的，这些原因又可能由一个或几个更低层次的原因造成。建立起网络的节点关系后，还需要进行概率估计。具体方法是假设在某故障原因出现的情况下，估计该故障原因的各个节点的条件概率，这种局部化概率估计的方法可以大大提高效率。使用贝叶斯网络必须知道各个状态之间相关的概率。得到这些参数的过程叫做训练。和训练马尔可夫模型一样，训练贝叶斯网络要用一些已知的数据。比如在训练上面的网络，需要知道一些心血管疾病和吸烟、家族病史等有关的情况。相比马尔可夫链，贝叶斯网络的训练比较复杂，从理论上讲，它是一个 NP-complete问题，也就是说，现阶段没有可以在多项式时间内完成的算法。但是，对于某些应用，这个训练过程可以简化，并在计算上高效实现。贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法，贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用，已成功地用于医疗诊断、统计决策、专家系统、学习预测等领域。这些成功的应用，充分体现了贝叶斯网络技术是一种强有力的不确定性推理方法。

1.2 具体的研究与应用

下面我们介绍一些贝叶斯在地学中具体的研究与应用。如混合贝叶斯网络在遥感数据中的应用。传统的离散型贝叶斯网络分类器是将所有变量视为离散变量，或对连续变量做离散化处理。可是离散化不
可避免地存在信息损失，且在多源遥感数据的处理和分析中连续变量的离散化会导致搜索空间的急剧增加和计算及存储量的极大开销。因此，（李凤，高昭良）针对这些问题，开发了一种面向土地利用分类的多源遥感数据混合贝叶斯网络分类器。该分类器首先对问题领域的所有变量做正态分布检验，同时将满足高斯分布假设的变量不做离散化而视为连续变量；然后对离散变量和连续变量分别进行参数学习；最后进行参数合并，再用于贝叶斯网络的推理和分类中。 通过福州市区土地利用分类的实验表明该模型优于传统的离散型贝叶斯网络分类器，具有一定的研究和应用价值。

同时，贝叶斯网络在地震相分类中也有应用。地震数据被用于油气藏勘探，要求在目标地区钻井前，利用各种有效信息来提高储层预测的准确性，其中地震相识别就是储层预测的基础工作之一。地震相是指有一定分布范围的地震反射单元，具体地说，是反射单元内各种岩相的地震波的综合响应。划分地震相，并通过井的标定，可以建立起地震相与地质体的对应关系，进行区域地层解释、确定沉积体系、预测有利生油区和储集相带。但是，人工进行地震相解释，其工作量巨大，解释效率低，而且存在解释结果受人为因素影响较大等缺点。

为了解决传统多地震属性的地震相分类方法中“难以引入先验信息用以指导分类，难以给出地震相分类结果可靠程度的定量估计，且各分类参数的权值较难确定”这３个问题，顾元，朱培民等提出了一种新的基于贝叶斯网络的地震相分类方法．该分类方法有效地融合了先验信息和训练样本的分布特征，对提取的多种地震属性进行智能分析，以概率推理的方式得到各地震相类别的概率值，并根据概率分布估计分类结果的可靠程度．详述了贝叶斯网络用于地震相分类的原理与方法，并结合理论地震数据，验证了该方法的可行性和正确性。具体流程如下图所示：

图1：基于贝叶斯网络的地震相分类流程

2 BP神经网络在地学中的应用

2.1BP神经网络简介

这里我们首先介绍BP神经网络的一些基础知识。BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。在人工神经网络的发展历史上，感知机(Multilayer Perceptron，MLP)网络曾对人工神经网络的发展发挥了极大的作用，也被认为是一种真正能够使用的人工神经网络模型，它的出现曾掀起了人们研究人工神经元网络的热潮。单层感知网络（M-P模型）做为最初的神经网络，具有模型清晰、结构简单、计算量小等优点。但是，随着研究工作的深入，人们发现它还存在不足，例如无法处理非线性问题，即使计算单元的作用函数不用阀函数而用其他较复杂的非线性函数，仍然只能解决解决线性可分问题．不能实现某些基本功能，从而限制了它的应用。增强网络的分类和识别能力、解决非线性问题的唯一途径是采用多层前馈网络，即在输入层和输出层之间加上隐含层。构成多层前馈感知器网络。

20世纪80年代中期，David Runelhart。Geoffrey Hinton和Ronald W-llians、DavidParker等人分别独立发现了误差反向传播算法(Error Back Propagation Training)，简称BP，系统解决了多层神经网络隐含层连接权学习问题，并在数学上给出了完整推导。人们把采用这种算法进行误差校正的多层前馈网络称为BP网。

BP神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力，解决了简单感知器不能解决的异或(Exclusive OR，XOR)和一些其他问题。从结构上讲，BP网络具有输入层、隐藏层和输出层；从本质上讲，BP算法就是以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值。

2.2基本原理

人工神经网络无需事先确定输入输出之间映射关系的数学方程，仅通过自身的训练，学习某种规则，在给定输入值时得到最接近期望输出值的结果。作为一种智能信息处理系统，人工神经网络实现其功能的核心是算法。BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络，其算法称为BP算法，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。

基本BP算法包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行。正向传播时，输入信号通过隐含层作用于输出节点，经过非线性变换，产生输出信号，若实际输出与期望输出不相符，则转入误差的反向传播过程。误差反传是将输出误差通过隐含层向输入层逐层反传，并将误差分摊给各层所有单元，以从各层获得的误差信号作为调整各单元权值的依据。通过调整输入节点与隐层节点的联接强度和隐层节点与输出节点的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数(权值和阈值)，训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。BP网络是在输入层与输出层之间增加若干层(一层或多层)神经元，这些神经元称为隐单元，它们与外界没有直接的联系，但其状态的改变，则能影响输入与输出之间的关系，每一层可以有若干个节点。具体结构如下图所示：

图2：BP神经网络结构模型

2.3 在地学中的具体应用与研究

开展探测对于提升我国综合实力具有重要意义。按照计划我国将在2017年左右完成月球采样并返回地球的目标。目前国内各科研院所对采样机具的研究多集中在钻取机具的设计及其仿真模拟上，对表层取样机具研究较少。李谦，段隆臣等人基于表层取样研发了一套由直流电机驱动，并能通过检测其电流间接测算挖取运动扭矩的试验机构。利用该机构在６种不同的模拟月壤中进行不同试验参数的挖取试验后可知，在不同的试验条件下挖取机构承受的扭矩变化趋势大致相同，并能由４个特征点进行描述。４个特征点的取值随试验参数的不同而改变。完成试验后将试验数据进行归一化处理后导入BP神经网络进行学习和训练，建立了以运动参数（运动角度、机构悬挂高度）、模拟月壤类型（内聚力、内摩擦角）、模拟月壤密实程度（容积密度、孔隙度、相对密实度）为输入量，机具承受扭矩为输出量的神经网络模型。通过与实测数据对比可证明本文建立的BP神经网络挖取力学模型具有很高的拟合和预测精度 。在保证训练和学习数据量的前提下，学习后的BP神经网络对多输入单输出非线性模型具有极高的拟合和预测精度。根据物理试验中对参数的设置，他们建立了基于模拟月壤的表层挖取采样模型输入量包含３大类：（１）运动参数（运动角度、悬挂高度）；（２）模拟月壤类型参数（内聚力、内摩擦角）；（３）模拟月壤密实程度参数（容积密度、孔隙度、相对密实度），输出量为试验机具运动过程中的扭矩 。下图为模型流程图：

图3：模型流程图

他们在完成基于模拟月球表层采样挖取试验，并利用试验数据结合BP神经网络建立模型后，得出以下结论：（１）经过试验数据和电机额定扭矩的对比，结合试验过程的观察，证明利用电流传感器间接测量电机工作扭矩的测量方案可靠；（２）通过对试验数据的分析，不同试验参数的挖取动作在整个运动过程中扭矩变化趋势完全相同，仅取值不同． 扭矩变化曲线可通过起始上扬点、第一峰值点、谷底点和第二峰值点４个特征点进行描述；（３）利用BP神经网络建立模型时，原始试验数据变量间的数量级差异将会显著影响网络的准确性，因此在建立模型时需要对变量进行归一化处理；（４）经过与试验数据的验证，基于BP神经网络的模拟月球表层采样挖取运动扭矩模型具有很高的拟合和预测精度， 利用MATLAB平台的计算功能可以简易的调用模型进行计算，方便后续进行相关研究使用。

 

 参考文献

[1]李凤,高昭良.面向土地利用分类的多源遥感数据混合贝叶斯网络分类器 .国土资源遥.89(2)

[2]顾元,朱培民，荣辉,曾凡平，海洋.基于贝叶斯网络的地震相分类.地球科学——中国地质大学学报.38(5)

[3]李辉,余忠迪,蔡晓斌,等,2017.基于无人机遥感的河流阶地提取.地球科学,4 2(5):7 3 4-7 4 2.

[4]冯杭建，周爱国，俞剑君，等，2016．浙西梅雨滑坡易发性评价模型对比．地球科学，41(3)：403-415

[5]虞 欣.贝叶斯网络在航空影像纹理分类中应用研究(D).武汉:武汉大学,2008

[6]普雷斯,S.詹姆士. 贝叶斯统计学:原理、模型及应用(M). 北京:中国统计出版社,1992

[7]张德丰等，2012,ＭＡＴＬＡＢ神经网络应用设计.北京：机械工业出版社