1.2 证据理论在冲突证据推理与融合中的应用
1.2.1 证据理论
Dempster在文献[27]中提出不满足可加性的“概率”,并在一系列关于上下概率的文献中对相关概念进行了拓展。他的学生 Shafer[28]进一步丰富和完善并于1976年出版了A Mathematical Theroy of Evidence,该书是证据理论形成的标志。为了纪念两位学者的贡献,人们把证据理论称为 DS 证据理论,把 DS 证据理论中的组合规则称为 Dempster组合规则。DS证据理论是一种在不确定条件下进行推理的方法,可以看作同一层级/粒度的后验概率推理向不同层级/粒度融合推理的推广。DS证据理论应用于融合识别的实质就是在同一识别框架下,利用Dempster组合规则将各个证据体合并成一个新的证据体,即由组合规则将不同证据体的基本概率赋值(BPA)合并产生一个总的BPA,而产生的新证据体表示了融合后的信息,然后根据决策规则进行决策。
Dubois和Prade[29]对Dempster组合规则进行了研究,并指出DS证据理论中的信度函数就是模糊测度,并用传统数学中的集合论知识对证据理论进行分析。Smets[30,31]对证据理论的识别框架进行了深入研究,他将证据理论推广到识别框架的所有模糊子集上,并提出 Pignistic 概率和可传递信度模型,其中Pignistic概率是概率转换的基础。
模糊数学的创始人 Zadeh[11]指出证据理论中的 Dempster 组合规则在进行正则化的过程中可能会导致悖论(著名的“Zadeh悖论”)。他认为证据理论不能有效处理冲突证据的原因是由正则化因子K造成的。此后众多的学者基于正则化因子对Dempster组合规则进行了改进。
在DS证据理论的基础上,经过几十年的发展,形成了一系列的拓展性理论和方法。其中包括Dezert和Smarandache提出的DSm理论[24](一种似是而非、自相矛盾的推理方法);Smets[30,31]提出的可传递信度模型(Transferable Belief Model,TBM);邓勇[32]提出的广义证据理论(General Evidence Theory,GET)等。
1.2.2 证据理论的关键问题
1.识别框架的构建
在证据理论中,识别框架要求满足互斥性和完备性,对于识别框架的研究主要集中在识别框架的完备性。所谓完备性是指识别框架中的命题可以穷举,但是在实际应用过程中新事物不断出现,尤其在目标识别中存在未知的新目标,无法有效确定一个完备的识别框架,这就有必要针对目标的识别框架进行相关研究。
处理不完备的识别框架问题的代表方法是Smets提出的开放世界的假设。Smets认为事先很难预知事物所有的可能情况,且识别框架的不完备性是造成证据冲突的主要原因。他提出在识别框架中给出空集命题,空集基本概率赋值的大小代表“命题在识别框架之外”的信任程度,并且取消证据组合规则中的正则化过程。但是,Smets的这种方法并没有从根本上解决识别框架的不完备性,在实际应用中的效果也不甚理想。主要因为,第一,证据之间的冲突不完全是由证据识别框架的不完备性造成的,也有可能是信源本身获取的信息存在冲突,比如传感器故障、人为干扰等;第二,当多条证据之间进行融合时,空集的置信概率赋值会不断增大而其他焦元的信度会不断减小。
此外,Shafer[28]还给出了粗化和细化的概念,根据证据的不同特性可相应地改变所采用的识别框架,粗化和细化实质上是缩放识别框架的变换方法。
2.信度函数的获取
利用证据理论对不确定信息进行推理与决策,首先要根据信源获取的信息确定基本信度分配(Basic Belief Assignment,BBA)函数(简称信度函数)。信度函数表示对客观事物的信任程度,本质上属于集值随机变量分布建模的问题且与实际应用密切相关,因此很难将信度函数进行统一。不同的学者针对自己研究的不同领域给出了不同的信度函数构造方法。信度函数的构造方法主要分为两类:一类是定性的构造方法,通过专家根据经验知识给出;另一类是定量的构造方法,根据客观数据构建。按照样本量的大小,此类方法又可以细分为两类:一类是大量样本数据,多基于统计学进行信度函数构建;另一类是小样本数据,可以通过模糊数学、隶属度、聚类等方法进行构造。信度函数的构造没有统一的标准,需要针对研究领域、数据类型、决策要求等制定不同的构造方法。
3.证据组合的近似计算
Dempster组合规则将识别拓展到幂集框架,识别框架焦元的数目以指数形式增长,带来了证据组合的“焦元爆炸”问题。若辨识框架有n个元素,则可能的焦元数目为 2n个。所以当证据理论中的焦元数目过多时,有必要研究如何减小证据组合规则计算量,从而使其能够较好地应用于工程实际。
对计算量控制的方法可以分为两类:一类是快速计算,另一类是近似计算。Kennes[33]提出了一种Dempster规则优化算法;Denoeux为实现BBA内层近似和外层近似,提出了层次化聚类方式;Dezert[34]等人根据精度要求,提出可控精度的层次化基本概率赋值分配的方法,以实现BBA的近似。
4.信度函数的组合规则
DS证据理论给出的Dempster组合规则不能有效处理高冲突信息。针对冲突证据组合规则的研究,改进方法主要分为两类。第一类的出发点是认为Dempster 组合规则不能很好地处理冲突证据,原因在于组合规则的建立有问题,所以对组合规则的公式进行改进,产生了许多新的组合规则。Dempster组合公式的改进主要分为三种。第一种是承认DS证据理论的乘性法则,研究如何分配冲突量K,比如Smets[30,31]将冲突量分配给了空集,避免了证据理论的归一化过程;Yager[35,36]将冲突量全部分配给了完全不确定集;PCR1-6[15,37]重点解决如何将冲突量K合理地分配到各个命题,其中PCR2和PCR5应用比较广泛。第二种是改变识别框架,拓展到广义幂集,在此基础上给出新的组合规则,比如DSm理论组合规则[38]。第三种是给出加性组合规则,比如Murphy[39]组合规则。
对组合规则的改进能够在一定程度上解决冲突证据的融合问题,有学者认为解决冲突证据组合问题的关键在于对证据源进行修正,这是改进方法的第二类。修正证据源的研究重点在于如何获取证据的折扣权重系数。证据折扣权重系数的确定方法分为两种:第一种方法是基于信息熵,通过信息的无序性表征证据的不确定性,如U.Höhle等人[40]在似然函数基础上提出Confusion度量;Yager[41]等人在似真度函数基础上提出Dissonance度量;Klir[42,43]等人基于命题的模提出Discord度量和Strife度量;Harmanec [44]等人在概率转换的基础上,提出Aggregated不确定性度量;Jousselme[45]等人在Pignistic概率转换基础上,提出Ambiguity度量;Deng[46]在Shannon熵的基础上提出Deng熵,用来衡量证据的不确定性。算例分析表明,上述方法都能在一定程度上表征信息的不确定性,但是证据的无序性不能合理表征信息之间的支持程度。第二种方法是基于距离衡量证据的不确定性[47-49]。Jousselme[47]提出的Jousselme距离是应用最为广泛的证据距离;Yu[14]等人提出支持概率(supporting probability)距离,通过计算证据的被支持程度确定证据的折扣权重;Zhou[50]等人对现有的证据距离进行运算,得到新的权重系数;Liu [51]等人在概率转换的基础上提出一种新的证据距离;Yang[52]利用Tran&Duckstein区间数距离衡量证据的不确定性,并得到很好的融合效果。
基于信息熵与基于距离的冲突证据决策方法在解决冲突证据组合时的流程基本相同,都是先确定一种衡量证据之间支持程度的指标,并计算两两证据之间的支持程度,然后通过支持矩阵计算出每一条证据的折扣权重系数,并以此对证据进行折扣,最后对折扣证据进行组合。由于基于这种流程处理冲突证据组合问题需要计算两两证据之间的支持程度,因此计算量较大。
5.冲突证据的推理
冲突证据推理作为本书研究的重点,将在1.2.3节详细论述。
6.基于证据的决策
目标识别框架由概率框架拓展到幂集框架和超幂集框架等广义幂集框架,广义幂集框架的势不断增大,信度赋值过于分散,决策过程相对复杂,传统的基于基本概率分配的决策方法不能对目标有效识别。而概率推理方法具有较强理论基础,可以将广义幂集框架下的信度赋值映射到单子集识别框架形成概率,利用概率推理手段对目标进行识别。
Smets[30,53]率先提出 TBM 中的 Pignistic 概率转换(PPT),将广义幂集框架下的 BPA 根据命题的势均分到单子集命题,但该方法过于粗糙,没有考虑单子集命题权重;Sudano[54-56]结合信任函数和似真度函数对单子集命题的权重进行改进,但提出的系列算法中多采用单一指标进行决策分析;潘巍[57]将信任函数与似真度函数相结合对转换公式进行改进,但构造的公式没有利用命题的势;Dezert 和 Smarandache[35,58]引入命题的势给出新的改进公式,但是缺少评价指标;Li[59]在Pignistic概率转换的基础上引入Tsallis信息熵,提出多尺度概率转换,对 PPT 进行了一般化表达,但同样没有给出合理的评价指标;Cinicioglu[60]对 DS 证据理论关于组合规则选取和概率转换方法选取之间的关联性进行了深入研究;Li[61]引入有序加权平均的思想,基于 BPA 得到有序可视图(Ordered Visibility Graph,OVG)给出新的概率转换公式。
概率转换的另一个研究焦点在于如何对概率转换公式进行合理评判,以论证转换的合理性。评判概率转换效果的好坏应分析转换后的概率能否有效表征原有的证据,即转换后的概率向量与原有的证据向量关联度的大小。概率转换公式的评价多采用 Sudano[54]提出的概率信息容量(Probability Information Content,PIC),而PIC本质上是对转换后概率信息熵的归一化。在BPA不确定度度量问题的研究中,多引入信息熵的概念。其中邓勇引入元素的势提出Deng熵[46],将元素本身的不确定度也考虑在内,使得对BPA不确定度的度量更加合理。但是这些熵信息只能反映证据的决策能力,并不能很好地衡量证据之间的关联度和反映概率转换的合理性。许培达[62]等人提出证据关联系数给出最优化转换方法,使转换概率与原证据关联度最大。
1.2.3 证据理论在冲突证据推理与决策中的研究进展
Zadeh给出DS证据理论中的冲突问题实例引发了对冲突证据组合的研究。Yager 认为,导致融合结论不合理的原因主要是组合规则的归一化步骤,他主张不用归一化步骤,而直接将冲突系数赋给识别框架中的未知项[35,36]。由于冲突解决策略不需要正则化过程,因此Yager方法能产生稳健的组合结果。Dubios和Prade[29]指出Yager将冲突系数K的信息完全丢弃过于保守,可以将融合的基本概率赋值赋给冲突焦元的并集。但该方法与Yager方法一样只满足交换律而不满足结合律,而且在融合过程中需要确定一个证据组合顺序。
Smets[30,31]认为,在各个传感器信息都可靠的前提下,冲突主要是由于知识基(knowledge base)不完整造成的,因此提出了开放世界(open world)和封闭世界(closed world)的信息融合环境概念。所谓封闭世界,就是识别框架穷尽了所有可能发生的命题;而开放世界是指由于知识残缺和各种不确定性,识别框架不完整。他指出,Dempster等人的方法都是假定在封闭世界情况下对证据进行融合。在实际应用中,如果传感器信息冲突较大,应该认为是一个开放世界问题,具体的处理方法是将冲突信息分配给空集。Smets将融合和决策分为两层。在credal层采用合取规则(conjunction rule)实现证据的融合;在Pignistic层使用Pignistic概率转换将信度转为概率以进行决策。目前的研究还没有系统地把识别框架不完整性与冲突的表示和处理结合起来。
Lefevre[63]等人提出了一个统一的信度函数组合方法,认为现有的组合规则主要解决如何将冲突重新分配的问题,这一问题又可以分为:(1)冲突应该重新分配给哪些子集;(2)在确定了子集后,冲突应该以什么比例或权重分配给这些子集。从组合规则上来看,Lefevre方法包含了前面Yager、Dubois和Smets等人的方法,DS证据理论也是其特例。
Haenni从工程实践和数学的角度来论证Lefevre及相关作者提出的方法的缺陷,比如当遇到“在模型x上使用方法y获得了一个不合理的结论z”问题时,Lefevre及相关作者认为是方法y有问题,而Haenni则认为实际情况应该是模型x出了问题。Haenni以Smets的TBM为例指出:TBM的开放世界问题正是模型不全面的一个例子。Haenni建议,当证据冲突时应该对证据进行修改,比如将原来的证据m1和m2修改为m1′和m2′,再利用DS组合规则⊕对它们进行融合:m1′⊕m2′;而不是将DS组合规则⊕修改为⊕′后再融合:m1⊕′m2。
Murphy的方法就是一种修改模型而不改变DS组合规则的方法[41],Murphy提出了一种证据平均组合规则。文献[64]在其工作基础上引入证据距离[49],考虑了证据的可靠性并给出确定证据权重的算法,对证据加权平均组合。Elouedi等人也沿用了这个思路,在 TBM 框架下分析了可靠融合的问题[65]。针对Elouedi等人的不足,文献[66]提出了考虑传感器报告动态和静态特性的证据融合方法,改进并推广了Elouedi的工作。
就在学者们就“是采用修改数据模型还是修改组合规则进行冲突处理”的问题进行争论的时候,华裔学者Liu的工作从一个新的角度为问题的解决提供了新思路[67,68]。她在TBM框架下引入了Pignistic概率距离,与冲突系数K一起度量证据体之间的冲突。她认为:经典DS证据理论中所给出的冲突系数是无法有效表示冲突的,有效解决冲突的前提是合理表示冲突。文献[79]在二元组的基础上引入关联系数,但所提出的OWA算子计算各个冲突因素的权重不太精确。如何度量证据之间的冲突程度仍然是一个有待解决的问题。
冲突证据理论的研究还包括以下几个方面。
1)冲突原因分析
当证据高度冲突时,DS 证据理论会产生与直觉相矛盾的错误结果。针对这一缺陷,国内外学者归纳导致冲突的两大主要原因为:识别框架不完整和传感器数据不准确,其中传感器数据不准确的主要原因是传感器本身在物理上失效以及传感器受到干扰[70,71]。Haenni[71]指出,Zadeh悖论不是DS证据理论本身的错误。如何合理表示证据之间的冲突?DS 证据理论何时失效?合理的冲突系数应该满足什么条件?如何凭借冲突系数进行冲突的原因分析?如何进行组合规则的选择?只有区分是哪些原因导致了冲突,才能有的放矢,根据具体情况解决冲突证据的处理和融合。
2)冲突度的度量
当证据高度冲突时,DS 组合规则会产生与常理相悖的结论,关于 DS 证据组合推理理论和应用的研究,可以概括为三类:第一类坚持DS组合规则的乘性策略,通过对冲突信息进行重新分配,对采用乘性策略所得结果进行修正;第二类采用加性策略的组合规则解决冲突证据的合成问题,即首先对冲突证据进行预处理,然后使用DS组合规则;第三类采用乘性策略和加性策略相结合的组合方法,实际上是在乘性策略和加性策略之间的折中。然而这些研究忽视了如何度量证据之间的冲突程度,而这却是冲突处理的一个重要环节[36]。人们通常把冲突系数K当作度量证据之间的冲突参数,但算例表明经典冲突系数K不能很好地度量冲突大小。
3)冲突证据组合规则
冲突证据组合规则研究主要分为以下几类:冲突重新分配法、加性合成法、证据去除法、开放识别框架的研究、DSm理论等新的拓展性理论的研究。