并集置信规则库建模、优化与应用

基本理论 　　第1章 置信规则库基本理论 　　1.1 D-S证据理论 　　证据理论是处理不确定性问题的重要理论之一，由哈佛大学 Dempster教授于1976年提出，在进一步发展的集值映射和上、下概率等重要概念的基础上定义了命题的不确定性和未知性，随后又给出了 Dempster规则[1]。Dempster教授的学生 Shafer进一步推广和发展了 D-S证据理论，引入信任函数重新诠释了上、下概率，昀终形成了具有一般普适性和系统化的 D-S证据理论(Dempster-Shafer theory of evidence， D-S theory of evidence)[2]。D-S证据理论满足比贝叶斯概率论更弱的约束条件，采用“区间估计”描述信息的不确定性，进一步明确和区分了信息的“不确定性”和“未知性”。该理论可用于合成多个不确定信息的证据，在精确反映证据融合程度方面表现出了较强的灵活性[3]，广泛应用于基于知识的系统、模式识别、多源信息融合、多准则决策分析和风险分析等领域。 　　在证据理论中，辨识框架(framework of discernment)表示所有可能假设的有限集合，表示为，由 n个相互独立且互补相容的命题构成。2Θ是Θ的幂集，表示辨识框架的所有子集，即。设 A是Θ上的任一子集，若存在映射 m：2Θ→[0，1]并满足.Θ则 m是2Θ上的基本概率赋值函数(basic probability assignment，BPA)，表示该条证据对命题 A的支持程度。证据理论包括两个部分，用来表示决策者在给定证据下假设或命题信念的置信度函数(belief function)与似然函数(plausibility function)，以及 Dempster合成规则。其中，置信度函数给出了子集 A以及 A的子集 B的概率赋值，如式(1.1)；似然函数表示 A可能为真的不确定度量，如式(1.2)。 　　(1.1) 　　(1.2) 　　Dempster合成规则是用来反映证据联合作用的一种规则，通过 D-S证据理论将同一辨识框架下的多个证据合成一个基本概率赋值函数，如式(1.3)： 　　(1.3) 　　通过分析传统概率论方法的不足，姜江[4]总结了提出 D-S证据理论的5个动机。 　　(1)建模认知不确定性的需要。 　　不确定性分为两种类型[5，6]：随机不确定性(aleatory uncertainty)和认知不确定性(epistemic uncertainty)。随机不确定性来源于客观事物内在的本质，只能通过科学方法认识和描述，而不能消除；认知不确定性来源于人对客观世界的无知，随着信息的增加，可以逐渐减少。概率论不能描述无知的情况，随着信息量的增加而消除的不确定性在概率模型里很难表示。 　　(2)处理不完备、不精确信息的需要。 　　无论是在科学研究还是实际生活中，来自不同信息源的定性/定量、主观/客观信息都时时刻刻存在，这类信息往往存在信息缺失或模糊不准确的特征，因此具有较强的不确定性。这就需要一个普适性的一般理论框架来描述和处理各种不精确的信息。 　　(3)构造性解释的需要。 　　经典概率论有三种解释：客观解释(频率解释)、个人主义解释(主观解释或贝叶斯解释)、必要性解释(逻辑主义解释)。但这三种解释实际上都要求给出一个命题为真的概率，则这三种解释都是“非黑即白”的。客观解释和必要性解释赋予概率以客观属性，但是却忽视了人的作用；个人主义解释认为概率是人的偏好，但这又忽视了证据的作用。 　　Shafer指出，对于概率推断的理解，不仅要强调证据的客观性也要强调证据估计的主观性。因此可以在客观证据的基础上给出“构造性解释”：概率是某人在证据的基础上构造出的对一命题为真的信任程度，即为“置信度”。 　　(4)描述信念的需要。 　　概率论中对于信念的描述是单一的，只要在概率论框架之内，均要求以一个[0，1]区间内的数值去表示信念。这本身就是十分不精确的，尤其是在涉及多个专家的情况下，如何综合集成多位专家的意见也是概率论框架中的一个难点。 　　(5)克服概率不足的需要。 　　概率不足问题主要体现在以下4个方面。 　　①假设有 K个专家对命题 A给出 K个测度。要集成 K个专家的意见为一个统一的意见 P，概率论的方法是向这 K个专家赋权，那么无论怎么选择 wi，总有。 　　假如对某一命题，两个专家分别给出认为其为真的概率是80%和90%，从概率论的角度计算，如果为甲乙二人赋予相同的权重，那么可以得到该命题为真的概率为85%；如果为二人赋予不同的权重，则昀终得到的命题为真的概率也将介于80%和90%之间。但是从常理出发，由于二人都肯定了该命题为真(给出的概率较高)，那么应当认为该命题为真的概率大于二者给出概率的昀大值(90%)，这才应当是合理的结果。显然，根据概率论计算的结果与常理相悖。 　　②根据概率论中的独立事件可加性原则，可以得到推论：一个命题与其逆命题的概率之和为1，即。基于该推论，在一些情况下会推导出荒谬的结论，比如只要某命题为真的概率是 p，那么该命题为假的概率是1.p，这在多数情况下是不能接受的。 　　③概率的三种解释都满足可加性，即，则。根据可加性，如果一个命题为真的概率，为 s，那么必须以(1.s)的概率去相信该命题的逆命题。基于该准则，在一些情况下也会推导出荒谬的结论。 　　④概率论在对待完全无信息的情况时，认为该命题为真与假的概率各是一半，这在一定情况下是合理的，如抛硬币的例子，一枚硬币自由落下，在没有任何信息的情况下，一枚硬币正面朝上为真的概率等于其正面朝上为假的概率。但是在更多的时候，也会推理出荒谬的结论。例如，法国数学家拉普拉斯(Laplace)曾基于此计算出“明天太阳升起的概率居然是1/1826214”。 　　相比于传统的概率论理论，证据理论的改进主要体现在以下三个方面： 　　(1)证据理论可以更好地表示不确定条件下的多种信息，尤其是对不完备信息的表示更加明确、合理； 　　(2)基于Dempster合成规则，证据理论可以处理传统概率论框架内不便处理的不同概率函数； 　　(3)与传统概率论相比，证据理论关于不确定性的观点是不同的， D-S证据理论将不确定性视为主体基于证据的认识(即对某种结论的一种信念，为本书中所称的“置信度”)，而概率论认为不确定性是固有的，证据的作用仅仅是修改对于事件不确定性的估计。 　　证据理论提出至今，逐渐得到国际学术界的认可，已经取得了丰硕的研究成果，并广泛应用于人工智能、检测诊断、不确定决策等多个领域。2008年 Yager和 Liu[7] 　　收集整理了证据理论研究中有代表性的29篇论文，对 D-S证据理论进行了比较全面地介绍和总结。 　　国际上关于 D-S证据理论的文献涉及众多领域， Den.ux和 Masson[8]讨论了证据理论在大偏序集中的应用； Yager[9]讨论了证据理论中非单调信息的处理情况； Beynon等[10]提出了一种基于 D-S证据理论的多准则决策模型， Masson和 Den.ux[11]讨论了置信度函数框架中成组对称信息的排序问题； Ramasso和 Den.ux[12]提出了基于置信度函数求解隐马尔可夫模型(hidden Markov model，HMM)问题的方法， Dubois和 Prade[13]提出了非正规化析取规则； Jousselme等[14]对证据理论中规则之间的距离进行了充分地研究。 　　国内也已经有多个研究机构和学者进行有关证据理论方面的研究工作，每年都有多篇学位论文采用证据理论方法来解决多个领域问题，如航天器故障诊断、科研基金立项、风险评估、海事管理、多传感器信息融合、移动机器人定位、矿井突水预测等。 　　1.2 证据推理方法 　　曼彻斯特大学的 Yang教授等提出了证据推理方法——RIMER(belief rule-based inference methodology using evidential reasoning)[15]，其是一种较好地处理不确定条件下多种类型信息的方法。该方法已经成功应用于多个实际应用领域，并体现出较强的优势。 　　在传统 D-S证据理论的基础上，证据推理方法采用置信结构(belief structure， BS)模型描述不确定性，可以更加有效地建模多种类型的不确定信息，尤其是不完备信息。证据推理方法主要包括两部分，置信规则库(belief rule base，BRB)和证据推理(evidential reasoning，ER)算法。置信规则库以 IF-THEN规则为基本形式来表示、融合、转换不确定条件下的多种类型信息，包括定性定量信息、语义数字信息、完备或不完备信息等；证据推理算法集成具有同样置信结构的规则。总的来说，置信规则库是证据推理方法中的专家系统和知识库，用来表达和描述不同类型的信息，并将其转换为统一置信结构下的规则；而证据推理算法是一种集成算法，用来集成置信规则库中的激活规则，并以同样置信结构的形式输出昀终结果。 　　目前证据推理方法已经成功应用到多个领域，大致可以分为理论研究和实际应用两个方向：理论研究又可以分为有关证据推理方法自身的理论研究，如输入为区间型数据的置信结构集成问题、置信规则库约简方法、变权的证据推理算法等，和证据推理方法与其他相关方法的综合集成，如与正负理想点法、数据包络分析方法等的综合集成研究；实际应用问题则根据不同问题特点有不同特征，如风险评估、故障预测、群决策、军事能力评估等。 　　这里着重介绍有关置信规则库理论研究方面的部分研究成果： Chen等[16]提出了一种适应性置信规则库学习方法； Zhou[17]使用隐马尔可夫链来建模环境变量与观测变量之间的关系，提出一种参数学习方法；姜江[4]将条件置信规则与置信规则库模型结合起来，提出了证据网络(evidential network，EN)的概念，并提出了证据网络的参数学习方法； Tsai等[18]提出了一种规则挖掘的算法，并应用于病情诊断中，验证了其提出方法的有效性。规则约简[19]主要是评估置信规则库中的规则是否应该仍然保留于置信规则库之中，大约有40种方法可以用于规则约简[20]；Suzuki[21]总结，没有一种方法是完全通用的，具体选择哪一种方法或技术手段应当依据具体的情况而定。针对实际系统为基础的置信规则库，已经有了许多与其结构学习相关的研究。Yang等[22]在2007年首先提出了以优化模型为基础的通用置信规则库学习框架；Xu等[23]也提出了一种置信规则库的训练方法，并应用在了燃油管道泄露检测问题上。 Zhou等[24]认为，上述优化方法都是离线的，且都是局部昀优的，不能用于动态背景下，因此，提出了在线更新置信规则库的方法，该在线更新方法不需要构建完全的置信规则库，且可以更好地融合专家知识。在证据推理方法框架下，Zhou等[25]提出了“统计效用”的概念来进行置信规则库的参数学习，通过使用“统计效用”来筛选置信规则库中的规则。 Chen等[26]提出了一个更加一般化的学习和推理框架。 　　目前国内从事与证据推理相关的研究的主要团队来自于多所大学，主要包括合肥工业大学、清华大学、北京大学、福州大学、华中科技大学、火箭军工程大学、西北工业大学、武汉理工大学、昆明理工大学、国防科技大学、杭州电子科技大学、长春工业大学、海南师范大学等。国内也有众多研究者将证据推理作为其研究内容，在多篇博士论文中都进行了深入的讨论。 　　1.3 置信规则库构造、推理及集成算法 　　1.3.1 置信规则库构造 　　按照准则 ci对方案 ak进行评估，假设评估结果分为 N个等级不失一般性假设，评估结果； 　　，且满足，表示方案 ak被评为 Hn的置信度n=1为，，称为置