维普资讯 http://www.cqvip.com 第３２卷 第７期 ＶｏＬ３２ ・计算机工程 ２００６年４月 Ａｐｒｉｌ ２００６ ３Ｉｎ ７ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ 人工智能及识别技术－ 文章缩号。１ｏｏ０— ２８（２ｏｏ６）ｏ７—ｏｌ８８—０３ 文献标识码，Ａ 中豳分类号，ＴＰＩ８３ 基于多层前馈神经网络的案例推理系统 李建洋 ，一。郑汉垣２刘慧婷 （１．台肥工业大学计算机网络所，合肥２３０（／０９；２．龙岩学院计算机科学系，龙岩３６４０００） 搞赛：采用基于该神经网络技术的案例推理系统，使用交叉覆盖算法，可以有效地缩减案例的检索时间、减少案例适应性修改、提高推 理效率。实验表明该系统易于设计构建，极大地提升了ＣＢＲ在实际中的应用能力。 关翻：ＣＢＲ；集成系统；前馈神经网络；交叉覆盖算法 Ｃａｓｅ－ｂａｓｅｄ Ｒｅａｓｏｎｏｒ Ｂａｓｅｄ ｏｎ Ｍｕｌｔｉ－ｌａｙｅｒｅｄ Ｆｅｅｄｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ＬＩ Ｊｉａｎｙａｎｇ ，一，ＺＨＥＮＧ Ｈａｎｙｕａｎ ，ＬＩＵ Ｈｕｉｔｉｎｇ’ （１ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｎｅｔｗｏｒｋ，Ｈｅｆｅｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｈｅｆｅｉ ２３０００９ ２，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｌｏｎｇｙａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｌｏｎｇｙａｎ ３６４０００） ［Ａｂｓｔｒａｃｔ｜Ｔｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔｓ ａ ＣＢＲ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｍｕｌｔｉ—ｌａｙｅｒｅｄ ｆｅｅｄｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｎｄ ｉｔｓ ａｌｔｅｒｎａｔｉｖｅ—ｃｏｖｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ，ｗｈｉｃｈ ｃａｎ ｇｒｅａｔｌｙ ｄｅｃｒｅａｓｅ ｔｈｅ ｔｉｍｅ ｔａｋｅｎ ｔｏ ｐｅｒｆｏｒｍ ｅａｓｅ ｒｅｔｒｉｅｖａｌ ａｎｄ ｍａｔｃｈｉｎｇ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ ｔｈｅ ｉｎｔｅｇｒａｔｅｄ ｔｅｃｈｎｏｌｏｇｙ ｃａｎ ｅｆｆｉｃｉｅｎｔｌｙ ｅｎｈａｎｃｅ ｔｈｅ ｓｙｓｔｅｍ ｅｒｐｆｏｒｍａｎｃｅ，ｅｓｐｅｃｉａｌｌｙ ｆｏｒ ｔｈｅ ｌａｎｅ—ｓｃａｌｅ ｃａｓｅ—ｂａｓｅｄ ｒｅａｓｏｎｉｎｇ，ｗｈｉｃｈ ｃａｎ ｆａｃｉｌｉｔａｔｅ ＣＢＲ ｓｙｓｔｅｍ ｄｅｓｉｇｎ ａｎｄ ｐｒｏｍｏｔｅ ｔｈｅ ｃａｐａｃｉｔｙ ｏｆ ａｐｐｌｙｉｎｇ ＣＢＲ ｔｏ ｒｅａｌ—ｗｏｒｌｄ ｐｒｏｂｌｅｍ—ｓｏｌｖｉｎｇ ［Ｋｅｙ ｗｏｒｄｓｌ Ｃａｓｅ－ｂａｓｅｄ ｒｅａｓｏｎｉｎｇ；Ｈｙｂｒｉｄ ｓｙｓｔｅｍ；Ｆｅｅｄｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；Ａｌｔｅｒｎａｔｉｖｅ—ｃｏｖｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ 在过去的１Ｏ多年，基于案例推理技术已经发展成为人工 智能较为成熟的一个分支，它从另一个侧面实现了人类智能， 绕过了“知识获取”这个难题，因此克服了基于规则系统的 一历史案例、并由获得的源案例来指导目标案例求解问题的一 种策略；它一般由检索（Ｒｅｔｒｉｅｖｅ）、复用（Ｒｅｕｓｅ）、修正 （Ｒｅｖｉｓｅ）、学习（Ｒｅｔａｉｎ）４个主过程组成，因此也称为４Ｒ。 些弱点，是一种合理的推理模式，反映了人类思维的流动 性。目前ＣＢＲ已广泛应用于医疗诊断、法律、电路或机械设 其优点有：知识获取客易，推理效率高，不需要模型，有较 强的学习能力，实现简单等。基于案例的系统是作为基于规 计、故障诊断、农业、气象、软件工程等各个领域。在知识 难以获取、目前没有或根本不存在可以通过常规的计算机方 则的系统的替代品而提出的，因为基于规则的系统的建立和 维护非常耗时，而且规则之问相互依赖、在系统增加新知识 时规则库的维护非常复杂 。 虽然ＣＢＲ技术在许多复杂的领域已经被使用并取得了 良好的效果，但是在具体建造ＣＢＲ智能系统时依然有许多问 题需要解决，如求解过程中相似案例的修正非常困难、ＣＢＲ 法来解决的问题，并且已积累了丰富案例的复杂领域中，ＣＢＲ 能够很好地发挥作用…。 有关ＣＢＲ是一种方法学的观点预示着ＣＢＲ是一个混合 系统：“很清楚ＣＢＲ是建造基于知识系统的普遍的方法学， 而不是只能解决某一特定任务的孤立的技术”。这是由它的固 有特性——柔韧性所决定的，也一直是ＣＢＲ的一个主要研究 热点 。 对噪音数据很敏感、案例库会随着学习的进行会无限膨胀 等 ０。因此要建造ＣＢＲ的智能系统，可以尝试一种可以克服 ＣＢＲ上述问题的方法，如使用神经网络来建造系统。 神经网络有许多优点，如擅长处理噪音数据、自适应性 很强、具有并行处理的特性；它与ＣＢＲ之间有着一种自然的 联系，双方都存在着联想记忆、动态存储和自适应性等类似 的特点。ＣＢＲ方法是基于人类形象思维的基本实现方式，从 本质上来说，ＣＢＲ的推理过程，就是模式匹配与分类处理过 程，案例就是思维的形象描述。ＣＢＲ与形象思维的本质联系 有利于ＣＢＲ的形式化和系统实现；同样形象思维与神经网络 基金】，ｌ目：国家自然科学基金资助项目（６０２７３０４３）；安徽省自然科 学基金资助项目（０５０４６０４０２） 多层前馈神经网络是一项新兴神经网络技术，在Ｍ—Ｐ模 型的几何表示的基础上形成的交叉覆盖算法，解决了多年来 一直未解决的作为分类器的多层前馈网络的设计问题，在样 本的分类应用中取得了很好的效果。它不但具有很高的分类 识别率，而且时间与空间的复杂度低，因此可以作为大规模 数据量的分类器 。 ＣＢＲ系统需要保持和管理一组数量较大的案例，时间和 空间的复杂性都是必须仔细考虑的问题，否则有可能出现“案 例库越大，系统性能越弱”的情况。本文期望采用神经网络 技术来解决ＣＢＲ系统案例库规模增长而产生的时间与效率 作者倚介：李建洋（１９６８一），男，副教授、博士生，主研方向：机器 学习，神经网络，智能决策支持系统；郑汉垣，副教授；刘慧婷， 博士生 的难题，实现集成多层前馈神经网络技术的案例推理系统。 １神经网络技术与案例推理 ＣＢＲ是根据目标案例的信息，从源案例库中获得相似的 一收稿日期：２００５—０９－０５ Ｅ－ｍａｉｌ：ｌｉｊｉａｎｙａｎｇＣ＠ｓｉｎａ ｃｏｒｎ ｌ８８一 维普资讯 http://www.cqvip.com 有着紧密的联系ｌ０ Ｊ。 从机器学习的研究角度来分析，就可以更容易找到这二 ２．２领坨疆盖算法 给定样本输入集Ｋ＝｛ ‘， ．．．．， ｍ１，Ｋ依其样本所属的 者之间的联系。ＣＢＲ其实也是实例学习的一种，只是ＣＢＲ 方法使用的案例符号表达更加泛化和丰富，并且使用比ｋＮＮ 更加复杂的综合相似性度量方法；因此ＣＢＲ是更加复杂的实 类别可分为 个子集，Ｋ＝ｆＫＩ， ．．．． ｝。用一组“球形领域” Ｃ （ｉ＝１，２，．．．）来覆盖样本集Ｋ，使得Ｃ 只覆盖Ｋ 中的样本， 而不覆盖 （Ｊ≠ｆ）中的样本。在进行数据的试验过程当中， 采取的覆盖算法具体设计步骤如下 Ｉ： （１）计算所有样本的中心点，然后找出与其最近的那个样本点 ａ ∈Ｋ ，从该点开始覆盖。 例学习过程，更加依赖与统计学、基于知识的推理以及其它 学习方法技术的综合集成。 最近人们已经研究开发了多种在ＣＢＲ系统中应用神经 列络的方法，涉及到在ＣＢＲ系统推理的各个过程中集成应用 神经网络组件。理论上在基于符号描述模型的ＣＢＲ系统中， 可以利用神经网络来提取规则；而在基于定量描述模型的 ＣＢＲ系统中，由于系统更具有柔性，很多数学的以及最优化 （２）求以ａ 为中心的领域ｃ（１ｄｉ），令Ｃ（ｄ）￣Ｋｊ＝日， １２…．， ，岛＝中，以ａ 为圆心的Ｃ（ａ ）对应的权值、阈值按照下面公式处理： （ ）＝Ⅱｍｘ｛（日 ， ｝ 靠 技术可以用于案例相似性尺度与案例适配标准的定义与分 ｄ。（ｆ）＝ｍｉｒ《（ ，曲Ｊ（口 ， ＞ｄ （ ）｝ 析，可以在ＣＢＲ系统中使用更多的神经网络技术。例如基于 ＡＲＴ（自适应共振理论）和ＲＢＦ（径向基函数）的案例检索、 基于相互激活与竞争网络ＩＡＣ的案例推理等，都突出表明了 建造基于神经网络的ＣＢＲ系统能够增强系统的推理性能。 但是上述的应用系统存在一些难以克服的弱点，如系统 的可解释性较差、系统中因神经网络的算法复杂性较高而难 以用于ＣＢＲ知识丰富的大规模案例库系统、系统实现复杂、 实用性较差等。本文通过使用易于构造、易于理解的多层前 馈神经网络，并且采用交叉覆盖算法来有效地降低网络的算 法复杂度，为系统的实际应用打下基础。 ２系统设计与集成模型 ２．１多层前馈神经舟络 交叉覆盖算法是一种构造性的多层前馈神经网络学习算 法，算法采用Ｍ—Ｐ神经元的球面上“领域”表示这个几何意 义，来构造３层权、阈值前馈神经网络模型；首先假定样本 输入向量都落在ｎ＋ｌ维空间的某个超球面Ｓ 上，而神经元的 功能函数与超球面上“球形领域”的特征函数相对应 Ｊ。 当输入样本向量的长度不相等时，则利用变换Ｔ： Ｄ一÷Ｓ ，７１（ ）：（置、／ 二 ），通过扩维的方式将输入样本 向量映射到超球面Ｓ ｎ上。其中，Ｒ≥ｍａ ｆ ｌ１。这样，一个 神经元就对应超球面上的一个“球形领域”。 网络构造如下，分别记各层权、 阈值为 （ （ｆ）【ｆ＝１，２，３）。 第１层：取Ｐ个神经元Ａ‘，Ａ ，．．．Ａ ，＾ 为对应覆盖ｃ（ｉ） 的神经元。覆盖的具体求法见后。ｗ（１）：（ －），ｅｏ） （ ．） 第２层：取同第一层同样个数神经元ＢＩ，Ｂ２…．，Ｂｐ ｆ—ｌ，』＜ｉ ｗ （２）＝｛ｌ，』＝ｉ， （２） ｉ－Ｉ （ｆ＝１，２，．．． Ｐ；Ｊ＝１ ２，．．．，Ｐ） 【 Ｉ０． ＞ｉ 第３层：取Ｔ个神经元Ｃ ，Ｃ ，．．．，Ｃ ，Ｔ为样本类别数， （３）：｛ＬＩ １ｕ： ｏｔｌ￣ｅｒｓ ｕ６ ｝（２）：Ｈ，（ ， ７’； ２，…， ） 这样就町以对一给定的样本输入集Ｋ： ． ：．。．Ｊｍ｝，用 “领域覆盖”将它们分隔开来，从而完成对Ｋ进行符合要求 的分类。 为了降低原有前馈神经网络隐层的复杂度，该网络增加 了一个隐层，从而使输出层的神经元的权系数，由原来的随 样本个数的增加呈指数增加，变成随样本数呈线性增加，算 法复杂度大大降低。 ＾ Ｉｆ）＝ （ｆＪ＋ （０）／２， ： （ｆ） 权值为Ｗ＝（ａ ），阈值为０：（醴１ （３）若Ｄｆ＿Ｊ是Ｄ 的真于集，求Ｄ 重心ｂ，令ａｉ＋ｌ：６，ｉ＝ｉ＋１，返 回步骤（２），直到覆盖的样本数不多于求重心前的样本数。将Ｃｔ所覆 盖的点删除，并且令Ｋ ＝Ｃｔ ｒ、Ｋ ，Ｋ ＝ ／Ｋ ， ＝ ， ，＝ｒ＋１，继续求另一个覆盖 经过这样几步后，能求到一组球形领域覆盖 ” … ， ；并且可以证明，通过这种变换，覆盖领域内的 样本有以下特点： （１）同一覆盖领域内的样本具有相同的类标记，同一覆 盖领域内样本具有很强的相似性。 （２）同一类标记的样本，如果差异较大，不会在同一覆 盖领域内，会形成多个覆盖领域。 （３）相似的样本，如果类别不同，也不可能聚集在同一 覆盖领域。 ２．３熏统集成模型 如图１所示，当待求解的新问题输入后，系统提取其特 征参数，作为输入特征向量，交由神经网络处理。案例库系 统首先采用交叉覆盖算法完成原始覆盖，有效地克服了全体 案例（样本）输入神经网络训练所带来的网络规模过于庞大 的弱点；然后交由多层前馈神经网络完成基于该特征向量的 相关类案例的输出，晟后由ＣＢＲ进行推理求解。 ０． ０ ． ＡＮＮ ｏ 案例厍ｃａｓｅ ｂａｓｅ 圈１集成熏统的结构示意圈 ３系统试验与分析 ３．１ ｊＩｉ统模拟试验 实验采用从ＵＣＩ ｆ：下载的森林覆盖类型的样本数据，主 要的相关信息是：记录数为５８１ Ｏ１２，属性数为５４，类剐数 为７，无未知属性。与一般的分类测试有所不同，由于是模 拟ＣＢＲ系统的推理及学习、案例库的逐渐加大过程，选取数 维普资讯 http://www.cqvip.com 据的原则是：选取前面的数据作为训练样本，后面的数据作 为测试样本，然后针对每一类数据进行测试。 如图２与图３所示，实验中网络训练时间从 ２．０４６ｓ ６９８．３３２ｓ，相应的测试时间从０．２１２ ５ｍｓ￣２．４９０ ３ｍｓ， 相应的识别率（％）为５８．３２，５４．３９，６１．０２，６３．０６，６９．１０，６７．４】， ７４．２７．７６．３９，７９．１７，８０．４７，７９．９６，８１．０３，８１．８９，８１．７３，８２．０１ ８１．４８，８２．０９，８３．１１，８２．９２，８１．２８，８２．４３，８１．６７，８２．３３，８３．２５。 ３．２分析与晨篁 本文将已有的案例库按照案例的某些属性分成若干类， 每一个测试数据就是相似案例的检索推理过程。如图２所示， 在训练集１Ｏ万时测试结果最高才２．５ｍｓ。 一∞日 ∞自 啊２调 夏■试时阀 新知识的不断加入，案例库逐渐增大，也就是实验中训 练数据在增加。如图３所示，当训练数量很少时，分类的准 确率不高；随着训练数量的增大，识别率在逐步提高；最终 稳定地趋向一个值。由于新问题可能是存在案例库中的已解 决问题，因此最，冬样本的识别数量可以是已测得的识别样本 与本次训练数量之和（分类训练样本的记忆能力），因此ＣＢＲ 检索出案例的识别率将大于图３所示的识别率。因此案例的 检索成功率随着知识库的增加而增大，完全符合人们对现实 世界的认识。如何提高试验前期的识别率以及进一步提高中 后期的识别率，是需要进一步研究的内容 啊３识囊】Ｉ‘ 一ｌ９ 一 从实验中可以看出，系统对新问题提取特征向量、输入 案例库中进行分类筛选，由于分类算法耗时较小，并且可以 不占用求解新问题的案例推理时间；同时每一条测试样本的 分类测试时间极短、识别率高。因此可以简单地认为，经过 该系统对新问题分类后，案例推理的时间是原先未分类时推 理时间除以分类数量（如果子案例库均等）；换句话而言，也 就是在同样时间内的案例推理过程中，案例库可以成倍地 扩大。 案例库是ＣＢＲ的系统中的主要知识库，一般来说知识库 越大、知识越丰富，越能体现出系统的智能水平，就可以解 决更多的问题；而且系统在推理过程中更容易找出相同案例 或相似案例；减少修正的次数与时间。因此系统可以有效地 解决因案例库不断扩大所导致的影响ＣＢＲ系统推理能力的 沼泽问题；也避免了目前其它的一些策略（如随机删除法、 实用值度量、ＩＢ３法）直接或间接地案例库的规模，以 牺牲知识库为代价，来换取平衡时间和空间的复杂性的难题； 系统采用高效的交叉覆盖算法，克服其它神经网络方法需要 县∞ 多次迭代、运行速度慢、难以用于海量数据处理等缺点，为 神经网络技术在ＣＢＲ中的实际应用提供了保证。 ４结论 本文提出的集成多层前馈神经网络及其交叉覆盖算法的 ＣＢＲ系统，系统架构清晰，可以组件的形式结合，集成简便， 易于构建。其突出优势就在于：能保持案例库的完整性，并 不仅因检索时间问题对案例库而作的修剪，也就是保证了知 识库的完整；快速而有效地实现分类，保证了方法的实践可 行性，例如文中的对大数量、高维数的数据分类实验；由于 拥有完整的大容量的案例库，推理结果更加有效，并且案例 的适应性修改小，推理效率高。因此，本集成技术可以确保 ＣＢＲ系统的能力保护与效率保护兼顾策略的实现，极大地提 高ＣＢＲ系统的智能化水平。 ｊ．｝考文献 ｌ Ａｈａ Ｄ Ｗ Ｗａｔｓｏｎ Ｉ．Ｃａｓｅ—ｂａｓｅｄ Ｒｅａｓｏｎｉｎｇ Ｒｅｓｅａｒｃｈ ａｎｄ ＤｅｖｅｌｏＰ－ ｍｅｎｔ【Ｃ１．ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＣＣＢＲ’０１．Ｂｅｄｉｍ Ｓｐｒｉｎｇｅｈ ２００１． ２ Ｃｈｅｎ Ｄａｑｉｎｇ．Ｂｕｒｒｅｌｌ Ｐ Ｃａｓｅ—ｂａｓｅｄ Ｒｅａｓｏｎｉｎｇ Ｓｙｓ￣ｍ ａｎｄ Ａｒｔｉｉｆｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ［Ｃ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＣＢＲ’０１．Ｂｅｄｉｍ Ｓｐｒｉｎｇｅ￣ ２ｏｏＩ． ３张铃，张钹，多层前馈神经网络的综合和学习算法［Ｊ】．软件 学报，１９９７，８（４）：２５２ ２５８， ４ Ｐａｔｔｅｒｓｏｎ Ｄ Ｗ Ｇａｌｕｓｈｋａ Ｍ，Ｒｏｏｎｅｙ Ｎ．Ｅｆｆｉｃｉｅｎｔ Ｒｅａｌ Ｔｉｍｅ Ｍａｉｎｔｅｎａｎｃｅ ｏｆ Ｒｅｔｒｉｅｖａｌ Ｋｎｏｗｌｅｄｇｅ ｉｎ Ｃａｓｅ—ｂａｓｅｄ Ｒｅａｓｏｎｉｎｇ［Ｃ］． ＩＣＣＢＲ’０３．Ｓｐｒｉｎｇｅｈ ２００３， ５ Ｌｅａｋｅ Ｄ，Ｗｉｌｓｏｎ Ｄ．Ｃａｓｅ－ｂａｓｅ Ｍａｉｎｔｅｎａｎｃｅ：Ｄｉｍｅｎｓｉｏｎｓ ａｎｄ Ｄｉｒｅｃｔｉｏｎｓ［Ｃ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｏｕｒｔｈ Ｅｕｒｏｐｅａｎ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃａｓｅ－Ｂａｓｅｄ Ｒｅａｓｏｎｉｎｇ．Ｂｅｄｉｍ Ｓｐｒｉｎｇｅｒ，１９９８． ６倪志伟，蔡庆生，贾瑞玉．用神经网络来实现基于范例的推理系 统［Ｊ】．计算机工程，２００２，２８（７），１２—１５． ７张铃，张钹，殷海风．多层前馈网络的交叉覆盖设计算法［Ｊ】 ＿软件学报，１９９９，１０（９）：７３７—７４２． ８张铃．基于核函数的ＳＶＭ机与三层前馈神经网络的关系【Ｊ】．计 算机学报，２００２，２５（７）：６９６—７００．
