Adaptive Evolutionary Artificial Neural Networks for Pattern Classification
自适应进化人工神经网络模式分类
Abstract—This paper presents a new evolutionary approach called the hybrid evolutionary artificial neural network (HEANN) for simultaneously evolving an artificial neural networks (ANNs) topology and weights. Evolutionary algorithms (EAs) with strong global search capabilities are likely to provide the most promising region. However, they are less efficient in fine-tuning the search space locally. HEANN emphasizes the balancing of the global search and local search for the evolutionary process by adapting the mutation probability and the step size of the weight perturbation. This is distinguishable from most previous studies that incorporate EA to search for network topology and gradient learning for weight updating. Four benchmark functions were used to test the evolutionary framework of HEANN. In addition, HEANN was tested on seven classification benchmark problems from the UCI machine learning repository. Experimental results show the superior performance of HEANN in fine-tuning the network complexity within a small number of generations while preserving the generalization capability compared with other algorithms.
摘要——这片文章提出了一种新的进化方法称为混合进化人工神经网络(HEANN),同时提出进化人工神经网络(ANNs)拓扑结构和权重。进化算法(EAs)具有较强的全局搜索能力且很可能指向最有前途的领域。然而,在搜索空间局部微调时，他们效率较低。HEANN强调全局搜索的平衡和局部搜索的进化过程，通过调整变异概率和步长扰动的权值。这是区别于大多数以前的研究，那些研究整合EA来搜索网络拓扑和梯度学习来进行权值更新。四个基准函数被用来测试的HEANN进化框架。此外,HEANN测试了七个分类基准问题的UCI机器学习库。实验结果表明在少数几代算法中，HEANN在微调网络复杂性的性能是优越的。同时，他还保留了相对于其他算法的泛化性能。
I. INTRODUCTION
Artificial neural networks (ANNs) have emerged as a powerful tool for pattern classification [1], [2]. The optimization of ANN topology and connection weights training are often treated separately. Such a divide-and-conquer approach gives rise to an imprecise evaluation of the selected topology of ANNs. In fact, these two tasks are interdependent and should be addressed simultaneously to achieve optimum results.
人工神经网络(ANNs)已经成为一种强大的工具被用于模式分类[1],[2]。ANN 拓扑优化和连接权重训练经常被单独处理。这样一个分治算法产生一个不精确的评价选择的神经网络拓扑结构。事实上,这两个任务都是相互依存的且应当同时解决以达到最佳结果。
One of the key tasks of pattern classification is designing a compact and well-generalized ANN topology. Choosing an appropriate ANN topology for specific problems is critical for ANN generalization because of the strong correlation between the information processing capability and the ANN topology. An excessively small network size suggests that the problem cannot be learned well, whereas an excessively large network size will lead to over-fitting and poor generalization performance. Time-consuming trial-and-error approaches and hill-climbing constructive or pruning algorithms [3]–[7] used to design an ANN architecture for a given task only explore small architectural subsets and tend to be stopped at structural local optima. The cascaded-correlation neural network [8] is a popular constructive algorithm used to construct ANN topologies that have multiple layers. New hidden nodes are added one by one and are connected with every existing hidden node in the current network. Thus, the network can be seen as having multiple one-unit layers that form a cascade structure. However, the network is prone to structural local optima because of its constructive behavior. Designing an ANN topology using evolutionary algorithms (EAs) has become a popular method to overcome the drawbacks of the constructive or pruning approaches [9]–[13]. EAs, which have a strong global search capability, can effectively search thr ough the near-complete class of ANN topologies.
一个模式分类的关键任务是设计一个紧凑和广义ANN拓扑。为特定的问题选择一个适当的ANN拓扑是至关重要的，由于ANN泛化相关性信息处理能力和ANN拓扑的强关联能力。过度的小型网络的大小表明问题不能学得很好,而一个特别大的网络规模将导致过度学习和差的推广性能。耗时的实验训练方法和爬山建设性或修剪算法[3]-[7]用于设计一个ANN架构，对于一个给定的任务只有探索小型建筑子集，或往往是停在结构局部最优解。相关的神经网络是一个流行的[8]建设性算法而用于构造有多个维层的ANN拓扑。新的隐藏节点一个接一个的被添加进来且都与每一个现有的隐藏节点在当前的网络连接。因此,网络可以被视为拥有多个可以形成一个级联结构的集中度值层。然而,网络是倾向于结构局部最优解由于它具有建设性的行为。设计一个ANN拓扑使用进化算法(EAs)已经成为一种流行的方法来克服建设性或修剪方法[9]-[13]的缺点。它有很强的全局搜索能力,可以有效地搜索通过接近完整的ANN拓扑类。
Much work has been devoted to the evolution of ANN topologies. Two major approaches to evolving ANN topologies reported in the literature are the evolution of ANN topology without weights and the simultaneous evolution of both topology and weights. For the evolution of an ANN topology without weights, the ANN topology has to be trained from a random set of initial weights to evaluate its fitness. Yao and Liu [11] noted that this fitness evaluation method is very noisy because a phenotype’s fitness is used to represent the genotype’s fitness. Although the fitness of the evolved ANN topology can be estimated by using average results of multiple runs from different sets of random initial weights, the computational time for fitness evaluation is increased dramatically. Thus, only small ANN topologies are evolved in [14] and [15].
许多工作已经致力于进化神经网络ANN拓扑结构。两个主要的方法来发展ANN拓扑的文献报告是没有重权值和ANN拓扑同步进化的两个拓扑和权重。演化的一个无权值得ANN拓扑,必须从一组随机的初始权重训练评估其适应性。姚和刘[11]指出,这个适应性评价方法很嘈杂因为一个显性型的适应性是用来代表隐形型的适应性。虽然的进化ANN拓扑的适应性可以通过运行多个不同的随机初始权重而得到的平均结果来估计,为适应性计算评价时间是急剧增加。因此,只有小ANN拓扑在[14]和[15]中被演化。
For the simultaneous evolution of both ANN topology and weights, the information about ANN topology and weight is encoded in each individual. Thus, the noisy fitness evaluation problem can be alleviated. One prominent work called EPNet and introduced by Yao and Liu [11] is an example of the simultaneous evolution of both ANN topology and weights. Yao and Liu used hybrid training to evolve the ANN weights. Gradient learning and simulated annealing are both incorporated into the evolutionary process to evolve the ANN weights. Similarly, Martínez-Estudillo et al. [16] used a gradient learning method to evolve the weights of the best individual ANN in each cluster of the population. They used a clustering algorithm to partition the individuals in the population into several clusters that belong to the same region of attraction. However, the use of a gradient learning method such as a backpropagation algorithm to evolve ANN weights causes noisy fitness evaluation because of the high sensitivity of the backpropagation algorithm to the initial weights. Palmes et al. [12] used mutation-based EA to address this issue in an evolutionary ANN. Other works have also focused on the simultaneous evolution of ANN topology and weights. Ang et al. [13] introduced growth probability to allow the network to evolve to a suitable size. Angeline et al. [9] used parametric mutations and structural mutations to evolve ANN weights, hidden nodes and networks links. Jian and Yugeng [10] used evolutionary programming (EP) to evolve the architecture and weights of feedforward neural networks and recurrent neural network. Leung et al. [17] proposed an improved genetic algorithm to evolve the structure and parameters of neural networks. Gutiérrez et al. [18] used simulated annealing to control the parametric mutation and five structural mutations to evolve the radial basis function (RBF) neural networks. All of these previous works were intended to produce a compact and well generalized ANN.
同时进化的ANN拓扑和权重,权重信息拓扑和编码在每个个体是独立的。因此嘈杂的适应性评价问题可以被缓解。一个突出的工作称为EPNet被姚和刘[11]引入，那是一个同时进化ANN拓扑和权重例子。姚和刘用混合训练来进化ANN 权重测试。梯度学习和模拟退火都纳入进化过程演变的ANN权重。Martínez-Estudillo等人在最好的独立ANN下使用梯度学习方法演变权重。他们用聚类算法划分的个体在总数中分成几个属于同一区域的吸引力集群。然而,由于灵敏度高的反向传播算法对初始权重，使用梯度学习方法如反向传播算法进化ANN权重引起噪声适应性评价。Palmes et al[12]使用基于突变EA在一个进化的ANN下解决这个问题。其他作品也集中在同步进化的ANN拓扑和权重。Anget al[13]介绍增长概率允许网络演变到合适的大小。Angeline et al[9]使用参数突变
和结构性突变进化安重量、隐藏节点和网络链接。Jian和Yugeng[10]用进化规划(EP)进化体系结构和前馈神经网络的权重和递归神经网络。Liang et al[17]提出了一种改进遗传算法的进化神经网络的结构和参数。Gutiérre z et al。[18]使用模拟退火控制参数突变和五个结构突变进化径向基函数(RBF)神经网络。所有这些以前作品的目的是产生一个紧凑和广义的ANN。
Typically, the topology of an ANN can be encoded into a chromosome using a direct encoding scheme or an indirect encoding scheme. In the direct encoding scheme, all of the ANN topology is encoded directly into a chromosome by using a binary representation that indicates the existence of network connections and hidden nodes. The indirect encoding scheme only encodes some important parameters of an ANN topology, such as the number of hidden layers and hidden nodes. Other details about the ANN topology are predefined or specified by a set of deterministic developmental rules [19]. The direct encoding scheme is easy to implement and suitable for the precise and fine-tuned search. Although the indirect encoding scheme can reduce the length of chromosome, it may not be appropriate for finding a compact ANN with good generalization ability [19]. In this paper, a direct encoding scheme is used to represent the ANN topology.
通常,拓扑的一个ANN可以编码到一个染色体编码方案来使用直接或间接编码方案。在直接编码方案中,所有的ANN拓扑编码直接进入一个染色体，这是通过使用二进制表示，而这表明存在网络连接和隐藏的节点。间接编码方案只有编码的一些重要参数的一个ANN拓扑,如数量的隐藏层和隐藏的节点。其他细节ANN拓扑是预定义的或指定的一组确定的发展规则[19]。直接编码方案易于实现,适合于精确的搜索。尽管间接编码方案可以减少染色体的长度,它可能不适合找一个紧凑的具有良好的泛化能力的ANN[19]。在本文中,一个直接编码方案是用来代表ANN拓扑。
Evolution of the ANN topology and weights can help to alleviate the problem of noisy evaluation. However, relying solely on the EA to evolve the ANNs is rather inefficient in performing a local search. Further training using conventional gradient descent methods after the evolution can be a simple approach to fine-tune a network. Considered the situation of premature convergence in the evolutionary process, the ANN found after further training may not be optimum. Other attempts such as the use of the annealing temperature to guide the weight perturbation step size [9] and scheduling of the mutation probability [12] of an individual network in the population can be considered preliminary guides toward a local search, but no distinct direction has been provided. Hence, the EA should be guided properly to maintain the balance between the exploration of the entire search space and the exploitation of important regions.
进化的ANN拓扑和权重可以帮助缓解此问题的嘈杂的评价。然而,仅仅依靠EA来进化神经网络是相当低效执行本地搜索。进一步训练使用传统的梯度下降方法进化后可以是一个简单的方法来调整网络。认为情势的过早收敛在进化过程中,ANN发现经过进一步培训可能不是最优的。其他方法如使用退火温度指导重量扰动步长[9]和调度的突变概率[12]的个人网络的种群可以被认为是初步指南
向本地搜索,但没有不同的方向已经被提供。因此,EA 应该引导正确维持两者之间的平衡整个搜索空间的探索和开发的重要区域。
Motivated by the importance of balancing the global and local search in the evolutionary process and concurrent evolution of the ANN topology and weights, this paper presents a new evolutionary approach called the hybrid evolutionary artificial neural network (HEANN) that simultaneously evolves ANN topology and weights. Moreover, HEANN demonstrates a balance between global search and local search by introducing a novel adaptive mutation technique in the evolutionary process.
出于平衡的重要性，在进化过程和同步进化的ANN 拓扑和权重下的全局和本地搜索,本文提出了一种新的进化方法称为混合进化人工神经网络(HEANN)，同时发展ANN 拓扑和权重。此外,HEANN 演示了一个平衡的全局搜索和局部搜索通过引入一个在演化工程中产生新颖的自适应变异技术。
Fig. 1.Arbitrarily connected feedforward neural network.
Instead of using the conventional schedule method to reduce the mutation probability or step size over time, HEANN uses the information from the population to guide the evolutionary process to shift gradually from a global search to local search. First, the generalization loss (GL) in the population is used to adapt the mutation probability and step size of the entire population. Second, the fitness value of each individual in the population is used to determine the severity of the mutation in a given individual in the population. 而不是使用传统的方法来降低突变概率或步长大小,HEANN 使用信息从种群引H H
O O I Y N o
I I I N i 1
3
2
Y 1
H = Hidden nodes
I = Inp u t nodes
N i
+ 1 N i + N h N i + N h + 1 N i + N h + N o …
… … …
导进化过程将逐渐向全局搜索到本地搜索过渡。首先,概括损失(GL)在种群是用来适应变异概率和步长。第二，适应性价值的每个个体的种群是用来确定突变的严重性，在给定个体的种群。
In this paper, there are two main factors to be optimized: the network topology and the generalization capability. A popular method for optimizing two or more objectives is based on Pareto dominance [20]–[22]. However, the computational cost for finding and estimating the fitness of each Pareto front is increased when there is an increase in the number of objectives to be optimized [21]. Another popular approach is based on scalarized multiobjective learning [10], [12], [20], which aggregates several objectives into a scalar cost function. In this case, the approach assumes the convexity of the Pareto frontier. This approach is used in current implementation.
在本文中,主要有两个因素：网络拓扑优化和进化能力。一种很流行的方法,优化两个或两个以上的目标是基于Pareto优势[20]-[22]。然而,查找和估算Pareto 适应度的计算成本会增，当优化目标数量增加时[21]。另一个流行的方法是基于多目标学习[10],[12]、[20],它聚合了几个目标变成一个标量成本函数。在这种情况下,该方法假设凸性的Pareto。这种方法是用在当前的实现。
The rest of this paper is organized as follo ws. Section II describes HEANN and each component in detail. Section III analyzes the effects of the proposed adaptive mutation technique on the ANN topology (adding or deleting nodes, connections) and how this technique balances the global and local search of the evolutionary process. Section IV shows the results of this new adaptive evolutionary framework for four benchmark functions. Section V contains the experimental results of HEANN. Section VI presents the discussion of results. Finally, Section VII concludes the work of this paper.
其余的部分组织如下：第二部分详细的描述了HEANN和每个成分。第三部分分析了所提出的自适应变异技术在ANN拓扑(添加或删除节点,连接)下的影响,这种技术平衡全局和局部搜索的进化过程。第四节显示了结果的新的自适应进化框架四个基准函数。第五部分包含实验结果的HEANN。第六节提出了讨论结果。最后,第七节总结了本文的工作。
II. CONCLUSION
This paper described a new approach for simultaneously evolving ANN topology and weights. To address the weakness of EAs in finely tuning ANNs, HEANN uses an adaptive mutation strategy to refine the local search capability in the design of ANNs. GL and fitness value are considered to aid the mutation adaption in the evolutionary process. Furthermore, the global and local mutation strategies of HEANN are analytically studied.
本文描述了一种新的方法来同时进化ANN拓扑和权重。解决的弱点在精细调谐ANN EAs,HEANN使用一种自适应变异策略来改进本地搜索功能在设计神经网络方面。GL和适应性价值被认为在演化过程下帮助了突变适应。此外,全局和局部的突变策略的分析研究HEANN。
HEA was first tested on four benchmark functions to demonstrate the improvement of local search capability and the ability to escape from local
minima. The experimental results show that HEA performs better than conventional EA. Next, HEANN was tested on seven real-world classification problems. Overall, the results from experiments show the superiority of HEANN in various aspects compared with other algorithms. Very compact ANNs can be produced by HEANN with the adaptive mutation strategy. Moreover, HEANN requires fewer generations to achieve good results. The only drawback of HEANN is that it has many userspecified parameters. However, HEANN is not very sensitive to these parameters. The results of the different mutation parameters test show that HEANN is not very sensitive to these parameters, however, these values should not be too low.
首次测试是针对基准函数来证明提高局部搜索能力和能够摆脱局部极值的能力。实验结果表明，HEA比传统的EA好。HEANN是用来测试七真是世界分类问题。总的来说，实验结果显示了在各方面的优越性HEANN，相比其他算法。非常聚合的人工神经网络可以由HEANN产生与其自适应变异策略。此外,HEANN需要更少的后代能达到良好的结果。唯一的缺点是，它有很多可以由用户定义的HEANN参数。然而，HEANN对这些参数不是很敏感。不同的突变测试参数结果表明，HEANN不是很敏感对于这些参数，但他的这些价值不应过低的被估计。
Without the use of gradient learning, which requires intensive computation in the evolutionary process, the use of a larger population size is feasible in HEANN. The final population definitely contains more information than a single ANN. Thus, it would be challenging to formulate the adaptive mutation strategy to be suitable for evolving neural network ensembles in future work, particularly when several subpopulations are cooperating to solve a specific problem.
如果没有需要在进化过程中集中计算的梯度学习而使用一个更大的种群规模也是可行的。最终的种群肯定包含更多的信息比单独的一个ANN。因此,这将是非常具有挑战性的自适应变异策略在制定合适的进化神经网络系统，特别是当几个种群在合作解决特殊问题。
阅读报告总结：
本文的主要提出了一种混合型的人工神经网络，这个神经网络是基于一个紧凑而广义的ANN拓扑结构和权重的图，在每次对样本进行训练的过程中，应用了不少优化的算法和技术，如遗传算法、退火技术等，目的是产生一个自适应型较高的人工神经网络模式分类器。文章详细的描述了HEANN和每个成分，分析了自适应变异技术在ANN拓扑下的影响，这种技术平衡了全局和局部的搜索进化过程。
在人工智能及其应用这门课中，我们学过人工神经网络，学过遗传算法。人工神经网络的结果是由基本处理单元及其互连方法决定的，它需要有权重和阈值对每个神经元进行划分。人工神经网络的主要学习方法有有师学习，无师学习，强化学习。在这篇文章中，虽然简略的提到了机器学习，但是为了提高ANN的自适应性，一定是有多重学习方法在系统中加以实现。另外，遗传算法中学到了编码、适应度函数、遗传操作。在遗传操作中有选择、交叉、变异三种。为了达
到全局和局部的自适应性都较高，让整个系统得到最优解，在文章中应用到了交叉和变异的方法。这是一种随机性的算法，让训练样本通过ANN拓扑网络，不断对结果继续重新输入到网络中去，经过不断的变异和进化得到一代又一代的解。最终在小范围的几代中，文章说效果很好。
这篇文章是综合了“人工智能及其应用”，“模式识别”，“算法导论”等多门我们智能专业所学的课程。纵观整个文章，了解到了我们所学课程之间的内在联系。给我学好专业课有极大的驱动。
第一章 1、3 什么就是人工智能？它的研究目标就是什么？ 人工智能(Artificial Intelligence),英文缩写为AI。它就是研究、开发用于模拟、延伸与扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 研究目标:人工智能就是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理与专家系统等。 1、7 人工智能有哪几个主要学派？各自的特点就是什么？ 主要学派:符号主义,联结主义与行为主义。 1.符号主义:认为人类智能的基本单元就是符号,认识过程就就是符号表示下的符号计算, 从而思维就就是符号计算; 2.联结主义:认为人类智能的基本单元就是神经元,认识过程就是由神经元构成的网络的信 息传递,这种传递就是并行分布进行的。 3.行为主义:认为,人工智能起源于控制论,提出智能取决于感知与行动,取决于对外界复 杂环境的适应,它不需要只就是,不需要表示,不需要推理。 1、8 人工智能有哪些主要研究与应用领域？其中有哪些就是新的研究热点？ 1、研究领域:问题求解,逻辑推理与定理证明,自然语言理解,自动程序设计,专家系统,机器 学习,神经网络,机器人学,数据挖掘与知识发现,人工生命,系统与语言工具。 2、研究热点:专家系统,机器学习,神经网络,分布式人工智能与Agent,数据挖掘与知识发 现。 第二章 2、8 用谓词逻辑知识表示方法表示如下知识: (1)有人喜欢梅花,有人喜欢菊花,有人既喜欢梅花又喜欢菊花。 三步走:定义谓词,定义个体域,谓词表示 定义谓词 P(x):x就是人
附录 About Modenr Industrial Manipulayor Robot is a type of mechantronics equipment which synthesizes the last research achievement of engine and precision engine, micro-electronics and computer, automation control and drive, sensor and message dispose and artificial intelligence and so on. With the development of economic and the demand for automation control, robot technology is developed quickly and all types of the robots products are come into being. The practicality use of robot not only solves the problems which are difficult to operate for human being, but also advances the industrial automation program. Modern industrial robots are true marvels of engineering. A robot the size of a person can easily carry a load over one hundred pounds and move it very quickly with a repeatability of 0.006inches. Furthermore these robots can do that 24hours a day for years on end with no failures whatsoever. Though they are reprogrammable, in many applications they are programmed once and then repeat that exact same task for years. At present, the research and development of robot involves several kinds of technology and the robot system configuration is so complex that the cost at large is high which to a certain extent limit the robot abroad use. To development economic practicality and high reliability robot system will be value to robot social application and economy development. With he rapid progress with the control economy and expanding of the modern cities, the let of sewage is increasing quickly; with the development of modern technology and the enhancement of consciousness about environment reserve, more and more people realized
2、产生式系统有哪些类型？ 1正向、逆向、双向产生式系统 2可交换的产生式系统 3可分解的产生式系统 3、试举例说明不可撤|口|搜索方法的基本思想？ 这种方法相当于沿着单独一条路搜索下去，利用问题给出的局部知识决定如何选取规则, 就是说根据当前可靠的局部知识选一条可应用规则并作用于当前综合数据库。接着再根据新状态继续选取规则，搜索过程一直进行，不必考虑撤回用过的规则。 9、试说明产生式系统规则不一致的原因及解决方法。 原因：规则集中存在的不一致是影响系统性能的重要因素之一。系统建立初期，由于规则集较小，内容也比较简单，设计人员能对每一条规则的条件和结论部分反复推敲和精心构造，这类问题容易防止。但随着时间的推移，新的规则不断加入，规则集合越来越大，内容也越来越丰富，这时规则间的相互影响和相互联系就随之变得复杂。在此情况下，规则的不一致就将自然产生， 解决：(1) 对于循环规则，可构造规则集的IF-THEN图，从起始规则的条件部分开始搜索，如果搜索过程中遇到的THEN部分已在前面出现，就可以中断搜索，规则集中包含的循环规则子集合需设计人员检查，解决； (2)对于冲突规则，构造IF-IF表，对规则集内有相同的IF规则子句构造规则树，形成推理图。同时建立THEN-THEN表用以判断是否有冲突规则出现。对相同IF部分的规则继续用它的各自THEN部分作为其它可以匹配的IF前提条件，递归地构造，如发现两个推理图上分别有节点在THEN-THEN表上是矛盾的，则检测出冲突规则，人工予以解决。 (3)对冗余规则和从属规则的检查类似于冲突规则链的方法.不同之处是前者在推理图中的遍历是试图发现有THEN部分等价的两条规则。 1、机器翻译主要有娜些方法？这些方法各有什么特点？ 1基于分析和转换的机器翻译方法 这样的方法有两个特点：一是面向源语言分析，因为源语言中的一个句子已经由句法、语义分析等阶段分析完毕，生成了关于源语言句子的某种中间表示，转换以这种源语言中间表示作为输入；二是直接转换，即对于S表示，直接给出译文形式，一般不需要在目标语言内再作进一步转换，Tl~Tj可以直接包括目标语言的词汇，也可以是对应于Sl~Si的译文组块。 2基于中间语言的翻译方法 基于中间语言的机器翻译方法主要有两个优点。首先，独立的中间表示形式为多语种之间的互译的实现提供了一种经济有效的途径。假设要对N种语言进行互译，则有N*(N.1)个语言对。不同方向的翻译是不同的语言对。此时如果采用基于转换的方法，因为把一种语言翻译成另一种语言都需要一个不同的转换机制(或模块)，所以N火(N?l)个语言对共需要N*(N-1)个独立的转换机制。而采用中间语言的方法，由于对每一种语言只需实现将该种语言翻译成中间语言和把中间语言翻译成该种语言的目标语言这样两个模块，所以总共只需要2N个模块。其次，中间语言不仅是对基于中间语言的机器翻译方法这一特定目的有意义, 同时，作为一种通用的自然语言表示，也值得深入研究。 4.1.3基于统计的机器翻译方法 基于统计的机器翻译方法，一般不要任何语言学知识，它的基木原理是实现源语言词汇到目标语言浏汇的映射。其思路受到语音识别研究的启发，因而应用了类似的方法来实现。研究者用
内蒙古科技大学2012/2013 学年第一学期《人工智能》大作业 课程号：67111317 考试方式：大作业 任课教师：陈淋艳 使用专业、年级 班级： 学号： 姓名：
一、（15分）智能、智力、能力的含义是什么？什么 是人工智能？人类研究人工智能的最终目标是什 么？ 二、（15分）传教士与野人问题：有三个传教士和三 个野人来到河边，河边只有一条一次最多可供两 个人过河的小船，传教士如何用这条小船过河才 能使河两边的野人数目决不会超过传教士的数 目？ 指定状态描述的格式，开始状态和目标状态；画出状态空间图。 （只要画出河两边野人数目不会超过传教士数目的状态即可）。 三、(10分)用谓词公式表示下列语句：因为老百姓授法 律管制，所以晁盖劫了生辰纲，触犯了宋王朝的 法律，受到官府追究；而达官贵人和恶少不受法 律管制，所以高衙内强抢民女，虽然也违法，却 可以横行无忌。 四、(20分)什么是演绎推理？他的推理规则是什么？
试用谓词演算语句集合表示下面这段话；并用归 结反演的方法回答下列问题： 设TONY，|MIKE和JOHN属于ALPINE俱乐部， ALPINE俱乐部的成员不是滑雪运动员就是登山 运动员。登山运动员不喜欢下雨，而且任何不喜欢 雪的人都不是滑雪运动员。MIKE讨厌TONY所 喜欢的一切东西，而喜欢TONY所讨厌的一切东 西。TONY喜欢雨和雪。试问有没有ALPINE俱 乐部的成员，他是一个登山运动员但不是滑雪运动 员。 五、(20分)在主观Bayes推理中，LS和LN的意义是什么？ 设系统中有如下规则： R1：IF E1THEN （50 0，0.01）H1 R2 IF E2THEN （1，100）H1 R3：IF E3THEN （1000，1）H2 R4：IF H1THEN （20，1）H2 并且已知P(H1)=0.1，P(H2)=0.1，P(H3)=0.1，初始
译文资料： 机器人 首先我介绍一下机器人产生的背景，机器人技术的发展，它应该说是一个科学技术发展共同的一个综合性的结果，同时，为社会经济发展产生了一个重大影响的一门科学技术，它的发展归功于在第二次世界大战中各国加强了经济的投入，就加强了本国的经济的发展。另一方面它也是生产力发展的需求的必然结果，也是人类自身发展的必然结果，那么随着人类的发展，人们在不断探讨自然过程中，在认识和改造自然过程中，需要能够解放人的一种奴隶。那么这种奴隶就是代替人们去能够从事复杂和繁重的体力劳动，实现人们对不可达世界的认识和改造，这也是人们在科技发展过程中的一个客观需要。 机器人有三个发展阶段，那么也就是说，我们习惯于把机器人分成三类，一种是第一代机器人，那么也叫示教再现型机器人，它是通过一个计算机，来控制一个多自由度的一个机械，通过示教存储程序和信息，工作时把信息读取出来，然后发出指令，这样的话机器人可以重复的根据人当时示教的结果，再现出这种动作，比方说汽车的点焊机器人，它只要把这个点焊的过程示教完以后，它总是重复这样一种工作，它对于外界的环境没有感知，这个力操作力的大小，这个工件存在不存在，焊的好与坏，它并不知道，那么实际上这种从第一代机器人，也就存在它这种缺陷，因此，在20世纪70年代后期，人们开始研究第二代机器人，叫带感觉的机器人，这种带感觉的机器人是类似人在某种功能的感觉，比如说力觉、触觉、滑觉、视觉、听觉和人进行相类比，有了各种各样的感觉，比方说在机器人抓一个物体的时候，它实际上力的大小能感觉出来，它能够通过视觉，能够去感受和识别它的形状、大小、颜色。抓一个鸡蛋，它能通过一个触觉，知道它的力的大小和滑动的情况。第三代机器人，也是我们机器人学中一个理想的所追求的最高级的阶段，叫智能机器人，那么只要告诉它做什么，不用告诉它怎么去做，它就能完成运动，感知思维和人机通讯的这种功能和机能，那么这个目前的发展还是相对的只是在局部有这种智能的概念和含义，但真正完整意义的这种智能机器人实际上并没有存在，而只是随着我们不断的科学技术的发展，智能的概念越来越丰富，它内涵越来越宽。 下面我简单介绍一下我国机器人发展的基本概况。由于我们国家存在很多其
一、名词解释（5X3‘）15’ 1.兼类（P121）：一个单词既可以作名词动词又可以作其他词类 2.机器翻译：用计算机软件代替人做的书面翻译 3.组合型歧义：一个字与前面的字成词,与后面的字成词,合起来也成词。 4.交集型歧义（P117）：一个字与前面的字成词,与后面的字也成词。 5.人工智能：用计算机硬件、软件模拟人的行为，解决人类目前尚未认识清楚的问题。 6.人工智能软件的三大技术：知识表示、知识推理、知识获取。 7.语料库：单词、短语和句子组成的数据库。 8.知识工程：包括人工智能软件技术的工程。（知识工程是以知识为基础的系统，就是 通过智能软件而建立的专家系统） 9.深度学习：一步一步在丰富起来的特征规律引导下，由浅入深完成推理的方法。 10.语用分析：分析成语和习惯用语的方法。 二、题解P36 例2.1 、2.2 例2.1 设有下列语句： （1）高山比他父亲出名。 （2）刘水是计算机系的一名学生，但他不喜欢编程序。 （3）人人爱劳动。 为了用谓词公式表示这些语句，应先定义谓词： BIGGER(x,y):x比y出名 COMPUTER(x):x是计算机系的学生 LIKE(x,y):x喜欢y LOVE(x,y):x爱y M(x):x是人 定义函数father(x)表示从x到其父亲的映射此时可用谓词公式把上述三个语句表示为：（1）BIGGER(高山，father(x)) （2）COMPUTER(刘水)∧∽LIKE（刘水，程序） （3）（?x）（M(x) →LOVE(x,劳动)） 例2.2 设有下列语句： （1）自然数都是大于零的整数。 （2）所有整数不是偶数就是奇数。 （3）偶数除以2是整数。 定义谓词如下： N(x):x是自然数 I(x):x是整数 E(x):x是偶数 O(x):x是奇数 GZ(x):x大于零 另外，用函数S（x）表示x除以2。此时，上述三个句子可用谓词公式表示为： （?x）(N(x) →GZ(x)∧I(x)) (?x)（I(x) →E(x)∨O(x）） （?x）(E(x) →I(S(x))) 三、论述（4X5‘）20’ 1.阐述深度、广度、代价驱动搜索方法。（P68） 答：广度优先搜索法：对全部节点沿广度进行横向扫描，按各节点生成的先后次序，
内蒙古科技大学2013/2014 学年第一学期 《人工智能》大作业 课程号：67111317、76807376 考试方式：大作业 使用专业、年级：计算机2011-1，2，3，4 任课教师：陈淋艳 班级： 学号： 姓名：
一、（15分）智能、智力、能力的含义是什么？什么是人工智能？ 人类研究人工智能的最终目标是什么？ 二、（15分）传教士与野人问题：有三个传教士和三个野人来到河 边，河边只有一条一次最多可供两个人过河的小船，传教士如 何用这条小船过河才能使河两边的野人数目决不会超过传教士 的数目？ 指定状态描述的格式，开始状态和目标状态；画出状态空间图。 （只要画出河两边野人数目不会超过传教士数目的状态即可）。 三、(10分)用谓词公式表示下列语句：因为老百姓授法律管制，所 以晁盖劫了生辰纲，触犯了宋王朝的法律，受到官府追究；而 达官贵人和恶少不受法律管制，所以高衙内强抢民女，虽然也 违法，却可以横行无忌。 四、(20分)什么是演绎推理？他的推理规则是什么？ 试用谓词演算语句集合表示下面这段话；并用归结反演的方法 回答下列问题： 设TONY，|MIKE和JOHN属于ALPINE俱乐部，ALPINE俱乐部的成员不是滑雪运动员就是登山运动员。登山运动员不喜 欢下雨，而且任何不喜欢雪的人都不是滑雪运动员。MIKE讨厌TONY所喜欢的一切东西，而喜欢TONY所讨厌的一切东西。 TONY喜欢雨和雪。试问有没有ALPINE俱乐部的成员，他是一个登山运动员但不是滑雪运动员。 五、(20分)在主观Bayes推理中，LS和LN的意义是什么？
设系统中有如下规则： R1：IF E1THEN （50 0，0.01）H1 R2 IF E2THEN （1，100）H1 R3：IF E3THEN （1000，1）H2 R4：IF H1THEN （20，1）H2 并且已知P(H1)=0.1，P(H2)=0.1，P(H3)=0.1，初始证据的概率为P(E1|S1)=0.5 ，P(E2|S2)=0 ，P(E3|S3)=0.8，用主观Bayes方法求H2的后验概率P(H2|S1& S2& S3)。 六、（20分）结课报告题目：选以下题目之一或自选题目写一篇5000 字左右的报告，要有关键字，图要有图号，最后要有参考资料。 1、总结知识表达技术。（选取三种知识表达放法加以介绍，并进行比较） 2、查找两篇或三篇已发表的与人工智能理论相关的论文，从文章所论述的问题，阐述的理论，其社会效益，与原有的方法相比，他的优缺点等。 3、介绍一已有的专家系统。 4、写一篇文章介绍人工神经网络。（应用领域，人工神经元模型，学习方法） 不符合以下要求的作业不收 本试题一律使用A4纸完成，一至五题要求手写。
【PT】[J]. 【AU:】shambour,Qusai Xu, Yisi Lin, Qing Zhang, Guangquan 【AB】The web provides excellent opportunities to businesses in various aspects of development such as finding a business partner online. However, with the rapid growth of web information, business users struggle with information overload and increasingly find it difficult to locate the right information at the right time. Meanwhile, small and medium businesses (SMBs), in particular, are seeking one-to-one e-services from government in current highly competitive markets. How can business users be provided with information and services specific to their needs, rather than an undifferentiated mass of information? An effective solution proposed in this study is the development of personalized e-services. Recommender systems is an effective approach for the implementation of Personalized E-Service which has gained wide exposure in e-commerce in recent years. Accordingly, this paper first presents a hybrid fuzzy semantic recommendation (HFSR) approach which combines item-based fuzzy semantic similarity and item-based fuzzy collaborative filtering (CF) similarity techniques. This paper then presents the implementation of the proposed approach into an intelligent recommendation system prototype called Smart BizSeeker, which can recommend relevant business partners to individual business users,particularly for SMBs. Experimental results show that the HFSR approach can help overcome the semantic limitations of classical CF-based recommendation approaches, namely sparsity and new cold start item problems. 【题目】：基于Web的个性化推荐系统使用的业务合作伙伴---模糊语义技术 【刊登杂志】: 计算智能 【摘要】网站为企业在各方面的发展提供了极好的机会，例如找到一个在线的业务合作 伙伴。然而，随着网络信息的快速增长，商业用户正在和信息过载做斗争，并且在正确的时间找到正确的信息的难度在不断增加。同时，特别是中小型企业（中小企业），在当前竞争激烈的市场中从政府寻求的是一对一的电子服务。怎么为企业用户提供他们需要的的信息和服务，而不是一种未分化的海量信息？本文中就为个性化服务发展提出了一个有效的解决方法。推荐系统是实施个性化的全方位服务的一种有效的方法，近年来在电子商务中得到了广泛的提及。相应的，本文首先提出了一种混合模糊语义推荐（HFSR）的方法，这种方法结合了基于项目的模糊语义相似度和基于项目的模糊协同过滤（CF）相似的技术。本文就介绍了在一个智能推荐系统原型中该方法的实现，这个实现方法称为智能bizseeker，它可推荐相关个人商务用户的业务合作伙伴，特别是对中小企业。实验结果表明，HFSR方法可以帮助克服基于推荐的经典CF语义的限制方法，即稀疏性和冷开始新项目问题。
人工智能大作业实验-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
湖南中医药大学本科课程实验教学大纲 《人工智能》 计算机科学与技术专业 执笔人：丁长松 审定人：*** 学院负责人：*** 湖南中医药大学教务处 二○一四年三月
一、课程性质和教学目的 《人工智能》是计算机专业本科生的一门专业必修课，适应于计算机科学与技术专业、医药信息工程专业。本课程是关于人工智能领域的引导性课程，通过本课程的学习，是使学生了解和掌握人工智能的基本概念、原理和方法，培养学生在计算机领域中应用人工智能技术提高分析和解决较复杂问题的能力，启发学生对人工智能的兴趣，培养知识创新和技术创新能力。 《人工智能》主要研究智能信息处理技术、开发具有智能特性的各类应用系统的核心技术。本课程主要介绍人工智能的基本理论、方法和技术，主要包括常用的知识表示、逻辑推理和问题求解方法、人工智能发展学派以及主要理论。 先修课程：高等数学、数据结构、数据库原理、算法设计与分析、数理逻辑 二、课程目标 人工智能实验应在一种为高效率开发专家系统而设计的高级程序系统或高级程序设计语言环境中进行。在目前开来，专家系统开发工具和环境可分为5种主要类型：程序设计语言、知识工程语言、辅助型工具、支持工具及开发环境。在这里主要是要求学生能用相关术语描述、表示一些问题；用程序设计语言如：C、C++、JAVA编程来实现一些基本的算法、推理、搜索等过程。 三、实验内容与要求 实验一：谓词表示 【实验内容】 设农夫、狼、山羊、白菜都在河的左岸，现在要把它们运送到河的右岸去，农夫有条船，过河时，除农夫外船上至多能载狼、山羊、白菜中的一种。狼要吃山羊，山羊要吃白菜，除非农夫在那里。试设计出一个确保全部都能过河的方案。
附件 毕业生毕业论文(设计)翻译原文 论文题目远程农作物病虫害诊断专家系统的设计与实现系别_____ ______ _ 年级______ _ _ _ _ _ 专业_____ ___ ___ 学生姓名______ _____ 学号 ___ __ _ 指导教师______ ___ _ __ _ 职称______ __ ___ 系主任 _________________ _ _ ___ 2012年 04月22 日
EXPERT SYSTEMS AND ARTIFICIAL INTELLIGENCE Expert Systems are computer programs that are derived from a branch of computer science research called Artificial Intelligence (AI). AI's scientific goal is to understand intelligence by building computer programs that exhibit intelligent behavior. It is concerned with the concepts and methods of symbolic inference, or reasoning, by a computer, and how the knowledge used to make those inferences will be represented inside the machine. Of course, the term intelligence covers many cognitive skills, including the ability to solve problems, learn, and understand language; AI addresses all of those. But most progress to date in AI has been made in the area of problem solving -- concepts and methods for building programs that reason about problems rather than calculate a solution. AI programs that achieve expert-level competence in solving problems in task areas by bringing to bear a body of knowledge about specific tasks are called knowledge-based or expert systems. Often, the term expert systems is reserved for programs whose knowledge base contains the knowledge used by human experts, in contrast to knowledge gathered from textbooks or non-experts. More often than not, the two terms, expert systems (ES) and knowledge-based systems (KBS), are used synonymously. Taken together, they represent the most widespread type of AI application. The area of human intellectual endeavor to be captured in an expert system is called the task domain. Task refers to some goal-oriented, problem-solving activity. Domain refers to the area within which the task is being performed. Typical tasks are diagnosis, planning, scheduling, configuration and design. An example of a task domain is aircraft crew scheduling, discussed in Chapter 2. Building an expert system is known as knowledge engineering and its practitioners are called knowledge engineers. The knowledge engineer must make sure that the computer has all the knowledge needed to solve a problem. The knowledge engineer must choose one or more forms in which to represent the required knowledge as symbol patterns in the memory of the computer -- that is, he (or she) must choose a knowledge representation. He must also ensure that the computer can use the knowledge efficiently by selecting from a handful of reasoning methods. The practice of knowledge engineering is described later. We first describe the components of expert systems. The Building Blocks of Expert Systems Every expert system consists of two principal parts: the knowledge base; and the reasoning, or inference, engine.
1.1intelligence智能:字典定义：有一种学习和应用知识的能力，一种思考和推理的本领，领会并且得益于经验的能力，这些都是有道理的。如果我们想量化一些东西，我们将用到一些东西，像为了在环境中更好的完成任务使能力适应知识 AI人工智能：作为一个学习和构造智能体程序，为了一个智能体结构在被给的环境中可以更好的完成任务 1.4Does this mean that AI is impossible?不是，人工智能系统应避免解决一些难驾驭的问题，通常这意味着人工智能系统只能作出最好的行为，有时人工智能擅长解决一些结构化的实例，也许需要一些背景知识的帮助，人工智能系统应尝试做一些相同的事情 1.11“surely computers cannot be intelligent-they can do only what their programmers tell them.”Is the latter statement true,and does it imply the former? This depends on your definition of “intelligent”and“tell.”In one sense computers only do what the programmers command them to do,but in another sense what the programmers consciously tells the computer to do often has very little to do with what the computer actually does. Anyone who has written a program with an ornery bug knows this,as does anyone who has written a successful machine learning program.So in one sense Samuel“told”the computer“learn to play checkers better than I do,and then play that way,”but in another sense he told the computer“follow this learning algorithm”and it learned to play. So we’re left in the situation where you may or may not consider learning to play checkers to be s sign of intelligence(or you may think that learning to play in the right way requires intelligence,but not in this way),and you may think the intelligence resides in the programmer or in the computer 2.1agent智能体:在一个环境中对一个对象作出反应的实体 Agent function:智能体函数：智能体相应任何感知序列所采取的行动 Agent program:智能体程序：与机器结构相结合，并且实现一个智能体函数的程序，在简单的设计下，程序将为一个新的感知调用，并返回一个动作。 Rationality理性:智能体的一个属性，即为当前的一个感知选择一个行动，并使期望效用最大化。 Autonomy自主:智能体的一个属性，是指他们的行为是由他们自己的经验决定而不是仅仅由最初的程序决定。 Reflex agent反射型智能体:一个智能体的行为仅仅依赖于当前的知觉 Model-based agent基于模型的智能体:一个智能体的行动直接得自于内在模型的状态，这个状态是当前世界通用的不断更新 Goal-based agent基于目标的智能体:智能体选择它相信能明确达到目标的行动 Utility-based agent基于效用的智能体：试图最大化他们自己期望的快乐Learning agent学习智能体：基于长期的经验提高自己的行为 2.2Both the performance measure and the utility function measure how well an agent is doing.Explain the difference between the two 性能度量是被用于通过外在观察度量一个智能体的成功效应函数，将历史记录变为真实数据的函数。效用函数和性能度量不同，此外，智能体可能没有效用函数，大多数都有一个性能度量 2.5For each of following agents,develop a PEAS description of the task environment: a.Robot soccer player; b.Internet book-shopping agent; c.Autonomous Mars rover; d.Mathematician’s theorem-proving assistant.
人工智能基础 大作业 —－－－八数码难题 学院：数学与计算机科学学院 班级：计科14—1 姓名:王佳乐 学号：１2 2０1６、12、20 一、实验名称 八数码难题得启发式搜索 二、实验目得 八数码问题:在3×3得方格棋盘上,摆放着1到８这八个数码,有1个方格就是空得，其初始状态如图1所示,要求对空格执行空格左移、空格右移、空格上移与空格下移这四个操作使得棋盘从初始状态到目标状态. 要求：1、熟悉人工智能系统中得问题求解过程; 2、熟悉状态空间得启发式搜索算法得应用； 3、熟悉对八数码问题得建模、求解及编程语言得应用。 三、实验设备及软件环境 1.实验编程工具：VC＋+ 6、0 2.实验环境：Wｉndoｗs7 64位 四、实验方法：启发式搜索 1、算法描述 1.将Ｓ放入open表,计算估价函数f(ｓ)
2.判断oｐeｎ表就是否为空，若为空则搜索失败,否则，将opeｎ表中得第 一个元素加入cｌｏse表并对其进行扩展（每次扩展后加入ｏpen表中 得元素按照代价得大小从小到大排序，找到代价最小得节点进行扩展） 注:代价得计算公式ｆ(n)=d（ｎ）+ｗ（n)、其中f（n)为总代价，d(n）为节点得度,w（ｎ)用来计算节点中错放棋子得个数. 判断i就是否为目标节点,就是则成功，否则拓展i，计算后续节点f（j），利用f（j)对oｐeｎ表重新排序 2、算法流程图： 3、程序源代码： ＃ｉncluｄｅ＜stdｉｏ、ｈ> # iｎclude＜strｉng、h> # include
Robot Robot is a type of mechantronics equipment which synthesizes the last research achievement of engine and precision engine, micro-electronics and computer, automation control and drive, sensor and message dispose and artificial intelligence and so on. With the development of economic and the demand for automation control, robot technology is developed quickly and all types of the robots products are come into being. The practicality use of robot products not only solves the problems which are difficult to operate for human being, but also advances the industrial automation program. At present, the research and development of robot involves several kinds of technology and the robot system configuration is so complex that the cost at large is high which to a certain extent limit the robot abroad use. To development economic practicality and high reliability robot system will be value to robot social application and economy development. With the rapid progress with the control economy and expanding of the modern cities, the let of sewage is increasing quickly: With the development of modern technology and the enhancement of consciousness about environment reserve, more and more people realized the importance and urgent of sewage disposal. Active bacteria method is an effective technique for sewage disposal，The lacunaris plastic is an effective basement for active bacteria adhesion for sewage disposal. The abundance requirement for lacunaris plastic makes it is a consequent for the plastic producing with automation and high productivity. Therefore, it is very necessary to design a manipulator that can automatically fulfill the plastic holding. With the analysis of the problems in the design of the plastic holding manipulator and synthesizing the robot research and development condition in recent years, a economic scheme is concluded on the basis of the analysis of mechanical configuration, transform system, drive device and control system and guided by the idea of the characteristic and complex of mechanical configuration, electronic, software and hardware. In this article, the mechanical configuration combines the character of direction coordinate and the arthrosis coordinate which can improve the stability and operation flexibility of the system. The main function of the transmission mechanism is to transmit power to implement department and complete the necessary movement. In this transmission structure, the screw transmission mechanism transmits the rotary motion into linear motion. Worm gear can give vary transmission