- 全局优化理论几种算法的改进研究
- 刘旭旺
- 4210字
- 2021-09-10 18:39:46
1.2 国内外研究现状
伴随着计算机的高速发展和最优化工作者的努力,非线性最优化的理论分析和优化计算方法得到了极大提高。尤其是在20世纪中后期,全局优化得到了迅速的发展进步,涌现出很多全局优化的理论和算法,已被广泛应用到各个不同领域,引起学术界的广泛关注和强烈反响。
全局优化算法尽管在理论上不很成熟,缺乏全局最优性条件,甚至没有确定的方法判断一个局部最优点是否为全局最优点(缺少终止判别准则),以致计算效率会大大降低,但并不影响算法自身的发展和对其进行研究。R. Hoyst,P. M. Pardalos,N. V. Thoai等在全局优化方面做出了突出贡献。对于无约束全局优化问题而言,是在约束集x∈Rn的情况下对目标函数进行全局最优化。当前的方法可分成两大类:随机方法和确定性方法,其中,随机方法有:Monte-Carlo法、粒子群优化、神经网络优化、混沌优化、模拟退火方法和遗传方法等。确定性方法则主要包含分枝定界法、区间算法、积分水平集法、打洞函数法和填充函数法等。当然根据不同的分类标准还可以将他们分为经典优化方法和智能优化方法。
(1)Hopfield网络优化方法的研究概况、水平和发展趋势。
Hopfield神经网络是在研究生物神经系统的启示下发展起来的一种信息处理方法[3]。人工神经网络是由大量的同时也是很简单的处理单元即神经元广泛地互相连接而形成的复杂的网络系统,反映了人脑功能的许多基本特性。神经网络以工程技术手段模拟人脑神经网络的结构与功能特性,利用大量的非线性并行处理器来模拟众多的人脑神经元之间的突触行为。因此,人工神经网络是一种大规模并行的复杂的非线性动力系统,可以表示极其复杂的非线性模型系统。Hopfield网络用于处理优化问题特别是组合优化问题有其独特的优势[4],[5]。
在应用领域中的研究上,自20世纪90年代中期以来,一些新生长的应用领域在不断增加[6—9],例如,工业生产控制、学习、分类、预报预测和分析处理,邮政通信及信息服务,健康服务,在军事方面的多目标跟踪、战斗机飞行控制、汽车自动驾驶及战场管理、文字识别等。其他领域有如神经网络作图,数字语音识别,以及财政风险分析、原油价格预报、股票行情分析、支票和收据收验,污水处理,甚至赛马等。美国军方在海湾战争中利用了神经网络来进行决策控制;能源部利用它来预报世界原油价格,美国联邦航空管理局利用它来进行机场行李炸弹的自动检验;食品医药管理局利用它来进行食品添加剂的分析;波音、德士古、福特等大公司以及一些银行和保险公司也都纷纷应用神经网络系统进行控制和决策。
由于Hopfield神经网络具有强大的自学习、自适应、自组织能力,有较好的容错和并行处理能力[10],对非线性函数有较强的逼近能力,而得到了越来越广泛的研究和应用的推广,组合优化问题的求解是神经网络的重要应用之一。
关于Hopfield网络的优化功能,特别是在组合优化中的应用,是现代科学工作者研究的热点,主要还是通过引入能量函数的概念,建立相应的网络动态方程,研究网络的动力性质,并用电子线路设计出相应的网络,从而开拓了神经网络用于优化计算的新途径。近一段时期以来,大量开拓性的研究工作大大发展了神经网络的模型和学习算法,并加深了人们对神经网络的认识,同时神经网络的应用领域也渗透到控制工程、机器学习、信号处理、模式识别和经济等领域。
优化工作者主要对能量函数的构造和参数的选择做了大量的研究工作,电子科技大学陈文宇博士[11]从TSP问题入手,详细分析了Hopfield神经网络行为特征,采用了加强能量函数,比H-T模式更有效,从几何学角度分析了权值矩阵的特征值所对应的子空间,从而获得设置网络参数的标准。清华大学教授孙守宇和郑君里[12]提出连接权值矩阵改进了Hopfield神经网络优化性能。金海和、陈剑和唐政等[13]提出了动态参数选择法,对Hopfield神经网络的学习算法进行改进。经过近20年的深入研究,Hopfield网络学习和优化相关理论和应用技术取得了很多成果。
目前,各类与Hopfield神经网络优化相关的学术期刊和会议相应问世,有关Hopfield神经网络优化及其应用的论文大量涌现[14],Hopfield神经网络优化已成为国际上的一个研究热点。
(2)填充函数方法的国内外研究概况、水平和发展趋势。
填充函数算法是一种确定型算法[15]。由于填充函数法只需应用成熟的局部极小化算法,因此受到理论以及实际工作者的欢迎,但是由于填充函数是目标函数的复合函数,且目标函数本身可能很复杂,所以构造的填充函数形式也可能很复杂。再就是参数过多[16—18],难于调节,给实际应用带来困难。另外,早期学者提出的填充函数法是沿着线方向的搜索方法,使得在实际计算时工作量很大,一定程度上影响了算法的适用性。
一直以来,中国科学院数学与系统科学研究院、西安交通大学、复旦大学、西安电子科技大学、上海交通大学、天津大学、上海大学、河南科技大学等高校和科研院所的相关学者在全局优化的研究领域做出了很大的成就[19—21],特别是在全局优化的确定性方法方面的研究。
在全局优化的辅助函数方法中,研究最多的是填充函数和隧道函数方法。填充函数法是由西安交通大学的葛仁溥教授等首先提出的,其他学者通过对填充函数算法深入研究,在此基础上对这些算法做了进一步的推广和应用[22],取得了较为满意的结果,主要有以下几个方面。
西安电子科技大学刘三阳教授的硕士研究生吴青在已有的填充函数法的基础上,针对一类非光滑问题,提出了一类改进的双参数填充函数法[23],此填充函数形式简洁,运算量低,该方法的精度和运算效率都有所提高[23]。对Lipschitz规划,针对双参数填充函数法在参数选取时的局限性,构造了一类应用更广的单参数填充函数,提高了算法的执行效率,利用线性加权法将多目标规划转化为单目标规划,根据其特点,构造了一种新的填充函数法,并利用此算法求得该单目标规划的全局最优解,即原规划的最小弱有效解,数值试验表明该算法是可行有效的,且能保证得到全局最优解。
上海大学张连生教授团队针对填充函数方法的定义,在葛仁溥教授给出的原始定义的基础上,定义了更为简洁和容易实现的填充函数定义,提出了相对简单的单参数填充函数[24],也构造出了一个无参数填充函数,证明了该无参数填充函数满足填充函数性质,但是该无参数填充函数是非全区域连续函数,在f(x)=f(x∗)处是下半连续的。
跨越函数是我国优化领域学者提出来的一种方法,由上海交通大学的周国标教授于2006年提出,由于跨越函数是在填充函数的启发下提出,不仅拥有填充函数用于全局优化的优点,还拥有自己独有的特色——快速优化,这样一来,就明显地提高了优化效率,这正是我们权衡一个算法优劣的其中一个重要标准。因此,跨越函数方法应该引起我们的重视,这种方法的思想为我们继续研究全局优化提供了一个视角和思路。
(3)粒子群优化方法的国内外研究概况、水平和发展趋势。
粒子群优化(Particle Swarm Optimization,PSO)算法一种智能优化算法是科学家Kennedy和Eberhart[25]于1995年最早提出的,是一种典型的半随机性优化算法。PSO源于对鸟群和鱼群等生物种群运动行为的研究,因此它和蚁群算法一样都有群智能优化计算的特点[26]。由于它实现简单,收敛速度快,并且对目标函数要求较少(如无须梯度信息)等特点,因此发展十分迅速,且在诸多领域得到成功应用。与其他智能算法类似,PSO也存在早熟收敛和局部寻优能力差等缺点。目前解决这些问题的主要方法是增加种群的多样性以及和其他方法的融合等[27—29]。
李勇刚[30]等指出造成PSO算法早熟收敛的主要原因是:在算法后期,所有粒子将聚集到一个极值点附近,各粒子的速度将趋于零。如果这是一个局部极值点,则所有粒子将很难跳出其约束范围,从而导致算法早熟收敛。于是许多学者致力于解决该问题,把不同算法相互融合。把其他优化算法和粒子群优化算法有机结合是一种有效的方法,张劲松等[31]把混沌优化思想引入到粒子群优化算法中,提出了新的全局优化算法,有效地改进了局部收敛问题。
总体来看,把混沌和粒子群结合起来处理函数优化问题的改进算法有:采用混沌映射机制对粒子的位置和速度进行初始化,初始化时这种算法所具有的随机性特征没有改变,又利用混沌改进了种群的多样性[32],同时加强了粒子搜索的遍历性;当某些粒子陷入局部极小点的邻域时,引入混沌优化再次初始化粒子,产生局部极值新的邻域点,由于上面提到的混沌运动的这些特性,可以构造一种变异算法对其进行改进。
(4)混沌优化的国内外研究概况、水平和发展趋势。
混沌运动由于具有一些特殊的性质如遍历性、对初值的敏感性、拓扑传递性等在许多领域得到了广泛应用,如优化方法、图像数据压缩、高速检索、通信保密、模式识别、故障诊断和小信号测量等。而大多数实际优化问题都是复杂的非线性和多峰的非凸函数,因此,传统的优化算法常常陷于局部最小,寻找这类问题的全局最优解就成了当今非常重要的一个研究课题。随着混沌动力学研究的兴起,将混沌动力学应用于非线性多峰优化问题的全局最优化求解引起了人们的广泛重视[33]。为了克服传统的优化算法的不足,许多学者引入混沌动力学系统以求解复杂的优化问题,这类优化算法就称为混沌优化算法[34]。由于混沌学的一些优良的性质[35],[36],使得后来研究者对混沌优化算法的研究取得了很大的成就。在非线性多峰优化问题的全局最优的求解中,这些混沌优化算法能有效避免陷于局部最小,其优化效率也明显优于传统的优化算法。
李兵等[37]提出的混沌优化算法(Chaos Optimization Algorithm,COA),利用混沌的遍历性,混沌运动能在一定的范围内按其自身的“规律”不重复地遍历所有状态,用类似载波的方法将混沌状态引入优化变量中,并把混沌运动的遍历范围以载波的方式“放大”到优化变量的取值范围,然后利用混沌变量进行搜索,这种优化方法在搜索空间较小时效果显著,但当搜索空间大时却也不能得到满意的结果[38]。
其实,全局优化理论与方法是一个统一的整体概念,它包含了最优化领域很多具体方法,上面几个方面是我们主要介绍的具体优化方法和技巧,我们需要站在全局优化的高度对它们整体研究和重点突破。
综上所述,在全局优化领域中虽然取得了很大的成绩,但是还有许多问题没能彻底解决,许多方法还是建立在特殊结构基础之上的,有必要对全局优化算法进行深入的探讨和研究。
(1)在前人成果基础之上,改进已有的算法,提高全局优化算法的实用性、适用性和优化效率。
(2)在全局优化思想的指导下,从现有的各种全局优化算法中得到启迪,提出新的更好的全局优化理论与方法,并讨论其适用性。
因此,全局优化还有许多问题亟待解决。对于大部分实际应用来说,都只能找到近似全局最优点,能找到全局最优点更好,但并不是必需的。而有些问题则必须找到全局最优点,如,机械手的设计、化学中的许多问题及半定规划等。