商品详情
书名:数值**化算法与理论(第二版)
定价:60.0
ISBN:9787030268433
作者:李董辉
版次:2
出版时间:2010-01
内容提要:
本书较为系统地介绍**化领域中比较成熟的基本理论与方法。基本理论包括**化问题解的必要条件和充分条件以及各种算法的收敛性理论。介绍的算法有:无约束问题的最速下降法、Newton法、拟Newton法、共辄梯度法、信赖域算法和直接法;非线性方程组和最小二乘问题的Newton法和拟Newton法;约束问题的罚函数法、乘子法、可行方向法、序列二次规划算法和信赖域算法等。还介绍了线性规划的基本理论与单纯形算法以及求解二次规划的有效集法。并简单介绍了求解全局**化问题的几种常用算法。
作为基本工具,本书在附录中简要介绍了求解线性方程组的常用直接法和选代法以及MATLAB初步知识。
目录:
目录
第1章 引言 1
1.1 **化问题概述 1
1.2 凸集和凸函数 5
习题1 14
第2章 无约束问题的下降算法与线性搜索 18
2.1 无约束问题解的**性条件 18
2.2 下降算法的一般步骤 21
2.3 线性搜索 21
2.4 下降算法的全局收敛性 27
2.5 下降算法的收敛速度 30
习题2 33
第3章 无约束问题算法(I) 38
3.1 最速下降法 38
3.2 Newton法及其修正形式 40
3.3 正则化Newton法 45
习题3 47
第4章 无约束问题算法(II) 51
4.1 拟Newton法及其性质 51
4.2 拟Newton法的收敛性理论 59
4.3 拟Newton法的修正形式 63
习题4 66
第5章 无约束问题算法(III) 71
5.1 二次函数极小化问题的共轭方向法 71
5.2 非线性共轭梯度法 75
5.3 下降共轭梯度法 81
5.4 共轭梯度法的收敛速度 85
习题5 87
第6章 无约束问题算法(IV) 92
6.1 信赖域算法的基本结构 92
6.2 信赖域算法的收敛性 94
6.3 信赖域-线性搜索型算法 97
6.4 信赖域子问题的求解 99
习题6 103
第7章 无约束问题算法(V) 105
7.1 坐标轮换法及其改进 105
7.2 Powell直接法 109
7.3 轴向搜索法 113
习题7 115
第8章 非线性方程组与最小二乘问题 116
8.1 非线性方程组的局部算法 116
8.2 非线性方程组的全局化算法 118
8.3 最小二乘问题 122
习题8 126
第9章 约束问题解的**性条件 130
9.1 可行方向 130
9.2 约束问题的**性条件 135
习题9 139
第10章 线性规划 144
10.1 线性规划问题的标准型 144
10.2 线性规划问题的基本概念和基本理论 146
10.3 单纯形法 150
10.4 初始基础可行解的确定 155
10.5 线性规划问题的对偶理论 157
习题10 159
第11章 二次规划 164
11.1 等式约束二次规划 164
11.2 解二次规划的有效集法 167
习题11 172
第12章 约束问题算法(I) 176
12.1 罚函数法 176
12.2 乘子法 184
习题12 192
第13章 约束问题算法(II) 197
13.1 线性约束问题的可行方向法 197
13.2 投影梯度法 203
13.3 既约梯度法 207
13.4 广义既约梯度法 213
习题13 215
第14章 约束问题算法(III) 220
14.1 局部序列二次规划算法 220
14.2 全局SQP算法 226
14.3 信赖域SQP算法 229
14.4 Maratos效应及改进策略 235
习题14 237
第15章 全局**化方法简介 240
15.1 基本概念 240
15.2 覆盖法 241
15.3 外逼近法 243
15.4 分枝定界法 245
15.5 应用分枝定界法的几个问题 249
15.6 遗传算法 254
习题15 260
参考文献 262
附录A 解线性方程组的常用算法 264
A1 Gauss消元法 264
A2 LU分解 267
A3 迭代法 271
附录B MATLAB 入门 275
B1 基本运算 276
B2 基本绘图 283
B3 逻辑控制 285
B4 M-文件 288
在线试读:
第1章 引言
1.1 **化问题概述
设函数f是定义在Rn上的实值函数。**化问题的数学模型如下:(1.1)其中,min是minimizing(极小化)的简称。我们称函数f为问题(1.1)的目标函数,集合D为问题的可行域,可行域中的点为可行点。如果将函数f视为生产过程中的某种成本,集合D视为生产过程中的各种可采用的方案所构成的集合,则上述**化问题可通俗地理解为在众多可行的方案中寻求最佳方案。**化有广泛的应用,如:在生产管理中如何**限度地降低成本;如何合理下料最节省材料;如何设计运输方案使得运输费用最少等。在实际工作中,**化还有另一种含义,即使获得的效益**化。此时,相应的模型为(1.2)其中,ma是(极大化)的简称,f为某种效益函数。注意到问题(1.2)可转化为形如模型(1.1)的等价问题。
为了对**化问题有一个直观的了解,我们考察几个具体问题的数学模型。
例1.1.1(食谱问题)设市场上可以买到n种不同的食品,每种食品含有m种营养成分。设每单位的j种食品含第i种营养成分的数量为aij(i=1;2;…;m;j=1;2;…;n)。第j种食品的单位价格为cj(j=1;2;…;n)。再设每人每天对第i种营养成分的需求量为bi(i=1;2;…;m)。试确定在保证营养需求条件下的经济食谱。
解 设购入第j种食品的数目为j(j=1;2;…;n);则总开支为所获得的第i种营养成分总量为我们的目标是使得函数f达到最小。所满足的条件为:gi(x)>bi(i=1;2;…;m)。此外,购入食品的数目j不能为负数。因此,我们得问题的如下数学模型:其中,s. t. 是subject to(受约束于)的简称。
例1.1.2(数据拟合问题)设有观测数据(k,Yk)(k=1,2,…,5),其值如表1.1所示。试用一个简单的函数关系拟合这些数据。
图1.1线性拟合问题
解 将观测数据点在直角坐标系上标出,得图1.1。
由图1.1不难发现,(k,Yk)大致位于某一条直线的附近。因此,与U之间近似于线性关系。考虑用直线Y=α+b(1.3)对这些点进行拟舍,即确定α,b的值,使得点(k,Yk)(k=1,2,…,5),通过或靠近上面的直线。不难发现,对于上述数据点,不存在α夕,使得方程(1.3)对所有的(k,Yk)(k=1,2,…,5)都满足。因此,我们求α,b,使得函数达到最小值,即上面的数据拟合问题可通过如下的极小值问题来描述:
在问题(1.1)中,若D=Rn,则问题称为无约束**化问题(简称无约束问题),否则称为约束**化问题(简称约束问题)。上面的例1.1.1是约束问题,而例1.1.2是无约束问题。
无约束问题通常记为(1.4)约束问题的一般形式为(1.5)其中gi约束问题(1.5)中,函数gi(i2I;hj;j2E)称为约束函数。不等式组gi(x)>0(i2I)和等式组hj(x)=0(j2E)分别称为不等式约束条件和等式约束条件,统称为约束条件。满足问题(1.5)的约束条件的点所构成的集合称为问题的可行域,记为D。即**化的一个主要研究内容就是求问题(1.1)的解。
**化问题的解分为局部**解和全局(整体)**解。其定义如下。
定义1.1.1 设点x∈D。若存在的一个邻域U(x),使得如下不等式成立(1.6)则称是问题(1.1)的一个局部**解,或简称为问题(1.1)的一个**解。若不等式(1.6)对所有fg成立严格不等式,则称是问题(1.1)的一个严格局部**解。若不等式(1.7)成立,则称是问题(1.1)的一个全局(整体)**解。若不等式(1.7)对所有Dnfg成立严格不等式,则称是问题(1.1)的一个严格全局(整体)**解。
约束**化问题中有两类重要的问题。当目标函数f和约束函数gi(i2I;hj;j2E)都是线性函数时,约束问题(1.5)称为线性规划。当目标函数f是二次函数且约束函数gi(i2I;hj;j2E)都是线性函数时,约束问题(1.5)称为二次规划。此外,若函数f是Rn中的凸函数且D是凸集时,问题(1.1)称为凸规划。凸集和凸函数的概念我们将在下一节中介绍。
在结束本节之前,我们回顾一下多元函数的Taylor展开式以及向量和矩阵范数。
设f二次连续可微。我们用rf(x)和r2f(x)分别表示f在处的梯度向量和Hessian矩阵,即对y定义一元函数如下:经直接计算可得á的一阶、二阶导数与f的梯度与Hessian矩阵之间的如下关系:利用一元函数中值定理,容易导出多元函数的一阶、二阶中值定理。
多元函数的一阶Taylor展开式(一阶中值定理)如下:
多元函数的二阶Taylor展开式(二阶中值定理)如下:
向量值函数有类似的中值定理。设F=(F1;F2;…;Fm)T连续可微。F0(x)表示F在处的Jacobi矩阵,即(1.8)。
如无特别说明,本书所用到的向量范数均为Euclid范数,即对2Rn,k=(T)1=2.对矩阵Rn,A表示由向量范数k导出的范数,即我们以表示矩阵的Frobenius范数,即其中,tr(A)表示矩阵A的迹。
1.2 凸集和凸函数
本节介绍凸集、凸函数的定义及其基本性质。
1.2.1 凸集
定义1.2.1若集合Rn满足(1.9)则称S是Rn中的凸集。
从几何的角度,凸集S可解释为:若S包含点;y,则它包含了与y的连线。如图1.2所示。
图1.2凸集与非凸集
定价:60.0
ISBN:9787030268433
作者:李董辉
版次:2
出版时间:2010-01
内容提要:
本书较为系统地介绍**化领域中比较成熟的基本理论与方法。基本理论包括**化问题解的必要条件和充分条件以及各种算法的收敛性理论。介绍的算法有:无约束问题的最速下降法、Newton法、拟Newton法、共辄梯度法、信赖域算法和直接法;非线性方程组和最小二乘问题的Newton法和拟Newton法;约束问题的罚函数法、乘子法、可行方向法、序列二次规划算法和信赖域算法等。还介绍了线性规划的基本理论与单纯形算法以及求解二次规划的有效集法。并简单介绍了求解全局**化问题的几种常用算法。
作为基本工具,本书在附录中简要介绍了求解线性方程组的常用直接法和选代法以及MATLAB初步知识。
目录:
目录
第1章 引言 1
1.1 **化问题概述 1
1.2 凸集和凸函数 5
习题1 14
第2章 无约束问题的下降算法与线性搜索 18
2.1 无约束问题解的**性条件 18
2.2 下降算法的一般步骤 21
2.3 线性搜索 21
2.4 下降算法的全局收敛性 27
2.5 下降算法的收敛速度 30
习题2 33
第3章 无约束问题算法(I) 38
3.1 最速下降法 38
3.2 Newton法及其修正形式 40
3.3 正则化Newton法 45
习题3 47
第4章 无约束问题算法(II) 51
4.1 拟Newton法及其性质 51
4.2 拟Newton法的收敛性理论 59
4.3 拟Newton法的修正形式 63
习题4 66
第5章 无约束问题算法(III) 71
5.1 二次函数极小化问题的共轭方向法 71
5.2 非线性共轭梯度法 75
5.3 下降共轭梯度法 81
5.4 共轭梯度法的收敛速度 85
习题5 87
第6章 无约束问题算法(IV) 92
6.1 信赖域算法的基本结构 92
6.2 信赖域算法的收敛性 94
6.3 信赖域-线性搜索型算法 97
6.4 信赖域子问题的求解 99
习题6 103
第7章 无约束问题算法(V) 105
7.1 坐标轮换法及其改进 105
7.2 Powell直接法 109
7.3 轴向搜索法 113
习题7 115
第8章 非线性方程组与最小二乘问题 116
8.1 非线性方程组的局部算法 116
8.2 非线性方程组的全局化算法 118
8.3 最小二乘问题 122
习题8 126
第9章 约束问题解的**性条件 130
9.1 可行方向 130
9.2 约束问题的**性条件 135
习题9 139
第10章 线性规划 144
10.1 线性规划问题的标准型 144
10.2 线性规划问题的基本概念和基本理论 146
10.3 单纯形法 150
10.4 初始基础可行解的确定 155
10.5 线性规划问题的对偶理论 157
习题10 159
第11章 二次规划 164
11.1 等式约束二次规划 164
11.2 解二次规划的有效集法 167
习题11 172
第12章 约束问题算法(I) 176
12.1 罚函数法 176
12.2 乘子法 184
习题12 192
第13章 约束问题算法(II) 197
13.1 线性约束问题的可行方向法 197
13.2 投影梯度法 203
13.3 既约梯度法 207
13.4 广义既约梯度法 213
习题13 215
第14章 约束问题算法(III) 220
14.1 局部序列二次规划算法 220
14.2 全局SQP算法 226
14.3 信赖域SQP算法 229
14.4 Maratos效应及改进策略 235
习题14 237
第15章 全局**化方法简介 240
15.1 基本概念 240
15.2 覆盖法 241
15.3 外逼近法 243
15.4 分枝定界法 245
15.5 应用分枝定界法的几个问题 249
15.6 遗传算法 254
习题15 260
参考文献 262
附录A 解线性方程组的常用算法 264
A1 Gauss消元法 264
A2 LU分解 267
A3 迭代法 271
附录B MATLAB 入门 275
B1 基本运算 276
B2 基本绘图 283
B3 逻辑控制 285
B4 M-文件 288
在线试读:
第1章 引言
1.1 **化问题概述
设函数f是定义在Rn上的实值函数。**化问题的数学模型如下:(1.1)其中,min是minimizing(极小化)的简称。我们称函数f为问题(1.1)的目标函数,集合D为问题的可行域,可行域中的点为可行点。如果将函数f视为生产过程中的某种成本,集合D视为生产过程中的各种可采用的方案所构成的集合,则上述**化问题可通俗地理解为在众多可行的方案中寻求最佳方案。**化有广泛的应用,如:在生产管理中如何**限度地降低成本;如何合理下料最节省材料;如何设计运输方案使得运输费用最少等。在实际工作中,**化还有另一种含义,即使获得的效益**化。此时,相应的模型为(1.2)其中,ma是(极大化)的简称,f为某种效益函数。注意到问题(1.2)可转化为形如模型(1.1)的等价问题。
为了对**化问题有一个直观的了解,我们考察几个具体问题的数学模型。
例1.1.1(食谱问题)设市场上可以买到n种不同的食品,每种食品含有m种营养成分。设每单位的j种食品含第i种营养成分的数量为aij(i=1;2;…;m;j=1;2;…;n)。第j种食品的单位价格为cj(j=1;2;…;n)。再设每人每天对第i种营养成分的需求量为bi(i=1;2;…;m)。试确定在保证营养需求条件下的经济食谱。
解 设购入第j种食品的数目为j(j=1;2;…;n);则总开支为所获得的第i种营养成分总量为我们的目标是使得函数f达到最小。所满足的条件为:gi(x)>bi(i=1;2;…;m)。此外,购入食品的数目j不能为负数。因此,我们得问题的如下数学模型:其中,s. t. 是subject to(受约束于)的简称。
例1.1.2(数据拟合问题)设有观测数据(k,Yk)(k=1,2,…,5),其值如表1.1所示。试用一个简单的函数关系拟合这些数据。
图1.1线性拟合问题
解 将观测数据点在直角坐标系上标出,得图1.1。
由图1.1不难发现,(k,Yk)大致位于某一条直线的附近。因此,与U之间近似于线性关系。考虑用直线Y=α+b(1.3)对这些点进行拟舍,即确定α,b的值,使得点(k,Yk)(k=1,2,…,5),通过或靠近上面的直线。不难发现,对于上述数据点,不存在α夕,使得方程(1.3)对所有的(k,Yk)(k=1,2,…,5)都满足。因此,我们求α,b,使得函数达到最小值,即上面的数据拟合问题可通过如下的极小值问题来描述:
在问题(1.1)中,若D=Rn,则问题称为无约束**化问题(简称无约束问题),否则称为约束**化问题(简称约束问题)。上面的例1.1.1是约束问题,而例1.1.2是无约束问题。
无约束问题通常记为(1.4)约束问题的一般形式为(1.5)其中gi约束问题(1.5)中,函数gi(i2I;hj;j2E)称为约束函数。不等式组gi(x)>0(i2I)和等式组hj(x)=0(j2E)分别称为不等式约束条件和等式约束条件,统称为约束条件。满足问题(1.5)的约束条件的点所构成的集合称为问题的可行域,记为D。即**化的一个主要研究内容就是求问题(1.1)的解。
**化问题的解分为局部**解和全局(整体)**解。其定义如下。
定义1.1.1 设点x∈D。若存在的一个邻域U(x),使得如下不等式成立(1.6)则称是问题(1.1)的一个局部**解,或简称为问题(1.1)的一个**解。若不等式(1.6)对所有fg成立严格不等式,则称是问题(1.1)的一个严格局部**解。若不等式(1.7)成立,则称是问题(1.1)的一个全局(整体)**解。若不等式(1.7)对所有Dnfg成立严格不等式,则称是问题(1.1)的一个严格全局(整体)**解。
约束**化问题中有两类重要的问题。当目标函数f和约束函数gi(i2I;hj;j2E)都是线性函数时,约束问题(1.5)称为线性规划。当目标函数f是二次函数且约束函数gi(i2I;hj;j2E)都是线性函数时,约束问题(1.5)称为二次规划。此外,若函数f是Rn中的凸函数且D是凸集时,问题(1.1)称为凸规划。凸集和凸函数的概念我们将在下一节中介绍。
在结束本节之前,我们回顾一下多元函数的Taylor展开式以及向量和矩阵范数。
设f二次连续可微。我们用rf(x)和r2f(x)分别表示f在处的梯度向量和Hessian矩阵,即对y定义一元函数如下:经直接计算可得á的一阶、二阶导数与f的梯度与Hessian矩阵之间的如下关系:利用一元函数中值定理,容易导出多元函数的一阶、二阶中值定理。
多元函数的一阶Taylor展开式(一阶中值定理)如下:
多元函数的二阶Taylor展开式(二阶中值定理)如下:
向量值函数有类似的中值定理。设F=(F1;F2;…;Fm)T连续可微。F0(x)表示F在处的Jacobi矩阵,即(1.8)。
如无特别说明,本书所用到的向量范数均为Euclid范数,即对2Rn,k=(T)1=2.对矩阵Rn,A表示由向量范数k导出的范数,即我们以表示矩阵的Frobenius范数,即其中,tr(A)表示矩阵A的迹。
1.2 凸集和凸函数
本节介绍凸集、凸函数的定义及其基本性质。
1.2.1 凸集
定义1.2.1若集合Rn满足(1.9)则称S是Rn中的凸集。
从几何的角度,凸集S可解释为:若S包含点;y,则它包含了与y的连线。如图1.2所示。
图1.2凸集与非凸集