（基础篇）

本书从线性变换的角度对矩阵的诸多重要概念进行了新的梳理。具体而言，第1章给出了矩阵的由来，指出矩阵是表达自然界中线性变换的最为自然的工具；第2章讲述了线性变换在一组基下的矩阵表达，从而引出矩阵相似的概念；第3章结合数的发展从特征分析的角度给出了一个矩阵可能包含的线性变换类型；第4章着重阐述若尔当标准形理论以及其重要的物理意义；第5章从线性变换的连续性角度，讨论了矩阵的任意次幂问题；第6章从线性变换的整体缩放角度，讲述了行列式的几何意义以及相关的代数性质；第7章和第8章的研究对象从单个的矩阵转到矩阵的集合，着重讲述了矩阵李群和矩阵李代数的相关概念及含义。

（算法篇）

本书对多种经典矩阵算法进行了新颖、全面且深入的解读。具体而言，第1章从代数、几何、分析和概率等多个角度详细介绍了最小二乘法；第2章对主成分分析进行了深入解析，涵盖代数、几何、子空间逼近与概率视角；第3章探讨了一种新兴的非对称数据分析方法——主偏度分析，并深入剖析了其性质和理论内涵；第4章介绍了典型相关分析及其关键性质，并从几何角度对其本质进行了进一步的阐释；第5章聚焦于非负矩阵分解，探讨了其与混合像元分析、奇异值分解、聚类分析及KKT条件的关联；第6章重点介绍局部线性嵌入，并将其与其他典型非线性特征提取方法进行了系统比较；第7章深入介绍经典的傅里叶变换，并从矩阵角度对其内涵进行了新的诠释；第8章介绍了一种新颖的一阶统计分析方法——连通中心演化，重点阐明其在数据中心识别方面的优势和潜力；第9章探讨了（广义）瑞利商，展示了其在十种不同场景中的广泛应用。附录部分还收录了向量范数与矩阵范数、矩阵微积分等常用概念和公式。

基础篇

目录　
前言　
第1章　矩阵与线性变换　1　
1.1　自然界中的线性变换　1　
1.2　线性变换与矩阵　7　
1.3　小结　8　
第2章　矩阵相似与矩阵合同　10　
2.1　矩阵相似　10　
2.1.1　坐标系与向量　10　
2.1.2　坐标转换　12　
2.1.3　相似矩阵　14　
2.2　矩阵合同[选读]　17　
2.2.1　直线的长度　17　
2.2.2　合同矩阵　18　
2.3　小结　20　
第3章　矩阵特征分析　22　
3.1　矩阵的特征值与特征向量　22　
3.1.1　实特征值与特征向量　22　
3.1.2　复特征值与特征向量　24　
3.1.3　矩阵的基本线性分解　31　
3.2　特征多项式　38　
3.3　小结　41　
第4章　矩阵对角化与若尔当标准形　42　
4.1　矩阵对角化　42　
4.2　若尔当标准形　43
4.3　小结　49　
第5章　矩阵的幂　51　
5.1　可对角矩阵的幂　51　
5.1.1　实特征值情形　53　
5.1.2　复特征值情形　55　
5.1.3　两种类型特征值情形　57　
5.1.4　负特征值情形　61　
5.1.5　负特征值对情形　62　
5.2　任意矩阵的幂　66　
5.2.1　矩阵二项式定理　66　
5.2.2　矩阵开方定理　69　
5.3　小结　72　
第6章　行列式　73　
6.1　行列式的定义　73　
6.2　行列式的几何意义　74　
6.3　行列式的代数解释　75　
6.4　行列式的相关概念　78　
6.4.1　叉积　78　
6.4.2　楔形积　81　
6.4.3　混合积　87　
6.5　小结　89　
第7章　矩阵李群　90　
7.1　群　90　
7.2　置换群　96　
7.3　矩阵李群　99　
7.4　李群[选读]　102　
7.5　小结　103　
第8章　矩阵李代数　104　
8.1　矩阵指数　104
8.2　矩阵李群的李代数　109　
8.3　李代数　115　
8.4　矩阵李群同态定理　117　
8.5　小结　118　
参考文献　119

算法篇

目录
前言
第1章 最小二乘法 1
1.1 问题背景 1
1.2 线性方程组的两个图像 2
1.2.1 线性方程组的行空间图像 3
1.2.2 线性方程组的列空间图像 5
1.3 线性方程组的最小二乘解 6
1.3.1 最小二乘法的行空间方法 6
1.3.2 最小二乘法的列空间方法 7
1.3.3 直线拟合 8
1.4 最小二乘法的几何解释 10
1.5 最小二乘法的概率解释 12
1.6 最小二乘法在应用中的问题 15
1.6.1 变量问题 15
1.6.2 约束问题 19
1.6.3 病态问题 21
1.6.4 异常问题 22
1.6.5 目标函数问题 24
1.7 小结 25
第2章 主成分分析 27
2.1 问题背景 27
2.2 基本统计概念 29
2.2.1 随机变量的数字特征 29
2.2.2 样本统计量 31
2.2.3 样本统计量的向量表示 33
2.3 主成分分析的基本原理 36
2.3.1 任意方向的方差 36
2.3.2 模型与求解 37
2.4 主成分分析的几何解释 41
2.5 主成分分析的子空间逼近解释 47
2.6 主成分分析的概率解释 50
2.7 主成分分析的信息论解释 51
2.8 主成分分析在应用中的问题 52
2.8.1 非高斯问题 52
2.8.2 量纲问题 53
2.8.3 维数问题 54
2.8.4 噪声问题 55
2.9 小结 55
第3章 主偏度分析 56
3.1 问题背景 56
3.2 基本概念 57
3.2.1 偏度的定义 57
3.2.2 数据白化 58
3.2.3 张量基本运算 59
3.2.4 统计量映射图 61
3.3 主偏度分析 63
3.3.1 任意方向的偏度 63
3.3.2 协偏度张量的计算 65
3.3.3 模型与求解 67
3.4 非正交约束主偏度分析 71
3.4.1 克罗内克积 71
3.4.2 非正交约束 72
3.5 主偏度分析与独立成分分析 78
3.5.1 快速独立成分分析 79
3.5.2 FastICA 与主偏度分析 80
3.6 主偏度分析的几何解释 82
3.6.1 单形体的偏度映射图 82
3.6.2 几何解释 85
3.7 主偏度分析在应用中的问题 87
3.7.1 收敛问题 87
3.7.2 噪声问题 88
3.7.3 精确解问题 89
3.8 小结 90
第4章 典型相关分析 91
4.1 问题背景 91
4.2 互相关分析 92
4.2.1 模型与求解 93
4.2.2 存在的问题 97
4.3 典型相关分析 99
4.4 典型相关分析与互相关分析 105
4.5 典型相关分析的几何解释 107
4.5.1 幂法 108
4.5.2 几何解释 109
4.6 典型相关分析的变形 111
4.6.1 多视图典型相关分析 111
4.6.2 二维典型相关分析 114
4.7 典型相关分析在应用中的问题 117
4.7.1 病态问题 117
4.7.2 失配问题 117
4.7.3 目标函数和优化模型问题 118
4.8 小结 119
第5章 非负矩阵分解 120
5.1 问题背景 120
5.2 非负矩阵分解的基本原理 121
5.2.1 问题描述 121
5.2.2 问题求解 122
5.3 非负矩阵分解的概率解释 125
5.3.1 高斯分布情形 125
5.3.2 泊松分布情形 126
5.4 非负矩阵分解的物理解释 128
5.5 非负矩阵分解与奇异值分解 129
5.6 非负矩阵分解与K-means 132
5.7 非负矩阵分解与KKT条件 133
5.8 非负矩阵分解在应用中的问题 134
5.8.1 目标函数的凸凹性 134
5.8.2 局部极值问题 136
5.8.3 分母零值问题 137
5.8.4 观测数据负值问题 138
5.9 小结 139
第6章 局部线性嵌入 140
6.1 问题背景 140
6.2 基本概念 141
6.3 局部线性嵌入 146
6.4 拉普拉斯映射 151
6.5 随机邻域嵌入 153
6.6 多维尺度变换 155
6.7 等距特征映射 157
6.8 局部线性嵌入在应用中的问题 160
6.8.1 病态问题 161
6.8.2 改进局部线性嵌入 162
6.8.3 黑塞局部线性嵌入 163
6.9 小结 165
第7章 傅里叶变换 167
7.1 问题背景 167
7.2 傅里叶级数 168
7.3 连续傅里叶变换 171
7.3.1 从傅里叶级数到傅里叶变换 171
7.3.2 傅里叶变换的性质 178
7.4 离散傅里叶变换 182
7.5 快速傅里叶变换 187
7.6 离散傅里叶变换与循环移位矩阵 191
7.6.1 循环移位矩阵特征分解及频域解释 191
7.6.2 循环移位矩阵的时域解释 195
7.7 离散傅里叶变换与完美差分矩阵 201
7.8 离散傅里叶变换与离散余弦变换 206
7.9 傅里叶变换的物理解释 211
7.10 傅里叶变换在应用中的问题 212
7.10.1 频谱分辨率问题 212
7.10.2 频谱泄漏问题 214
7.10.3 时变信号问题 215
7.10.4 分数傅里叶变换 218
7.11 小结 219
第8章 连通中心演化 221
8.1 问题背景 221
8.2 基于K-means的中心确定算法 222
8.3 图论的基本概念 223
8.3.1 图的基本术语 223
8.3.2 图的存储结构 226
8.4 连通中心演化 227
8.4.1 动机与理论依据 227
8.4.2 相关概念 232
8.4.3 算法具体步骤 234
8.5 基于特征分解的快速连通中心演化算法 238
8.5.1 算法的计算复杂度 238
8.5.2 时间复杂度的降低 238
8.5.3 空间复杂度的降低 244
8.6 连通中心演化在应用中的问题 245
8.6.1 相似度矩阵构建问题 245
8.6.2 中心数跳变问题 246
8.6.3 样本量失衡问题 247
8.6.4 相似度矩阵的负值问题 249
8.6.5 中心位置局限问题 251
8.7 小结 253
第9章 瑞利商 254
9.1 问题背景 254
9.2 瑞利商的定义与性质 255
9.3 瑞利商的取值范围 257
9.3.1 特征分析法 257
9.3.2 线性规划法 257
9.3.3 广义瑞利商的取值范围 259
9.4 瑞利商的应用 260
9.4.1 主成分分析 260
9.4.2 最小化噪声分量变换 260
9.4.3 典型相关分析 261
9.4.4 线性判别分析 261
9.4.5 局部线性嵌入 262
9.4.6 法…率 263
9.4.7 自然频率估计 264
9.4.8 谱聚类 265
9.4.9 约束能量最小化 266
9.4.10 正交子空间投影 267
9.5 小结 268
参考文献 269
附录A 向量范数与矩阵范数 273
A.1 向量范数 273
A.2 矩阵范数 277
附录 B 矩阵微积分 278
B.1 实值标量函数相对于实向量的梯度 278
B.2 实值向量函数相对于实向量的梯度 280
B.3 实值函数相对于实矩阵的梯度 282
B.4 矩阵微分 284
B.5 迹函数的梯度矩阵 286
B.6 行列式的梯度矩阵 287
B.7 黑塞矩阵 289