前言

信号处理在现代世界中的影响在很多情况下超出了我们的想象。从太空探索到地球内部石油和天然气的发现，再到医学和生物医学应用，音频、语音和视频图像的信号处理一直处于数字计算机出现所引发的技术革命的前沿。尽管信号处理课程主要在电气工程（以及现在的电气和计算机工程）系开设，但大量的物理学家和数学家为该学科的发展做出了贡献，并继续在他们的工作中使用信号处理技术。信号处理理论和算法深深植根于应用数学（傅里叶、拉普拉斯、维纳和香农在成为物理学家和工程师之前首先是数学家），事实上，如果没有对基础数学的透彻理解，就不可能为现代信号处理的高级研究做出贡献。本书旨在涵盖基本的数学思想和方法，以使学生能够研究该学科的最新发展，并明智而有效地使用信号处理算法。本书的学习基础是讲授多变量微积分、线性代数、概率论和基本信号处理概念（包括采样信号和滤波器）的本科课程。我们认为没有必要包含任何计算机代码，原因有两个：首先，算法的实现和对数据的测试是一种宝贵的学习经验；其次，复杂的信号处理库的可用性使得学习算法背后的数学理论变得更加重要理解数学理论可以帮助我们正确有效地使用算法。如果用一个方程和一个图形来代表线性信号处理的主题，毫无疑问，它必须是卷积运算的离散时间版本中描述的卷积运算的离散时间版本，其中，h［m］是线性系统脉冲响应，x［n］是输入，y［n］是系统的输出。许多;高级信号处理是关于找到满足某种约束条件下最优性准则的;最优滤波器（在所有实际情况下具有有限数量的元素）。最优性准则通常表示为误差序列的某个平方范数的最小化，该误差序列定义为输出y［n］和期望序列d［n］之间的差。根据相关的数学范数，该公式可以应用于各种问题。例如，在没有统计模型的情况下，使用l2范数寻找最小二乘解，尽管在某些情况下，例如压缩感知，可以使用l1范数。当信号本质上是随机的时，我们寻找最小均方误差(Minimum Mean Square Error,MMSE)滤波器，其主要示例是维纳滤波器，它在最优线性滤波中起着核心作用。

高级信号处理的其他重要概念包括;最小相位系统函数和;谱分解。由信号的最小相位谱因子和与信号;信息等效的白噪声构成的白化滤波器是描述自回归移动平均（AutoRegressive Moving Average,ARMA）的自然方式，特别是用于描述零极点系统函数的自回归（AutoRegressive,AR）模型，卷积运算的离散时间版本可以描述除;前向线性预测模型之外的此类参数信号模型。AR模型的输入是白噪声序列，而在前向线性预测器中，输入是输出过程的先前值的有限集合。最优性准则可以表示为一个（可能有约束的）最小化问题，该问题涉及一个平方埃尔米特和正定;特普利茨矩阵R，即;自相关或;自协方差矩阵。本书主要是关于最优线性滤波器、自相关（或自协方差）矩阵及其特征结构的估计，以及它们在谱分析中的应用。此外，还介绍了一些信息论概念及其在信号处理中的应用，例如独立分量分析。值得一提的是，还专门设置了一章来介绍现代神经网络，不仅因为它们可以被视为迭代技术的扩展，以解决应用于线性组合器或滤波器输出的非线性激活优化问题（在卷积神经网络的情况下），更因为在理论研究和应用中，尤其在许多传统信号和图像处理领域（如语音和图像识别），神经网络的应用正以惊人的速度增长。我们尽力编写具有准确、一致和便于理解的数学符号的独立教材，该教材应该适合电气工程、物理、应用数学和计算机科学专业的学生阅读。我们以定理的形式陈述了最重要的结果，并带有简单和足够严格的证明。本书涵盖的主题是该领域的核心，为希望继续攻读更高学位或了解最新理论发展以将其应用于工作的学生提供了坚实的基础。关于本书的勘误将发布在www.mhprofessional.com/najmi上，并且如有需要，教师可以通过发送邮件至ahnajmi@jhu.edu获取一定数量的习题。

A.H.Najmiahnajmi@jhu.eduT.K.MoonTodd.Moon@usu.edu

本书扩充自约翰斯霍普金斯大学怀廷工程学院的高级信号处理研究生课程，这门课程面向具有电气工程、物理、计算机和数据科学以及数学等相关专业背景的学生。书中涵盖了统计信号处理应用的理论基础，包括谱估计、线性预测、自适应滤波器和均匀线性阵列的优化处理。本书还包括对现代神经网络的全面介绍，以及时间序列预测和图像分类方面的案例，在同类型教材中具有鲜明而突出的特色。

本教材是约翰霍普金斯大学怀廷学院课程中高级信号处理研究生课程的扩展版本，面向来自电气工程，物理学，计算机和数据科学以及数学背景的专业人士。 它涵盖了统计信号处理中的基础理论应用，包括频谱估计，线性预测，自适应滤波器以及统一空间阵列的优化处理。 在该类教材中具体独特性，它还包括对现代神经网络的全面介绍，并提供了时间序列预测和图像分类的示例。

阿米尔_霍马温纳吉米（Amir_Homayoon Najmi）得克萨斯大学相对论中心富布赖特学者。他的研究领域广泛，包括宇宙时空中的量子场论、地震逆散射、应用于电磁波和生物监测的自适应信号处理。托德K. 穆恩（Todd K. Moon）犹他州立大学电气与计算机工程系主任。他在数字通信理论与信号处理领域发表了大量学术成果。

译者：

程伟西北工业大学电子信息学院副教授，国家级一流本科课程;数字信号处理Ⅰ教学团队成员，多年从事;数字信号处理课程的教学工作，以及通信与雷达信号处理、自组织网络等方面的科研工作。先后主持国家自然科学基金、中国博士后科学基金、陕西省自然科学基础研究计划等多项科研项目。李勇西北工业大学电子信息学院教授，陕西省教学名师，国家级一流本科课程;数字信号处理Ⅰ负责人。主讲本科生和研究生课程：数字信号处理、雷达原理、现代数字信号处理、信号处理的工程应用、时频分析与子波变换等。 主要研究方向为数字信号处理技术在雷达、通信、电子对抗和多媒体领域的应用，以及认知无线电与软件无线电技术。董理濛西北工业大学电子信息学院副教授，从事无线通信、信号处理方面的研究，主要研究方向为B5G、6G物理层保密传输技术、基于可重构智能表面辅助的安全通信技术。发表SCI收录学术论文20余篇。

目录

译者序

前言

致谢

缩略语

第1章信号空间的数学结构1

1.1引言1

1.2向量空间、范数和内积2

1.3标准正交向量和格拉姆施密

特法4

1.4完备基和标准正交基5

1.5函数空间中的线性算子6

1.6矩阵行列式、特征向量和特征值7

1.7矩阵范数8

1.8Ax=b的解9

1.9希尔伯特空间中的投影10

1.10长椭球函数12

1.11近似问题和正交原理14

1.12正交投影与哈尔尺度和小波

函数15

1.13多分辨率分析子空间和离散

正交小波基16

1.14压缩感知20

第2章矩阵分解和最小二乘问题23

2.1引言23

2.2QR分解23

2.3使用Givens旋转的QR分解24

2.4使用Householder反射的QR26

2.5QR分解和满秩最小二乘法27

2.6Cholesky分解和满秩最小二

乘法28

2.7奇异值分解29

2.8SVD和降秩近似30

2.9SVD和矩阵子空间32

2.10SVD：满秩最小二乘法和最小

范数解33

2.11总体最小二乘法33

2.12SVD和正交Procrustes问题35

第3章线性时不变系统和变换37

3.1引言37

3.2拉普拉斯变换38

3.3相位和群延迟响应：连续时间40

3.4Z变换41

3.5相位和群延迟响应：离散

时间42

3.6最小相位和前载特性45

3.7傅里叶变换46

3.8短时傅里叶变换和频谱图47

3.9离散时间傅里叶变换48

3.10Chirp Z变换50

3.11有限卷积50

3.12倒谱51

3.13正交离散小波变换54

3.14希尔伯特变换关系56

3.15解析信号和瞬时频率58

3.16时频分布函数59

第4章最小二乘滤波器62

4.1引言62

4.2二次最小化问题62

4.3频域最小二乘滤波器64

4.4时域最小二乘整形滤波器65

4.5最小二乘滤波的梯度下降迭

代解69

4.6时延估计70

第5章随机变量和估计理论73

5.1实随机变量和随机向量73

5.2复随机变量和随机向量75

5.3随机过程77

5.4高斯随机变量和随机向量79

5.5格拉姆施密特去相关82

5.6主成分分析83

5.7卡胡南拉维变换86

5.8最小二乘滤波器的统计特性89

5.9随机变量的估计89

5.10联合高斯随机向量、条件均值

和协方差91

5.11条件均值和线性模型93

5.12卡尔曼滤波器94

5.13参数估计和克拉默拉奥下界95

5.14线性最小方差无偏估计量和

最大似然估计量99

5.15线性模型参数向量的最大似然

估计101

5.16高斯噪声中复正弦信号复振幅

的最大似然估计102

5.17一阶高斯马尔可夫过程的最大

似然估计102

5.18信息论：熵与互信息104

5.19独立分量分析106

5.20最大似然独立分量分析110

第6章广义平稳随机过程112

6.1自相关函数及功率谱密度112

6.2零均值白噪声中的复正弦

信号116

6.3MUSIC算法118

6.4Pisarenko谐波分解119

6.5ESPRIT算法120

6.6时间反转信号向量的自相关

矩阵122

第7章线性系统与随机输入123

7.1滤波随机过程123

7.2广义平稳噪声中已知非随机

信号的检测124

7.3广义平稳随机噪声中广义平稳

随机信号的检测126

7.4典型分解126

7.5连续时间因果维纳滤波器128

7.6离散时间因果维纳滤波器130

7.7因果维纳滤波器和卡尔曼滤

波器132

7.8非因果维纳滤波器和相干

函数133

7.9广义互相关和时延估计135

7.10随机场136

第8章功率谱密度估计和信号

模型137

8.1引言137

8.2各态历经性137

8.3均值和相关函数的样本估计138

8.4周期图139

8.5周期图的统计特性140

8.6减少周期图方差142

8.7多窗口法144

8.8经典谱估计的示例应用146

8.9最小方差无失真谱估计148

8.10自回归移动平均信号模型151

8.11自回归信号模型152

8.12最大熵和AR(P)过程153

8.13谱平坦度和AR(P)过程157

8.14AR(P)过程示例158

8.15Levinson?Durbin算法159

8.16MVD和AR谱的关系161

8.17零均值广义平稳随机信号的自

回归模型163

8.18白噪声中复正弦信号的自

回归模型164

8.19白噪声中多个复正弦信号的

自回归模型164

8.20AR模型的分辨率166

8.21AR模型参数估计166

8.22最大似然AR参数估计：自相

关法168

8.23最大似然AR参数估计：协方

差法169

8.24模型阶数选择171

8.25赤池信息量准则171

8.26贝叶斯模型阶数选择173

8.27最小描述长度173

第9章离散时间维纳滤波器和线性预测175

9.1引言175

9.2离散时间FIR维纳滤波器175

9.3前向预测问题176

9.4后向预测问题177

9.5预测误差序列和偏相关179

9.6格型滤波器179

9.7前向PEF的最小相位特性181

9.8AR参数估计：Burg法184

9.9线性预测和语音识别185

第10章自适应滤波器188

10.1引言188

10.2LMS算法189

10.3复LMS算法190

10.4符号自适应LMS算法191

10.5归一化LMS算法192

10.6均衡LMS收敛速率193

10.7递归最小二乘法193

10.8RLS实现196

第11章线性阵列的优化处理198

11.1均匀线性阵列198

11.2ULA上的信号模型198

11.3波束成形200

11.4最优波束成形203

11.5最优波束成形器的性能208

11.6实际中的最优波束成形209

11.7SMI波束成形中的递归方法211

11.8PCA和主模式抑制波束成形213

11.9到达方向估计214

第12章神经网络218

12.1引言218

12.2感知机219

12.3全连接前馈神经网络222

12.4反向传播算法223

12.5神经网络训练中的损失函数225

12.6梯度下降变体226

12.7单隐藏层和多隐藏层神经

网络227

12.8小批量训练和归一化227

12.9网络初始化229

12.10正则化230

12.11卷积神经网络231

12.12卷积神经网络的时间序列

分类235

12.13基于卷积神经网络的图像

分类237

12.14循环神经网络239

12.15无监督学习242

12.16生成对抗网络243

12.17观点246

参考文献248