- 博客(14)
- 收藏
- 关注
RSS订阅原创 矩阵论（二）：广义逆矩阵（下）
本文以线性代数知识为基础。关于线代知识，如一些基本的秩（不）等式、零矩阵的判定条件等，可参考下面几篇博客。矩阵论（零）：线性代数基础知识整理（1）——逆矩阵、初等变换、满秩分解矩阵论（零）：线性代数基础知识整理（2）——矩阵的秩与向量组的秩矩阵论（零）：线性代数基础知识整理（3）——矩阵的秩与向量组的秩矩阵论（零）：线性代数基础知识整理（4）——线性空间与线性变换矩阵论（零）：线性代数基...
2020-03-18 22:32:01
1999
4
原创 矩阵论（四）：矩阵分解—从Schur分解、特征值分解EVD到奇异值分解SVD（下）
Schur分解、特征值分解、奇异值分解是三种联系十分紧密的矩阵分解，它们的关系是Schur→EVD→SVDSchur\rightarrow{}EVD\rightarrow{}SVDSchur→EVD→SVD，也就是说由Schur分解可以推导出EVD，再推导出SVD。本篇博客讨论特征值分解和奇异值分解的相关内容。上篇博客（链接）讨论的是Schur分解以及利用Schur分解能够解决的若干问题，其中包...
2020-03-09 00:05:08
5598
1
原创 矩阵论（零）：线性代数基础知识整理（5）——特征值与相似
本篇博客的上篇是矩阵论（零）：线性代数基础知识整理（4）——线性空间与线性变换，梳理了线性空间与线性变换的相关内容。本文主要整理矩阵的特征值与相似的相关内容。方阵的特征值特征值的定义及性质特殊矩阵的特征值（对角矩阵、上（下）三角矩阵、酋矩阵）AHAA^HAAHA和AAHAA^HAAH的特征值的关系（推广：ABABAB和BABABA的特征值的关系）相似变换与相似对角化相似矩阵的...
2020-02-22 22:56:52
3894
原创 矩阵论（零）：线性代数基础知识整理（3）——矩阵的秩与向量组的秩
本篇博客承接矩阵论（零）：线性代数基础知识整理（上），主要整理秩相关的结论。线性方程组的解与向量组的秩线性方程组的解向量组的秩零矩阵的判定定理关于秩的重要结论（结合向量组的秩、分块矩阵的秩的方法进行总结）矩阵的秩与向量组的秩的关系常用矩阵秩相关的等式和不等式∣r(A)−r(B)∣⩽r(A±B)⩽r(A)+r(B)|r(A)-r(B)|\leqslant r(A\pm B...
2019-12-27 00:18:17
2507
3
原创 矩阵论（补充知识）：特征多项式的展开式
国内线性代数教材上关于n阶矩阵AAA的特征多项式的系数只讲了常数项、n-1次项和n次项的，分别为det(A),tr(A),1det(A),tr(A),1det(A),tr(A),1。一直很好奇其他项的系数是什么样的。查资料知有如下定理：定理：设A∈Cn×nA\in C^{n\times n}A∈Cn×n，则AAA的特征多项式det(λI−A)=λn+a1λn−1+a2λn−2+...+an−1...
2019-11-17 17:16:47
20813
2
原创 矩阵论（三）：矩阵分解—从Schur分解、特征值分解EVD到奇异值分解SVD（上）
本篇博客针对三种联系十分紧密的矩阵分解（Schur分解、特征值分解、奇异值分解）依次介绍，它们的关系是Schur→EVD→SVDSchur\rightarrow{}EVD\rightarrow{}SVDSchur→EVD→SVD，也就是说由Schur分解可以推导出EVD，再推导出SVD。推导所需基础线性代数知识（尤其是特征值方面的）请参考线性代数基础知识（上）以及线性代数基础知识（下）。Sch...
2019-09-26 23:19:26
31820
3
原创 矩阵论（零）：线性代数基础知识整理（2）——矩阵的秩与向量组的秩
本篇博客承接上篇矩阵论（零）：线性代数基础知识整理（上），主要整理秩相关的结论。线性方程组的解与向量组的秩线性方程组的解向量组的秩关于秩的重要结论（结合向量组的秩和矩阵的秩进行总结）矩阵的秩与向量组的秩的关系常用的秩的等式和不等式一些重要推论零矩阵的判定定理线性方程组的解与向量组的秩线性方程组的解（初步讨论）对任意线性方程组Ax=bAx=bAx=b，其中A...
2019-09-14 22:55:00
3105
6
原创 矩阵论（六）：矩阵的条件数
线性代数基础知识（上）线性代数基础知识（下）广义逆矩阵矩阵分解——从Schur分解、特征值分解到奇异值分解矩阵的条件数用于界定一个矩阵是“良态的”还是“病态的”，一般来说，条件数越大，矩阵越接近一个奇异矩阵（不可逆矩阵），矩阵越“病态”。在数值计算中，矩阵的条件数越大，计算的误差越大，精度越低。例如下面在Matlab中对矩阵A求逆结果：矩阵A十分接近于一个奇异矩阵，其条件数很大，求出...
2019-03-08 16:18:47
44360
9
原创 矩阵论（八）：矩阵微分与矩阵求导
广义逆矩阵做机器学习的几乎避免不了矩阵求导，尤其是神经网络方面的，反向传播算法说白了就是在做矩阵求导，拿到代价函数对模型中每个参数矩阵的导数，才能找到一个下降方向，进而更新这些参数来降低损失。虽然实际编程时大可不必考虑这些繁琐的数学计算，但是要真正理解凸优化中的一些方法，掌握这个基本的数学工具还是有必要的。【注1】下面的探讨均在实数域内进行。【注2】虽然RnR^nRn定义为实数域RRR中的...
2019-02-20 23:54:21
6447
原创 矩阵论（七）：投影矩阵
线性代数基础知识（上）线性代数基础知识（下）广义逆矩阵投影矩阵投影的定义投影矩阵求法性质投影矩阵的应用从投影角度看广义逆从投影角度看最小二乘。。。投影的定义什么是投影？下图给出了投影的直观理解：如图是在R3R^3R3空间中，一条直线lll与一个平面α\alphaα相交，向量zzz是R3R^3R3中的一个向量。把lll看成是一束光（方向从上到下），光...
2019-01-18 23:32:03
83307
18
原创 矩阵论（五）：矩阵的正定性
最近学习凸优化理论，最速下降方法中有个二次范数的概念，涉及到正定矩阵的种种性质，牛顿下降方法中的牛顿方向和收敛性证明也用到矩阵的正定性。对矩阵正定性的研究用特征值分解比较方便，正好前面的博客整理过特征值分解的内容，这篇博客就梳理一下矩阵正定性的常用知识~~线性代数基础知识（上）线性代数基础知识（下）广义逆矩阵矩阵分解——从Schur分解、特征值分解到奇异值分解矩阵的正定性及其性质...
2018-11-14 16:21:11
26962
4
原创 矩阵论（零）：线性代数基础知识整理（4）——线性空间与线性变换
本篇博客是线性代数的基础理论知识下篇，限于篇幅，不会把所有定义都罗列出来，而是将整理的重点放在定理和结论上（当然有些必要的定义还是会说明的），对于最基础的概念（如什么是矩阵、行列式的定义及基本计算方法、矩阵的基本运算等等）不清楚的童鞋可以参考线性代数常用基本知识整理。本篇博客的上篇是矩阵论(零)：线性代数基础知识整理（上）。为更具一般性，讨论复矩阵和复向量，向量如无特别说明均为列向量本篇博客...
2018-09-25 22:12:56
8208
6
原创 矩阵论（一）：广义逆矩阵（上）
请参考上一篇博客： 线性代数基础知识广义逆矩阵左逆矩阵与右逆矩阵{1}逆Moore-Penrose广义逆{1,4}逆与极小范数解{1,3}逆与最小二乘解左逆矩阵与右逆矩阵我们知道，只有方阵才有逆矩阵，且可逆方阵对方阵是有限制条件的，只有行列式不为零的方阵才可逆。可逆方阵给我们解线性方程组带来了很大的方便：设Ax=yAx=yAx=y（A称为Ax=yAx=yA...
2018-09-11 20:21:22
30468
12
原创 矩阵论（零）：线性代数基础知识整理（1）——逆矩阵、（广义）初等变换、满秩分解
矩阵论（零）：线性代数基础知识整理为更具一般性，讨论复矩阵和复向量，向量如无特别说明均为列向量复数的运算法则、复矩阵的共轭与共轭转置行列式的性质逆矩阵 初等变换与矩阵、向量组的秩零矩阵的判定方法向量空间、正交矩阵与线性变换方阵的迹及其性质矩阵的特征值相似变换与相似对角化复数的运算法则、复矩阵的共轭与共轭转置复数的运算法则 复数的四则运算律与实数的完全...
2018-09-07 16:17:49
8890
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人