wowotou1998-CSDN博客

原创随机变量与协方差矩阵

什么是随机变量随机变量（random variable）表示随机试验各种结果的实值单值函数, 也就是说随机变量的值只能是一个标量, 而不能是矢量。随机事件不论与数量是否直接有关，都可以数量化，即都能用数量化的方式表达.随机事件数量化的好处是可以用数学分析的方法来研究随机现象。例如某一时间内公共汽车站等车乘客人数，电话交换台在一定时间内收到的呼叫次数，灯泡的寿命等等，都是随机变量的实例.假设现在有N个人身高和体重的数据, 则这些数据可以看成是一个N行2列的矩阵,也可以看成很多在二维空间中的数据点, 则我们

2021-09-09 20:40:35 2811

原创凸优化之有等式约束的优化问题的求解方法

有等式约束的优化问题的求解方法对数障碍 log barrier\text{log barrier}log barrier首先, 介绍一下 log barrier\text{log barrier}log barrier 方法:min⁡f0(x)s.t.fi(x)≤0i=1⋯mAx=b⇔min⁡f0(x)+∑i=1m−(1/t)log⁡(−fi(x))s.t.Ax=b\begin{array}{lll}\min & f_{0}(x) &\\\

2021-06-05 19:49:22 1060

原创凸优化之无约束优化问题的求解方法

无约束优化问题的求解方法minimizef(x)\text{minimize} \quad f(x)minimizef(x)其中 f:Rn→Rf: \mathbf{R}^{n} \rightarrow \mathbf{R}f:Rn→R 是二次可微凸函数(这意味着 dom⁡f\operatorname{dom} fdomf 是开集).我们假定该问题可解，即存在最优点 x⋆x^{\star}x⋆ . 更准确地说，x⋆x^{\star}x⋆ 不仅存在，并且唯一.我们用 p⋆p^{\star}p⋆ 表示最优值

2021-06-05 19:48:25 710

原创凸优化之优化算法的一般步骤

优化算法的目的：寻找最优解算法的运行形式：通过迭代的形式, 从一个初始点开始一步一步的接近最优解. 比如 xk+1=xk−α∇f(xk)x^{k+1}=x^{k}-\alpha \nabla f\left(x^{k}\right)xk+1=xk−α∇f(xk), 表示点 xkx^{k}xk 沿着负梯度方向移动 α\alphaα 的距离(严格来说是 α∥∇f(xk)∥\alpha\left\|\nabla f\left(x^{k}\right)\right\|α∥∥∇f(xk)∥∥ 的距离)得到一个新的

2021-06-05 19:46:42 799

原创凸优化之KKT条件

互补松弛性设原问题和对偶问题的最优值都可以达到且相等 (即强对偶性成立). 令 x⋆x^{\star}x⋆ 是原问题的最优解, (λ⋆,ν⋆)\left(\lambda^{\star}, \nu^{\star}\right)(λ⋆,ν⋆) 是对偶问题的最优解，这表明原问题所得到的最优值=对偶问题所得到的最优值f0(x⋆)=g(λ⋆,ν⋆)=inf⁡x(f0(x)+∑i=1mλi⋆fi(x)+∑i=1pνi⋆hi(x))⩽f0(x⋆)+∑i=1mλi⋆fi(x⋆)+∑i=1pνi⋆hi(x⋆)⩽f0(x⋆

2021-05-28 09:22:49 931

原创凸优化之强弱对偶性与Slater准则

弱对偶性Lagrange\text{Lagrange}Lagrange 对偶问题的最优值, 我们用 d⋆d^{\star}d⋆ 表示, 根据定义, 这是通过 Lagrange\text{Lagrange}Lagrange 函数得到的原问题最优值 p⋆p^{\star}p⋆ 的最好下界(即最大下界). 特别地, 我们有下面简单但是非常重要的不等式 d⋆⩽p⋆(primal dual)d^{\star} \leqslant p^{\star} (\text{primal dual})d⋆⩽p⋆(p

2021-05-28 09:21:38 1624 1

原创深度神经网络中的反向传播算法以及对softmax函数求导

神经网络的模型结构a1(2)=σ(W10(1)x0+W11(1)x1+W12(1)x2+W13(1)x3)a2(2)=σ(W20(1)x0+W21(1)x1+W22(1)x2+W23(1)x3)a3(2)=σ(W30(1)x0+W31(1)x1+W32(1)x2+W33(1)x3)\begin{gathered} a_1^{(2)} = \sigma(\mathbf{W} _{10}^{(1)}{x_0} + \mathbf{W} _{11}^{(1)}{x_1} + \mathbf{W} _{12

2021-05-14 22:05:06 151

原创凸优化之对偶理论的理解

对偶理论的理解对偶对偶理论6有约束问题的无约束形式预备知识预备结论(控制变量xxx,得到不等式右边最小值)正式推导(以凸函数性质中的不等式为基础,刻画迭代过程)合并以上推导得到最终结果参考资料对偶对偶理论6有约束问题的无约束形式预备知识凸函数性质∀x,y∈domf,f(y)=f(x)+∇f(x)T(y−x)二阶泰勒展开(假设x<y)f(y)=f(x)+∇f(x)T(y−x)+12(y−x)T∇2f(z)(y−x),z∈(x,y)凸函数的强凸性∀x∈domf,mI⪯∇2f(x)⪯MI(注意这

2021-04-30 17:09:35 250

原创凸优化之梯度下降法收敛性证明(仅考虑步长精确搜索情况)

预备知识凸函数性质∀x,y∈domf,f(y)=f(x)+∇f(x)T(y−x)二阶泰勒展开(假设x<y)f(y)=f(x)+∇f(x)T(y−x)+12(y−x)T∇2f(z)(y−x),z∈(x,y)凸函数的强凸性∀x∈domf,mI⪯∇2f(x)⪯MI(注意这里的符号⪯,I是单位矩阵,除对角线元素为1之外,其他全为0)凸函数性质\\\forall x,y \in domf, \quad f(y) = f(x)+ \nabla f(x)^T(y-x) \\二阶泰勒展开(假设x < y

2021-04-18 17:06:41 577

wowotou的博客