- 博客(9)
- 收藏
- 关注
RSS订阅原创 交替极小化算法(Alternating Minimization, AM算法)
AM算法：给定一个初值，交替的固定一个变量，优化其他的，主要求解无约束优化．对于二元函数，AM算法在双稳定点（bistable point）停止，但有两个问题需要考虑的１）收敛到双稳定点的速度，即算法收敛阶２）收敛到的双稳定点是否是全局最小点AM算法迭代没有参数，不必花时间调整参数，但也意味着用户对算法进程控制更少．AM算法的收敛性完全依赖优化问题的结构性质．有界目标函数有多个双稳态点，AM最终收敛的稳定点取决于初始点的位置．当AM算法求解学习隐变量模型，矩阵填充（子问题是边缘凸），相位恢复问题
2022-03-28 22:26:18
5657
3
原创 (一)为什么要研究集中不等式（concentration inequalities）
本文是在读了Roman Vershynin的 High-Dimensional Probability之后根据自己的理解整理的。集中不等式量化随机变量 X 偏离其均值的程度。一般是一下形式：最简单的集中不等式是Chebyshev 不等式，(Chebyshev inequation)随机变量 X， 均值，方差,, 有 (可由Markov不等式直接得出)但Chebyshev 不等式是一个很一般的结论，在有些情况下太弱。下面给出一个例子说明通过中心极限定理分析随...
2021-01-31 16:22:59
1143
1
原创 win10 + annconda +pytorch 安装
win10 + annconda +pytorch 安装首先安装anaconda，利用左下角的create创建一个pytorch的虚拟环境python的版本选择的3.6。也可以在终端用conda 命令创建：conda create --name PyTorch python=3.6打开 anaconda prompt，激活虚拟环境：activate pytorch由base变成了pytorch环境就进去到刚才创建的pytorch虚拟环境了，然后下载pytorchpip install torc
2020-10-16 13:23:26
268
1
原创 Prateek Jain, Purushottam Kar《Non-convex Optimization for Machine Learning》的总结整理(3)
第三章应用主要介绍了４个具体的应用，我只看了前面两个问题，稀疏恢复和低秩矩阵恢复，这两个都是研究比较多的领域。PGD应用在稀疏恢复中得到IHT算法，并给出了更精细的收敛性分析，和前面PGD的分析类似。PGD应用在低秩矩阵恢复中得SVP算法AM用在低秩矩阵恢复得AM－MC后面两个鲁棒线性回归和相位恢复没研究过所以也没看。。。。。END...
2020-06-24 13:33:34
197
原创 Prateek Jain, Purushottam Kar《Non-convex Optimization for Machine Learning》的总结整理(2)
第二章非凸优化的基本算法三（2）（接上一排序）、PGD求解非凸问题对于非凸问题的求解前面已经提到是NP难的，但对于有特殊结构的非凸问题可以很好的求解。主要求解三个方面的问题：1、约束集是非凸的，投影本身是NP难的（因为投影本身是一个非凸优化，见前面投影的定义）但有特殊结构，投影可以很好的处理。例如（稀疏恢复的例子）投影到稀疏向量集， 可以求解（相当于截断），其中。（推荐系统的例子）投影到低秩矩阵集，可以利用SVD。2、目标函数非凸，但有特殊结构。第一章中，给出了目标函数是凸的且梯度有界函数的收敛性，
2020-06-24 13:31:51
951
原创 Prateek Jain, Purushottam Kar《Non-convex Optimization for Machine Learning》的总结整理(1)
最近花了点时间读了Prateek Jain, Purushottam Kar写的Non-convex Optimization for Machine Learning。本书主要讲了非凸优化的一些基本算法以及求解具体问题。第一章概述和基本工具一、概述一般的优化问题： ，对于机器学习，f可以是对应问题的损失函数。当目标函数核约束集都是凸的时候称为凸优化问题，当两个中有一个不满足凸性，称为非凸问题。书中主要介绍两种非凸情况：1）f(x) 凸，C非凸；2）f(x) 非凸，C凸。为什么要研究非凸问题？
2020-06-23 23:27:54
844
原创 Noise2Noise文章的复现code实现
Noise2Noise文章的复现code实现背景背景最近两天读了Noise2Noise: Learning Image Restoration without Clean Data，和之前读的DIP(deep image prior)那篇文章共同的地方都不需要干净的图像作为label。看完文章想跑一下n2n的程序，作为一个小白，没有跑过深度学习的code（matlab半吊子使用者）在网上居然发现了对n2n code的解读， 觉得人家写的很详细了，NVlabs/noise2noise代码（一）概览与运行
2020-05-13 23:42:02
2633
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人