小白在成长-CSDN博客

转载关于损失函数——Loss Function

转自：http://blog.csdn.net/heyongluoyao8/article/details/52462400## 机器学习中常见的损失函数一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化，特别是在分类或者回归任务中，便是使用损失函数（Loss Function）作为其目标函数，又称为代价函数(Cost Function

2017-03-20 13:57:51 5385

原创 word2016自带公式编辑器对公式编号的使用

这里讲一下word2016中对公式编号的问题，比较简单，不涉及公式的自动编号，只是为了让公式能够居中对齐，而编号是靠右对齐的。正常插入公式是第一行的样子，是居中的，但是一旦在后面输入之后，就会变成第二行的样子，那么怎么做到下图所示的公式居中，编号居右的样子呢这就需要用到制表符了1、首先，在标尺窗口插入一个居中制表符，和居右制表符，见下图：向

2017-03-20 13:54:27 28353

原创传感器尺寸与像素密度对相片分辨率的影响

在人们日常生活摄影中，相机的传感器尺寸以及像素素往往决定了一幅图像的清晰度，当然，不同的镜头，不同的CMOS质量等等都会对相片的质量产生影响，今天就简单讨论讨论传感器尺寸和像素密度对图像分辨率的影响。当传感器尺寸一定时，像素越多，也就是像素密度越大，所能记录到的信息也就越多，当然，也不是没有上限的，当像素密度过大的时候，单个感光像素获取到的光线量无疑会变少，所以要提高感光度才能获取到和

2017-03-17 10:00:28 7901

转载 Matlab左除和右除

转自：http://blog.csdn.net/clam_clam/article/details/7184991最近编写matlab 程序老是被 \ / 搞混淆。运算符名称说明/（向右倒称为右除）右除

2017-03-08 15:17:03 2950

转载 MP与OMP方法

转自：http://blog.csdn.net/scucj/article/details/7467955主要介绍MP(Matching Pursuits)算法和OMP(Orthogonal Matching Pursuit)算法[1]，这两个算法虽然在90年代初就提出来了，但作为经典的算法，国内文献(可能有我没有搜索到)都仅描述了算法步骤和简单的应用，并未对其进行详尽的分析，国外的文献还是分

2017-03-06 10:29:37 5536

转载 SVD分解

转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/43053513 在网上看到有很多文章介绍SVD的，讲的也都不错，但是感觉还是有需要补充的，特别是关于矩阵和映射之间的对应关系。前段时间看了国外的一篇文章，叫A Singularly Valuable Decomposition The SVD of a Matrix，

2017-03-06 10:11:16 393

原创关于矩阵的归一化

最近在看Yang大牛稀疏表示论文的代码，发现里面很多的操作的用到了矩阵的列归一化，这里谈一谈列归一化的实现，以及其带来的好处。矩阵的列归一化，就是将矩阵每一列的值，除以每一列所有元素平方和的绝对值，这样做的结果就是，矩阵每一列元素的平方和为1了。举个例子，矩阵[1,2,3]',将其归一化的结果就是[0.2673,0.5345,0.8018]。其平方和就为1了。Y

2017-03-02 13:54:49 85283 7

转载 lasso算法及其实现

转自：http://blog.csdn.net/mousever/article/details/50513409缘起这篇博客的想法来源于知乎的一个关于多元线性回归的变量选择问题。从该问题的提问描述，以及回答中看出，很多人在做变量选择时，眼光依然局限于R 2 R2或者Ajusted−R 2 Ajusted−R2,以及P−Value P−Value之中。记得计量课上，

2017-03-01 15:23:00 10112

转载 Lasso问题

转自：http://blog.csdn.net/slade_sha/article/details/53164905先看一波过拟合：图中，红色的线存在明显的过拟合，绿色的线才是合理的拟合曲线，为了避免过拟合，我们可以引入正则化。下面可以利用正则化来解决曲线拟合过程中的过拟合发生，存在均方根误差也叫标准误差，即为√[∑di^2/n]=Re，n为测量次数

2017-03-01 15:15:17 44630

转载异方差性以及加权最小二乘优化

异方差性（heteroscedasticity ）是相对于同方差而言的。所谓同方差，是为了保证回归参数估计量具有良好的统计性质，经典线性回归模型的一个重要假定：总体回归函数中的随机误差项满足同方差性，即它们都有相同的方差。如果这一假定不满足，即：随机误差项具有不同的方差，则称线性回归模型存在异方差性。对于异方差性的回归问题，需要用到加权最小二乘法。以下内容转自：https://zhua

2017-03-01 09:00:14 40336 1

转载关于正则化的理解

转自：http://blog.csdn.net/wsj998689aa/article/details/39547771上学的时候，就一直很好奇，模式识别理论中，常提到的正则化到底是干什么的？渐渐地，听到的多了，看到的多了，再加上平时做东西都会或多或少的接触，有了一些新的理解。1. 正则化的目的：防止过拟合！2. 正则化的本质：约束（限制）要优化的参数。

2017-02-27 09:51:30 898

转载高斯混合模型EM算法

转自：http://blog.csdn.net/dudubird90/article/details/49759431k-means算法对于数据点和clusters之间的关系，是all-or-nothing的关系，这是一个hard decision，往往会导致的局部最小值，这不是理想的求解。一种常见的做法，是学习这个协方差矩阵，而不是固定它们为单位矩阵。ＧＭＭ模型及算法

2017-02-26 21:17:22 811

转载局部敏感哈希LSH，即matlab代码

转自：http://blog.csdn.net/dudubird90/article/details/50907641很早就想写一篇关于LSH的文章，后来发现前辈们已经写好了，容我这里再推荐一下该文。 Locality Sensitive Hashing(LSH)之随机投影法 http://www.strongczq.com/2012/04/locality-sensi

2017-02-26 21:15:05 6970 1

转载 K-means聚类

转自：http://www.cnblogs.com/tiandsp/archive/2013/04/24/3040883.html聚类算法，不是分类算法。分类算法是给一个数据，然后判断这个数据属于已分好的类中的具体哪一类。聚类算法是给一大堆原始数据，然后通过算法将其中具有相似特征的数据聚为一类。这里的k-means聚类，是事先给出原始数据所含的类数，然后将含有相似特

2017-02-26 20:35:41 349

转载关于SVD分解

转自http://leftnoteasy.cnblogs.com,前言：上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解

2017-02-25 12:33:31 553

转载最优化方法的Matlab实现

转自：http://blog.csdn.net/luckydongbin/article/details/1497391现在看一段摄像机标定的程序里面涉及到最优化求解方程的函数，从网上找到了下面的资源，只是里面的公式显示不出来，贴在这里，做为工具查阅，如果找到原文的出处，再做修改。在生活和工作中，人们对于同一个问题往往会提出多个解决方案，并通过各方面的论证从中提取最佳方案。最

2017-02-20 14:57:26 13010 5

转载线性规划问题和MATLAB函数linprog的使用

转自：http://blog.csdn.net/jbb0523/article/details/50596555题目：线性规划问题和MATLAB函数linprog的使用线性规划(Linear Programming, LP)问题的一般形式为：其中。矩阵向量形式为其中，，线线规划的几个基本性质：【

2017-02-20 14:47:16 2869 1

转载随机投影森林-一种近似最近邻方法（ANN）

转载自：http://blog.sina.com.cn/s/blog_7103b28a0102w1ny.html当数据个数比较大的时候，线性搜索寻找KNN的时间开销太大，而且需要读取所有的数据在内存中，这是不现实的。因此，实际工程上，使用近似最近邻也就是ANN问题。其中一种方法是利用随机投影树，对所有的数据进行划分，将每次搜索与计算的点的数目减小到一个可接受的范围，然后建立多个

2017-02-15 16:29:51 3851

原创拉格朗日乘数法

在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。此方法的证明牵涉到偏微分，

2017-02-10 19:44:09 884

转载流形

上一章讲了流形学习，那么流形是什么还没解决，于是找到了一篇比较科普性质的文章，这里与大家分享转自：http://songshuhui.net/archives/31297/1854年，28岁的黎曼在哥廷根大学发表就职演讲。这个职位是所谓无薪讲师，他的收入完全来自于听课的学生所缴纳的学费。即使是争取这样一个职位，也需要提供一篇就职论文以及发表一个就职演讲。1853年他提交了

2017-02-10 16:09:29 1276

转载超分辨率重重建——流形学习

在阅读超分辨率重建相关文献的时候，经常会见到流形学习这么个词，今天整理了一下以下内容摘自百度：http://baike.baidu.com/link?url=bt9Cv9MtYOgqGcTcT7ZJp19ezCOj-eNVVIZOru18VlkuM4Yo9jE3Tmx_NpRFJUruoxBj-5A33_Y3qviRaLaKrnWt_UJd2W0vy-c4ifvuan3CDSAHQrB9NxT

2017-02-10 16:00:26 2093

原创最优化中的惩罚函数

最近对文章中的惩罚函数不是很理解，今天整理一下。讲到惩罚函数，首先要提到约束问题，所谓的约束问题就是在一定的约束条件下，求得问题的最优解例如 min f（x） s.t. gi(x)>0,hj(x)=0 i=1,..m,j=1,2,...l。其中s.t.是subject to的缩写，即服从，满足的意思。这类问题的可行解法是梯度下降算法，或者是序列无约束优化方法：即通过求解一系列无约束

2017-02-10 15:55:03 17998 2

原创超分辨率重建——过完备字典

在基于稀疏表示的超分辨率重建方法中，经常会提到一个词，叫做过完备字典，那么什么是过完备字典呢？稀疏表示理论的核心在于y=Da，其中y是一个真实的信号，D是一个过完备字典，a是其稀疏表示。假设y是n行1列的矩阵，D为n*k的矩阵，其中k>n,a为k行1列的矩阵，并且a为一极小的非0向量，及a中的大多数元素都是0.我们称D为过完备字典，及信号y可以在过完备字典下，稀疏表示为a。明显的D为n行k

2017-02-07 09:51:24 6239 1

原创超分辨率重建——梯度下降、坐标下降、牛顿迭代

在阅读相关文献的时候，经常会遇到梯度下降，坐标下降，牛顿迭代这样的术语，今天把他们的概念整理一下。梯度下降整理自百度梯度下降法是一个最优化算法，通常也称为最速下降法。顾名思义，梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。其迭代公式为 ,其中代表梯度负方向，表示梯度方向上的搜索步长。梯度

2017-02-06 09:11:43 1577

转载关于超参数

转自点击打开链接http://blog.csdn.net/xiewenbo/article/details/51585054当参数时随机变量时，该参数分布中的参数就是超参数，简单的说就是参数的参数，感觉一般在贝叶斯方法中出现所谓超参数，就是机器学习模型里面的框架参数，比如聚类方法里面类的个数，或者话题模型里面话题的个数等等，都称为超参数。

2017-02-05 16:01:39 1428

原创超分辨率重建——长尾分布

最近读到个词叫长尾分布，云里雾里的，后来查了一下，“长尾”实际上是统计学中幂律（Power Laws）和帕累托分布（Pareto distributions）特征的一个口语化表达。那么问题就变成了什么是幂律和帕累托分布了。所谓的幂律，及统计得到的信息满足幂函数的形式分布，及y=cx^-r，其图线如下：这类分布有着长长的尾巴，及长尾分布，长尾分布符合实际生活中的一些情况，所以

2017-01-16 10:36:04 2225

转载 Gabor滤波

转载自http://blog.163.com/huai_jing@126/blog/static/171861983201172091718341/1. 简介　 Gabor变换属于加窗傅立叶变换，Gabor函数可以在频域不同尺度、不同方向上提取相关的特征。Gabor 滤波器的频率和方向类似于人类的视觉系统，所以常用于纹理识别。在空间域，二维Gabor滤

2017-01-13 16:37:10 1188 1

原创超分辨率重建中的图像金字塔——高斯金字塔和拉普拉斯金字塔

在超分辨率重建方法中，经常会提到图像金子塔这个词，然后根据图像在多尺度间的一些特性，进行相关处理。而这个图像金子塔是什么呢？常见的图像金子塔有两种，高斯金子塔和拉普拉斯金字塔。高斯金字塔：高斯金字塔是由上向下的，如给定一幅输入图像，通过连续的模糊和下采样，可以得到改图像的一组低分辨率图像集合，假设取六层金字塔，原图像为I0，最小的图像为I5，那么高斯金字塔就是从I0～I5这六幅图像组层

2017-01-13 14:42:27 3021

转载超分辨率重建——邻近算法Nearest Neighbor

转自：http://blog.csdn.net/aladdina/article/details/4141127代码实现：http://blog.csdn.net/rk2900/article/details/9080821邻近算法 KNN算法的决策过程　　k-Nearest Neighbor algorithm 基于图像块的超分辨率重建中，往往需要对不同尺度间

2017-01-03 20:17:38 1509

原创仿射变换与透视畸变

在恢复图像的过程中，可能会需要对透视畸变以及仿射变换进行补偿，今天整理了下关于透视畸变和仿射变换的相关概念。

2016-12-27 15:35:21 3306

转载最小二乘法

一.背景 5月9号到北大去听hulu的讲座《推荐系统和计算广告在视频行业应用》，想到能见到传说中的项亮大神，特地拿了本《推荐系统实践》求签名。讲座开始，主讲人先问了下哪些同学有机器学习的背景，我恬不知耻的毅然举手，真是惭愧。后来主讲人在讲座中提到了最小二乘法，说这个是机器学习最基础的算法。神马，最基础，我咋不知道呢！看来以后还是要对自己有清晰认识。回来赶紧上百度，搜了下什么

2016-12-22 17:01:14 427

转载关于泰勒展开

高数不是很好，本科的时候身边同学都是90好几，满分的水平，自己只在80左右徘徊，最近看了好多方法都涉及泰勒展开这么个知识点。今天就来整理整理。主要包括下面这几点，什么是泰勒展开，以及为什么要泰勒展开。泰勒展开是以简单的多项式来近似x0邻域内的函数，展开越多，近似程度越高。

2016-12-21 14:53:15 1025

转载回归问题的解释

转自http://blog.csdn.net/vshuang/article/details/55128531. 问题描述：给定多个自变量、一个因变量以及代表它们之间关系的一些训练样本，如何来确定它们的关系？ 2. 数学描述建模：目的就是求这个因变量关于这多个自变量的函数。而这个函数能够比较精确的表示这个因变量和这多个自变量之间的关系。 3. 问题深入

2016-12-20 17:28:54 6795

原创 CMOS和CCD传感器

大家用到的相机传感器大体上分为这两种：CMOS和CCD。CMOS型图像传感器及互补金属氧化物场效应管。其工作原理是，外界光照射到像素阵列后，发生光电效应，在像素单元内产生相应的电荷，最后转换成数字图像输出。其中，图像传感器阵列的每一个像素都包括一个光敏二级管，每个像素中的光敏二级管将其表面的光强转换为电信号，CCD图像传感器及光电荷耦合器件，其也获得了2009年的诺贝尓奖。CC上排列着

2016-12-20 15:12:44 958

原创超分辨率重建——病态、单应矩阵、高斯权重

我们经常会提到，超分辨率重建是一个病态问题，那么这里的病态该如何理解呢？病态问题本身的定义是：对于一个数值问题本身，如果输入数据有微小的扰动（即误差），引起输出数据（即问题的解）相对误差很大，这就是病态问题。设a为输入数据的相对误差，b为输出数据的相对误差，c为条件数，c=b／a。自变量的相对误差往往不会太大，如果c很大的话，将引起函数值相对误差很大，这样的问题就是病态问题。对于超分辨

2016-12-09 10:52:35 2468

原创关于线性空间和线性映射

在超分辨率重建过程中的图像块配对时，经常会提到非线性映射这么一个词，所以抽时间整理一下关于线性映射和非线性映射的相关概念。为了搞清楚线性映射，首先得搞清楚线性空间，为了搞清楚线性空间，首先要知道数域的概念。数域：是一个集合含有加法和乘法，含有元素0，对于任意元素a，有a+0=a，含有元素1，满足a*1=a，任意元素a存在负元素b，满足a+b=0。非0元素a存在逆元素b，满足a*b=1，对于

2016-11-23 19:45:38 20842 2

原创 Sign函数

今天在看一篇基于深度学习的超分辨率重建的文章中遇到这样一个函数sign（x），这是一个符号函数，用于把函数的符号析离出来，在数学和计算机运算中，其功能是取某个数的符号（正或负）：当x>0，sign(x)=1;当x=0，sign(x)=0;当x在通信中，sign(t)表示这样一种信号：当t≥0，sign(t)=1; 即从t=0时刻开始，信号的幅度均为1

2016-11-13 11:16:14 23469

转载关于机器学习、深度学习以及模式识别

随着这两年深度学习的火爆，在超分辨率重建领域也有着越来越多关于深度学习相关方法的文章涌现出来。对于之前没有接触过机器学习之类的人，看起来确实会有些一头雾水，所以这里整理了一下三个关于此的热词。深度学习、机器学习以及模式识别。模式识别（Pattern recognition），机器学习（machine learning），深度学习（deep learning）。其中模式识别是最古老的，可以说是最

2016-11-09 16:42:57 5409

原创超分辨率重建——关于YIQ空间

在超分辨率重建过程中，算法往往是对于灰度图像进行相关操作，对于彩色图像的操作，往往就需要用到一些特殊的色彩空间，把亮度信息和色彩信息区分开来，对于亮度信息进行相关的操作，而其他通道的信息，通过简单的插值操作来进行处理，这样做，既恢复出图像更多的细节，又能较好的保证图像的色彩的真实度。今天看到个YIQ空间，于是百度了一下，如下：IQ，是NTSC（National Television

2016-11-09 16:02:33 996

原创超分辨率重建——先验信息，先验概率，后验概率，最大后验概率

读超分辨率重建的文章，特别是一开始读一些基础的差值的方法的文章时，经常提到的一个概念就没有运用到图像的先验信息。所谓的先验信息可以理解为在实验之前，已经得到的一些信息，即先验信息。对于图像，它可能存在着一些梯度方面的特征，符合某些统计规律，那么这些信息就可以用到实验中去。而这些我们已经知道的图像的一些特性就是图像的先验信息。先验概率：基于某一事实得到的概率，比如昨天有500

2016-10-27 16:04:34 5440

坦克大战单机图片版

树状显示的tv20.js带图片

关于tv20.js的使用问题