zxiaohui666-CSDN博客

原创 KKT条件

KKT条件是解决最优化问题的时用到的一种方法。最优化问题通常是指对于给定的某一函数，求其在指定作用域上的全局最小值。一般情况下，最优化问题会碰到一下三种情况：（1）无约束条件这是最简单的情况，解决方法通常是函数对变量求导，令求导函数等于0的点可能是极值点。将结果带回原函数进行验证即可。（2）等式约束条件设目标函数为f(x)，约束条件为hk(x)，形如下：则解决方法是消元法或者...

2018-03-09 11:47:24 18917 2

目的：在实际训练中，模型通常对训练数据拟合程度较好，但是对训练数据之外的数据拟合程度差。为了得到可靠稳定的模型，用于评价模型的泛化能力，从而进行模型选择。基本思想：把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对模型进行训练,再利用验证集来测试模型的泛化误差。另外，...

2018-03-02 11:38:33 604

原创线性回归（原理推导）

1.方程式表示：数学形式：矩阵形式：其中，X矩阵是m行（n+1）列的，每一行是一个样本，每一列是样本的某一个特征矩阵（n+1）行1列的，它是X的权重，也是线性回归要学习的参数.2.损失函数（Loss function）对数极大似然和最小二乘的联系：由线性函数的假设知道，噪音项满足高斯分布，其中一个样本的正态分布的数学表达为：那么，通过极大估计求得似然函数为所有样本的乘积，如下：经过数学运算和推导，...

2018-03-01 19:16:24 959

原创【机器学习】高斯分布

1.单变量高斯分布单变量高斯分布概率密度函数定义为： p(x)=12πσ−−−√exp{−12(x−μσ)2}(1.1)式中μ为随机变量x的期望，σ2为x的方差，σ称为标准差： μ=E(x)=∫∞−∞xp(x)dx(1.2)σ2=∫∞−∞(x−μ)2p(x)dx(1.3)可以看出，该概率分布函数，由期望和方差就能完全确定。高斯分布的样本主要都集中在均值附近，且分散程度可以通过标准差来表示，其越大，...

2018-03-01 17:35:54 661

原创 KPCA原理及部分代码

KPCA，中文名称”核主成分分析“，是对PCA算法的非线性扩展。PCA是线性的，其对于非线性数据往往显得无能为力（虽然这二者的主要目的是降维，而不是分类，但也可以用于分类），其中很大一部分原因是，KPCA能够挖掘到数据集中蕴含的非线性信息。一、KPCA较PCA存在的创新点：1. 为了更好地处理非线性数据，引入非线性映射函数，将原空间中的数据映射到高维空间，注意，这个是隐性的，我们不知道，也不需要知...

2018-02-27 15:39:27 34298 5

原创不确定性

不确定性产生的原因：信息不完全、来源不一致、表述不精确、内容具有变化性等，不确定性可以是某个量，某种结构等。涉及到的概念：1.概率的本质：概率就是一个理论上无限次的试验序列的属性，而不是单一事件的属性，在试验总体未知的情况下，或者没有充足的经验数据时，很难评估出概率，其主要适用于掷骰子这样的机会事件。2.澄清事件：为了使一个有意义的概率分布可以被估计，事件或者数量必须良好设定的，所谓良

2018-01-25 21:17:31 4045

原创 python之file用法

1、file 打开文件open（）函数作用：打开文件，创建一个file 对象。语法： file object = open(file_name [, access_mode][, buffering])其中： file_name : 是一个包含了需要访问的文件名的字符串值。 access_mode ：决定了打开文

2018-01-25 14:45:05 2728

原创 KPCA降维

KPCA是一种非线性主元分析方法，用于降维。主要思想：通过某种事先选择的非线性映射函数Ф将输入矢量X映射到一个高维线性特征空间F之中，然后在空间F中使用PCA方法计算主元成分，核主成分分析最主要是非线性映射函数Ф的选取。算法步骤：Step 1. 数据标准化处理。Step 2. 求核矩阵K，使用核函数来实现将原始数据由数据空间映射到特征空间。采用的核函数为径向基核函数，公

2018-01-25 11:00:52 5818 3

原创 MATLABR2012a如何激活

MATLABR2012a版本用过一阵子后，突然显示过期了，需要激活密钥，整理一个小时也没激活成功。突然在网上查到资料，然后试了一下果然有效。具体操作如下：在MATLABR2012a安装目录下找到licenses目录，然后在它的目录下创建license.lic文件，之后把以下内容复制到license.lic文件中%%%%%%%%%%%%%%%%%%%%%%%%%%%%INCREMEN

2017-11-15 15:37:24 12953 12

原创 python——File用法

1、file 打开文件open（）函数作用：打开文件，创建一个file 对象。语法： file object = open(file_name [, access_mode][, buffering])其中： file_name : 是一个包含了需要访问的文件名的字符串值。 access_mode ：决定了打开文

2017-10-29 19:07:41 8759

原创 Python安装及pycharm的使用

一、Windows环境下安装Python过程1、下载--登陆python 官网https://www.python.org/downloads/ 下载安装包，然后选择下载的版本。2、安装。选择自己的安装目录，点击“next”，直到完成。3、环境变量。在控制面板\用户帐户和家庭安全\用户帐户下选择更改我的环境变量。如下所示：在path中添加下面两个路径，一个是python 的安装路

2017-10-17 16:37:44 4843 1

转载回归分析

转载：原文链接：7 Types of Regression Techniques you should know!什么是回归分析？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。回归分析是建

2017-10-16 16:46:41 6780

zxiaohui666