mykeylock-CSDN博客

原创 Web安全机器学习

2015微软在Kaggle上的恶yi代码分类比赛：冠军队伍的三个黄金特征：1、恶yi代码图像把一个二进制文件以灰度图的形式展现出来，利用图像中的纹理特征对恶yi代码进行聚类。2、OPCode n-gramn-gram是计算某个语句出现的概率，用马尔科夫模型，结合条件概率计算得到，这里的语句是操作语句，如Push Mov等操作语句。————————————————————...

2019-11-10 22:47:26 311

原创线性代数本质理解

主要参考这个链接：https://www.bilibili.com/video/av6500834?from=search&seid=3249893627908257126对应的一系列学习视频主要收获：1、向量点积、线性变换和投影后两个向量长度相乘的本质联系。2、矩阵的秩代表线性变换后的维度。3、矩阵的行列式值等于矩阵变换后（维度不变）空间压缩的比例。其正负与xy轴的相对...

2019-11-10 22:42:42 406

知识点杂文

IPV6的路由：利用在Ipv4的网络，通过隧道技术，利用Isatap实现隧道访问ipv6服务。

2018-02-10 12:54:59 356

经验风险最小化，是使得>与>之间的值尽量小，这样才能使得我们根据训练数据训练得到的模型有普适性。可以推导出来二者的差值存在一个上界，可以根据这个上界，得到>或者>，进一步可知存在偏差方差平衡。这个上界直观上理解，主要与模型的复杂度（如假设的个数、参数数量等）、训练样本数相关，而且可以直观得得到这个上界与模型复杂度成正相关，与样本数成负相关。这里关于模型复杂度的度量方法，可以用VC维的方式来表征，而

2017-12-10 00:15:59 792

原创最大熵模型及其算法

最大熵模型表面意义上来讲是使信息熵或者条件熵最大，一般来讲最大熵模型是使条件熵最大的模型。最大熵模型的一些特点：1、最大熵模型的输入输出为X,Y，求解时需要代入p(x,y)的联合概率，即p(x,y)*log(y|x)求和的模型，这个模型里，我们需要求解的是p(y|x)的条件概率，但这里还有p(x,y)的概率，这里为了能够有效的计算模型，这里的p(x,y)用p'(x)*p(y|x)来

2017-12-02 22:18:28 1709

原创 RBM算法理解及推导

现在重新复习一下RBM算法，发现有一个新的发现。首先给出几个非常好的博客：（1）关于MCMC采样及Gibbs采样：http://blog.csdn.net/pipisorry/article/details/51373090（2）关于MCMC采样的形象解释及理解：https://www.zhihu.com/question/20743905/answer/155412666（3）关

2017-11-25 21:14:36 3083

原创因子分析(Factor Analysis Model)算法推导

可以参考斯坦福大学Andrew Ng的学习视频：http://open.163.com/movie/2008/1/L/3/M6SGF6VB4_M6SGKK6L3.html关于算法总结可以参考：https://www.cnblogs.com/jerrylead/archive/2011/05/11/2043317.html以下图为自己完善的算法推导流程：待添加

2017-11-21 00:13:15 5314 3

原创基于EM算法的文本聚类

文本聚类问题：一个文本为一个向量，向量的长度为字典的长度，这个向量中的每个值为0或1，表示这个单词是否在该文章中出现。假设为二分类，则每个向量对应一个分类值，分类值为0或1，如果为三分类，则分类值为0,1,2。而这个标签值为隐变量Z。这里的观测O为具体的各个向量。在这个模型里，参数是什么呢？我们需要由参数出发，经由隐变量，计算得到观测O，因此这里的参数设计可以类似于隐马尔可夫模型的

2017-11-20 18:47:43 1379 2

转载矩阵微分基础知识

转自：http://www.cnblogs.com/xuxm2007/p/3332035.html矩阵微分http://www.iwenchao.com/mathematics/matrix-differential.htmlhttp://en.wikipedia.org/wiki/Matrix_calculushttp://www.atmos.washington.edu

2017-11-17 22:41:19 2234

原创隐马尔可夫模型算法推导

上一篇博客是关于EM算法及混合高斯模型的推导，这里的隐马尔可夫模型也属于EM算法的范畴，都是使似然函数的期望最大来推导的。隐马尔可夫模型在推导过程中与混合高斯模型不同的地方在于：1、前者在推导时，观测序列O只有一个（一个序列包括多个序列值），而隐序列I则有许多个，因此在刚开始时，全局的P(O|λ)可以去掉；而混合高斯模型的观测则有很多个，每个观测只包括一个值（一维的单个值或者多维的向量

2017-11-17 18:06:03 511

原创 EM算法及混合高斯模型详细推导

EM模型是一个大的范畴，在模型包含隐变量的情况下，根据观测求模型参数，EM算法的典型应用有混合高斯模型及隐马尔可夫模型。想要真正理解EM算法，了解混合高斯模型及隐马尔可夫模型的算法推导是很有必要的。以下两个图，本人结合《统计学习方法》上的算法推导及自己的理解，总结了EM算法及混合高斯模型的推导过程。其中混合高斯模型处理的是一维数据，多维数据的在其基础上有些变化，随后整理。

2017-11-17 00:41:03 1964

原创 Kaggle项目:Kobe Bryant Shot Selection（科比投篮选择）

作为一个篮球迷，觉得这个题目非常有意思，竞赛的网址：https://www.kaggle.com/c/kobe-bryant-shot-selection

2017-11-11 01:55:14 5196

原创常用的机器学习算法学习

1、GBDT（Gradient Boosting Decision Tree）2、FM（主要用于处理数据稀疏的情况），针对两两特征，增加一个系数W用于提取特征间的关系，而后用一个小矩阵V，乘以V转置来代替W矩阵。3、决策树与回归树：决策树是判断yes或no，每一步选择特征时用的是（熵增益）或者（Gini系数）的方法回归树则用于拟合，结果需要给出一个特定的数值，每一步选择特征时用

2017-11-08 21:23:38 322

转载 MAP与MLE的区别及朴素贝叶斯分类器

原文地址：http://www.cnblogs.com/liliu/archive/2010/11/24/1886110.html最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，但是最大的不同时，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。首先，我们回顾上篇文章中的最大似然估计，假设x为独立同分布的

2017-10-17 17:13:39 1660

原创 tensorflow中高级函数Experiment，Estimator，EstimatorSpec，DataSet

这几个对象分别封装了：Estimator：封装网络模型和参数EstimatorSpec：具体的模型DataSet：封装训练数据、评估数据、自动迭代器Experiment：封装了一个实验，参数包括Estimator估算器，输入数据等。关于这几个模型的一个介绍的博客：https://zhuanlan.zhihu.com/p/29073452github上一个代码例程：https

2017-10-15 17:05:56 3449

原创数据平台Kaggle入门

以前不知道Kaggle这个平台的存在，偶然发现后，发现真是一个非常好的数据平台，它在大数据的地位相当于leetcode在在线编程上的地位。最开始的Kaggle从一个博客开始：http://blog.csdn.net/han_xiaoyang/article/details/49797143这篇文章从一个基本问题出发，讲解了算法从设计到比较完善的一个总流程，对新手来说帮助非常大。

2017-09-29 02:18:50 368

原创监控器物检测object detection实战

实战目的：根据家里的监控器，实时检测出监控拍到的物体，包括人、车等。基本情况：1、家里安装有JOVISION监控器（中维），摄像头与存储设备通过路由器连接。2、JOVISION对应有一个客户端，名称为：云视通网络监控系统，可以在JOVISION官网下载。——————————————————————————————————————————思路：用一个训练好的小的Fas

2017-09-26 23:43:16 1398

原创反向传播及softmax算法推导

自己重新整理了一下反向传播算法及softmax算法的推导。（1）针对通常的反向传播算法，Loss采用差值的绝对值平方和，非线性函数采用sigmoid函数（2）softmax算法推导是指，采用softmax对输出数据处理，并采用交叉熵作为Loss函数。两个算法的推导过程都是通过从单一元素出发，扩展到向量的形式。反向传播算法更详细的推导可参考博客：https://zhuanlan.

2017-09-22 22:14:56 2792 1

原创强化学习A3C与UNREAL算法

A3C算法是Actor Critic算法的并行扩展。为了训练一对Actor Critic，将其复制多份，复制的每一对各自训练，之后将每一对进行综合，再然后将综合后的好的结果反馈给每一对复制出来的Actor Critic，一来一回能提高强化学习的学习效率。

2017-09-15 18:10:55 2712

原创强化学习Q learning与policy gradient

开始学习强化学习：包括alphago等都是强化学习的典型。最典型的强化学习的算法为Q learning，这个算法的简介博客：https://www.zhihu.com/question/26408259目前只是明白了Q learning的算法，还有很多要学习的。

2017-09-07 00:03:27 5361

原创变分自编码器VAE

变分自编码器结构类似于简单的自编码器，但其与自编码器的最大区别在于：自编码器不能生成没有出现过的样本，变分自编码器则可根据随机输入生成符合似然函数的新样本。变分自编码器的一个专栏：https://mp.weixin.qq.com/s/9lNWkEEOk5vEkJ1f840zxA变分自编码器与GAN对抗神经网络一样，都属于无监督的生成模型。在监督学习遍地开花的时代，无监督学习

2017-09-04 23:19:53 472

原创 deformable convolution（可变形卷积）算法解析及代码分析

可变形卷积是指卷积核在每一个元素上额外增加了一个参数方向参数，这样卷积核就能在训练过程中扩展到很大的范围。可变形卷积的论文为：Deformable Convolutional Networks【1】而之前google一篇论文对这篇论文有指导意义：Spatial Transformer Networks【2】论文【1】的github代码地址为https://github.com/feli

2017-08-31 14:53:04 23812 53

原创卷积可视化

图像卷积操作的应用没有严格的数学推导，即没有数学推导表明每一层究竟表示什么。为了了解卷积神经网络中每一层与原有图像的对应关系，文章Visualizing and Understanding Convolutional Networks通过反向卷积的方式实现了该过程。文章中说反卷积，只是说卷积后的层c1利用卷积核的转置，得到上一层h1的结果。那具体如何操作的呢？得到的h1与真实的

2017-08-29 21:07:18 591

原创卷积神经网络的一些改进操作

在通常的卷积神经网络的基础上可以做一些小的但非常有效地改进。这个知乎专栏统计了一些比较新的又非常有效地卷积操作：https://zhuanlan.zhihu.com/p/28749411这些操作均是针对何时进行卷积、如何进行卷积、如何控制卷积等展开的。——————————————————————————————————————深度残差网络resnet可以理解为讲上上层与上一

2017-08-29 15:53:42 6375

原创残差网络resnet

残差网络感觉没有什么特别精细的结构，感觉跟dropout一样，结构改进的很小，但效果很好。关于残差网络的一个博客：http://www.jianshu.com/p/f71ba99157c7残差网络最简单的一个结构可以这样理解：将上上层的数据与当前层的数据相加后作为下一层的输入。最后得到的效果就是泛化能力强，网络层次加深后不会退化。

2017-08-24 20:13:51 586

原创生成对抗网络GAN学习

生成对抗网络GAN是一个无监督的由生成模型与判别模型二者互相优化组成的模型。GAN的代码实现里有几个关键点：1. 对于生成模型，假设数据为mnist数据，则其输入为一个10维的向量，如要生成数字0的图像，则输入为（1,0,0,0,0,0,0,0,0,0）2. 为了更好的生成数据，进一步有受限GAN模型，具体操作为在每一层中，将具体的要生成的类别与当前层的输入联结起来共同作为输入，（

2017-08-23 19:37:03 358

原创 Fast RCNN学习

针对上一篇博客中RCNN算法的一些弊端，加快了训练和测试的算法复杂度。第一：由于经过selective search算法提取了2000左右的图片，而这2000个图片均需要进行特征提取操作，均需要经过CNN网络提取结构特征，而显然这些图像有大量的重叠区域，特征提取操作有很多冗余操作。第二：RCNN中，在提取完特征后，还需要经过SVM分类器与Bounding-box回归这两步，fast R

2017-08-20 16:42:16 215

原创 object detection学习

现在有google的Inception V、ImageNet等基于深度学习的物体检测网络，并且效果非常好。但很多思想都来源于2014年的一片文章：Rich feature hierarchies for accurate object detection and semantic segmentation文章地址：http://xueshu.baidu.com/s?wd=paperuri%

2017-08-17 19:51:39 375

原创神经网络用于翻译

神经网络用于翻译即sequence to sequence跟序列相关的基本都用RNN网络写的很好很详细的文章：NEURAL MACHINE TRANSLATIONBY JOINTLY LEARNING TO ALIGN AND TRANSLATE文章地址：https://arxiv.org/pdf/1409.0473.pdf另外在这篇文章基础上一个加快训练的改进文章：On Usin

2017-08-16 19:11:42 364

原创 word2vec学习

word2vec是指通过神经网络学习将单词转换成特定长度的数值向量的过程。这里的向量应当尽量满足：对于同义词如cat、kitty，二者对应的数值向量值应当比较接近。通常，学习单词的向量表示的方法为通过类似于自编码器的网络，学习神经网络中的权重，得到的权重即为我们需要的向量表示。（这个看博客能理解：若输入数据为10000维的单一稀疏向量（只有一个为1），输入到隐藏层的W为10000*

2017-08-15 14:22:56 225

原创迁移学习

迁移学习是指利用一些现成的模型的特征，利用到新的问题上。新问题只需重新训练最后一层即可。Andrew Ng也说：迁移学习将是机器学习新的动力，而之前是深度学习。针对图像识别的多层卷积网络，如ImageNet、Inception V3等大型分类网络，由于其提取了很多很多图像的卷积特征，而图像的特征往往是想通的，因此我们可以直接利用这些特征训练我们自己的分类器。这里有一个比较KNN

2017-08-14 20:42:34 181

原创 TensorFlow学习

TensorFlow一个非常好的网站：https://www.tensorflow.org/get_started/mnist/pros（里面从mnist字体库的学习开始）网站中也包括了tensorflow的方方面面，包括各种API等。——————————————————————————————————tensorflow中优化器：https://www.tensorflo

2017-08-10 15:48:52 292

原创 R语言学习

Tips：R语言中的冒号：具有最高优先级（括号除外）如下：n

2017-08-08 21:08:28 773

原创 SVM学习

SVM是一个纯公示推导的一个分类器。第一层次：硬间隔模型，这种情况针对完全线性可分的情况。第二层次：软间隔模型，这种情况针对每个样本，容许一个小错误，以取得最小的分类错误为目标。第三层次：不适合线性可分的情况。通过核函数将样本映射到别的空间，即将原来的超曲面空间映射到之后的超平面空间。SVM的求解步骤：首先得到问题的拉格朗日对偶形式，然后利用SMO贪婪算法进行求解。tips

2017-08-08 19:01:43 206

原创 deeplearning的wake-sleep算法

对于多层的神经网络，在单独训练完每一层之后，需要对整个系统进行调优。（这里的每一层要求能单独训练，常用的为自编码网络、RBM网络、去噪自编码网络（加噪声训练的自编码网络，鲁棒性强））但是基于SGD随机梯度下降的方法在多层上容易产生各种梯度问题、如梯度发散等。因此这时候就出现了wake-sleep算法。wake-sleep算法的思想跟CD（基于gibbs采样的对比散度算法）有相似的地方，

2017-08-03 14:17:57 4151 1

原创 RNN-RBM网络介绍及代码分析

官方学习教程的地址：http://deeplearning.net/tutorial/rnnrbm.html#rnnrbm关于RBM的介绍及代码：http://deeplearning.net/tutorial/rbm.html#rbm但只从介绍很难明白RNN与RBM究竟怎么在训练过程中互相结合的。————————————————————————————————————首先RBM网

2017-08-02 18:41:10 1164 1

原创 RNN与自编码网络

自编码网络的一个高级版本：加入了雅可比矩阵限制，即在隐藏层输出上添加了隐层输出h对输入x的雅可比矩阵的二范约束。论文：Contractive Auto-Encoders: Explicit Invariance During Feature Extraction论文地址：http://www.icml-2011.org/papers/455_icmlpaper.pdf

2017-07-31 14:33:45 2294

原创关于雅克比矩阵与黑塞矩阵

一个非常好的博客：http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/关于牛顿法：参考博客中牛顿发的图，在求函数的根的问题时，即f(x)=0，用函数的一阶导数逼近即可。相应的，在求极值问题时，即f`(x)=0，用函数的二阶导数才可以逼近。也就是黑塞矩阵了。雅克比矩阵对应的函

2017-07-27 15:29:18 4166

原创 ubuntu安装Theano库与Tensorflow

安装Theano是个体力活。大体上可以参考这个：http://blog.csdn.net/xuezhisdc/article/details/47065475但参照官方安装教程，对numpy，scipy的版本有要求，因此主要问题是安装这两个。用apt-get安装的话通常版本达不到要求，而用pip安装的话安装后经常有问题，因此最好的方式就是用源码安装。git clone最新的代码版

2017-07-20 12:41:24 294

原创 deeplearning学习

首先几个库：SymPy：用于python中符号计算，如泰勒展开，不定积分，定积分等。Theano：可以对数学表达式求值，如根据模型进行训练，进行深度神经网络的学习。模型的优化等Theano会自动处理。同时也会自动检测并稳定深度学习中许多常见的数值不稳定的表达式。（Theano的一个介绍网址：http://geek.csdn.net/news/detail/131362）

2017-07-06 17:57:07 303

语法变换_信源编码

FPGA数字时钟代码与原理

Multisim9入门教程

WS系列低压伺服器用户手册V1.32

空空如也