- 博客(58)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 机器学习20：Transfer learning 迁移学习
一、概述1、从数据角度，分四种情形（如图），每种情形下可以采取的处理方法如下2、Fine-tuningSource data数据量大，而Target data数据量小。在Source data上训练模型然后在Target data上对模型进行微调，这种方式叫作Fine-tuning。通常情况下，Fine-tuning需要非常小心，很容易overfitting。因此，需要加入一些技巧...
2019-04-19 17:49:03
538
原创 机器学习19：Generative Model
讲解三种Generative Model：PixelRNN、Variation Auto-encoder、Generative Adversavial Network一、PixelRNN利用前面已知的像素和预测的像素逐一对后面的像素进行预测。如图所示，输入是变化的，第一次使用一个像素预测后面的像素，随后使用前面两个像素预测再后面的像素。。。以下是声信号的预测，RNN逐一根据前面的n...
2019-04-17 20:34:23
1094
原创 机器学习18：自编码器Auto-encoder
一、Auto-encoder通过重建输入得到一个低维空间的code二、Deep Auto-encoder输入从高维映射到低维再到高维。可以约束对应的encoder和decoder层的参数互为逆变换，即W1与W1^T对应，但一般没有必要约束，直接train就行。在手写数字辨识中，Deep Auto-encoder比PCA重构的结果好，数据映射到低维空间区分度也更高。三...
2019-04-17 11:31:44
968
原创 论文排版技巧
参考：【1】http://blog.sciencenet.cn/home.php?do=blog&id=323803&mod=space&uid=230403 【2】aurora公式编辑：http://blog.sina.com.cn/s/blog_572e85eb0101eyeb.html要点：【1】中公式设置居中，编号右对齐时，采用制表位方法，段落中设...
2019-04-12 11:20:42
1347
原创 深度学习模型训练中的tips记录
1、keras中的训练集、验证集、测试集问题在模型fit时，需要输入训练、验证和测试相关参数，需要注意以下tips：# validation_split表示将训练集中拿出一部分比例数据作为验证集，验证集不参与模型参数校正，仅作为验证训练是否会过拟合等。# validation_data会使validation_split失效，有的代码中将测试集赋值给validation_data。# ...
2019-03-30 17:43:31
192
转载 详解深度学习之经典网络架构（十）：九大框架汇总
目录0、概览1、个人心得2、总结本文是对本人前面讲的的一些经典框架的汇总。纯手打，如果有不足之处，可以在评论区里留言。0、概览（1）详解深度学习之经典网络架构（一）：LeNet（2）详解深度学习之经典网络架构（二）：AlexNet（3）详解深度学习之经典网络架构（三）：ZFNet（4）详解深度学习之经典网络架构（四）：VGG-Net（5）详解...
2019-03-13 10:14:09
320
原创 GPU版Tensorflow下常用操作记录
##查看GPU状态：nvidia-smi 当前状态watch -n 1nvidia-smi 隔1s查看一次
2019-03-10 10:03:15
118
转载 CMU运动捕捉数据库MOCAP
MOCAP(一)常用的运动捕捉数据集有:CMU运动捕捉数据库HDM05数据库常用的数据格式有：ASF/AMCBVHC3D其中，ASF/AMC是由骨架数据文件（ASF）和运动数据文件（AMC）组成；BVH有2部分组成，HIERARCHY描述了运动的骨架层次和运动的初始状态，MOTION部分则为运动数据；C3D则之间存储的运动3D...
2019-03-07 20:52:04
2684
原创 Wigner-Ville 分布
Wigner-Ville 分布(简称 WVD)是典型的二次型变换，它定义为信号瞬时相关函数的傅立叶变换，反映了信号瞬时时频关系。对于单分量线性调频信号而言，WVD在时频平面上的投影为一条直线，即频率随时间的线性变化关系。（图片来自雷达目标微多普勒特征提取. (2007). 信号处理, 陈行勇.）由于在计算中不加窗操作，它避免了时域分辨率和频域分辨率之间的相互牵制。已证明，对于单分...
2019-03-05 11:32:31
28046
1
转载 机器学习——前馈神经网络
机器学习——前馈神经网络 一、神经网络基础1. 神经元模型转载自：https://www.cnblogs.com/NeilZhang/p/9347233.html。博主“机器学习”系列均可参考关注神经网络中最基本的单元是神经元模型（neuron）。细胞体分为两部分，前一部分计算总输入值（即输入信号的加权和，或者说累积电平），后一部分先计算总输...
2019-03-03 19:28:52
912
转载 机器学习中的数学-线性判别分析（LDA）, 主成分分析(PCA)
<div id="post_detail"> 机器学习中的数学-线性判别分析（LDA）, 主成分分析(PCA) 转：http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html版权声明： ...
2019-02-25 11:32:18
230
转载 各种聚类算法的系统介绍和比较
最近项目用到聚类算法，将其系统的总结一下。一、简要介绍1、聚类概念聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起，不同数据尽量分离。2、聚类和分类的区别聚类技术通常又被称为无监督学习，因为与...
2019-01-26 15:47:43
578
转载 协方差矩阵的数学含义及应用
作者：Vicktore链接：https://www.zhihu.com/question/24283387/answer/523794714来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。协方差矩阵的定义很简单。假设你有n个随机变量 , 你要怎么刻画它们之间的相关性？一个很简单的想法就是考虑所有的配对协方差 . 但是这总共有n^2 个数字，实在是有点多。...
2019-01-21 10:13:43
6428
转载 空间谱估计-MUSIC算法
MUSIC算法 是一种基于矩阵特征空间分解的方法。从几何角度讲，信号处理的观测空间可以分解为信号子空间和噪声子空间，显然这两个空间是正交的。信号子空间由阵列接收到的数据协方差矩阵中与信号对应的特征向量组成，噪声子空间则由协方差矩阵中所有最小特征值(噪声方差)对应的特征向量组成。 MUSIC算法是空间谱估计测向理论的重要基石。算法原理 如下:(1) 不管测向天线阵列形状如何，也不管入射来...
2019-01-17 16:29:18
12759
2
转载 （译）理解 LSTM 网络 （Understanding LSTM Networks by colah）
@翻译：huangyongye原文链接： Understanding LSTM Networks前言：其实之前就已经用过 LSTM 了，是在深度学习框架 keras 上直接用的，但是到现在对LSTM详细的网络结构还是不了解，心里牵挂着难受呀！今天看了 tensorflow 文档上面推荐的这篇博文，看完这后，焕然大悟，对 LSTM 的结构理解基本上...
2019-01-09 20:14:55
551
原创 macOS下pycharm编辑常用操作技巧
1、快捷键函数跳转：command+B（申明）、command+option+B（定义）帮助文档：fn+F1（快速查看）、fn+shift+F1（外部查看）参数说明：command+P选中代码：shift+option+方向键（一个单词）、shift+command+方向键（一行）、shift+方向键（一个字母）代码复制：command+C（直接复制光标所在行）undo/r...
2019-01-09 09:41:31
534
原创 自编码器的理解
参阅知乎“科言君”：https://www.zhihu.com/question/41490383个人理解：1、稀疏自编码：通常情况下，自编码的隐藏层神经元数量会少于输入神经元，因此，自编码网络能够学习主要特征，并依据主要特征重构输入，这种学习方式通常也是有效的。然而，训练出来的模型通常更具有针对性：比如说对于人脸识别，自编码能够学习出人脸的固定结构及不同器官等主要特征，该模型用于...
2019-01-08 16:54:48
775
转载 主成分分析（PCA）原理详解
转载请声明出处：http://blog.csdn.net/zhongkelee/article/details/44064401一、PCA简介1. 相关背景 上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后，颇有体会。最近在做主成分分析和奇异值分解方面的项目，所以记录一下心得体会。  ...
2019-01-08 15:49:38
279
转载 深度学习之自编码器AutoEncoder
一、什么是自编码器（Autoencoder）自动编码器是一种数据的压缩算法，其中数据的压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。在大部分提到自动编码器的场合，压缩和解压缩的函数是通过神经网络实现的。1）自动编码器是数据相关的（data-specific 或 data-dependent），这意味着自动编码器只能压缩那些与训练数据类似的数据。比如，使用人脸训练出来的自动编码器...
2019-01-08 10:52:07
1896
1
原创 机器学习17：Unsupervised Learning-Linear Methods
一、聚类1、K-means初始化时，随机抽取K个样本作为聚类中心2、（hierarchical agglomerative clustering）HAC合成聚类or分层聚类自底向上每一层进行两两相似度计算，找到最相近的pairs，直到root，然后画一个threshold，即可划分具体类别。不同的shreshold导致类的个数不相同。二、Dimension Reduct...
2019-01-01 22:10:03
283
转载 Radial basis function(径向基函数->(高斯核函数))
中文简单介绍:在机器学习中，（高斯）径向基函数核（英语：Radial basis function kernel），或称为RBF核，是一种常用的核函数。它是支持向量机分类中最为常用的核函数。[1]关于两个样本x和x'的RBF核可表示为某个“输入空间”（input space）的特征向量，它的定义如下所示：[2]可以看做两个特征向量之间的平方欧几里得距离。是一个自由参数。一...
2019-01-01 19:18:36
6981
转载 conda常用命令
____tz_zs笔记一、环境管理查看当前系统下的环境conda info -e结果如下（我的anaconda中已经有4个环境了）# conda environments:#python27 C:\Users\wang\Anaconda3\envs\python27tensorflow-cpu C:\Users\...
2019-01-01 10:29:19
162
转载 Mac OS环境下的libsvm在Matlab中安装
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u013515273/article/details/51276184 </div> <div id="content_views" class="markdown_views"> &l...
2018-12-27 20:24:48
530
原创 机器学习16：半监督学习semi-supervised
一、why semi-superviseddataset中只有部分数据进行了lable标注，即，有的数据成对出现｛输入，输出｝，有的数据只有输入｛输入｝；Transductive learning（直推试学习）：unlabled数据作为测试集；Inductive learning（启发式学习）：unlabled数据不是测试集。半监督学习有用的原因：虽然unlabled数据的分类...
2018-12-26 22:07:44
1258
原创 机器学习15：why deep？
一、Deep更有效率1、90年代的Universality Theorem指出任何连续函数都可以用一层隐藏层表示出来（可能需要用到较多的神经元）；然而，实际的应用表明，Deep层更有效率。2、对于下面的例子图1直接使用一层网络对长发女、长发男、短发女、短发男四种类型进行分类；图2则对分类进行模块化，一层先做两个基本的分类单元，男与女、长发与短发，第二层再做最终分类；图中可以...
2018-12-24 22:11:00
176
转载 人体骨骼关键点检测
人体骨骼关键点检测挑战复杂生活场景中的人体检测，并预测多种复杂动作下的人体骨骼关键点位置https://challenger.ai/competition/keypoint/subject简介人体骨骼关键点对于描述人体姿态，预测人体行为至关重要。因此人体骨骼关键点检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。本次比赛邀请参赛者设计算法与模型，对自然...
2018-12-24 17:12:58
2831
1
原创 机器学习14：CNN的应用
一、Deep Dream通过调整某一个filter训练得到的值，让filter中的参数绝对值变得更大，那么该filter代表的特征将会强化，机器将会把某些特征训练成它看到过的其他特征。二、Deep Style算法链接：https://arxiv.org/abs/150/8.06576训练过程中，运用第一张图片的Content和第二张图片的style。content表示的就是...
2018-12-18 16:21:32
2813
1
原创 机器学习13：卷积神经网络（CNN）
一、Why CNN for Image？1、对于一幅图像来说，用DNN全连接的话，参数会很多，而图像实际上是有很多冗余的，有些地方的特征可能不需要。而CNN其实是拿掉了DNN的一些参数。2、识别工作中，有时候并不需要看整张图，而只需要看部分位置如鸟嘴。不管鸟嘴出现在图像的哪个位置，只要用相同的神经元参数侦测到这个鸟嘴的存在，就可以判断这是一只鸟，因此，不同位置的鸟嘴的神经元可以共用同一...
2018-12-17 16:58:29
455
1
原创 google Colab云GPU平台与Keras操作记录
谷歌云盘挂载：from google.colab import drivedrive.mount('/content/drive/')云盘挂载之后切换到代码目录：不能用！cd命令import osos.chdir('/content/drive/My Drive/CoLab/PCANet-Python')os.getcwd()导入第三方包：setup是包程序根目录的文件...
2018-12-12 17:36:05
1107
转载 如何使用google drive的免费GPU进行深度学习
最近想玩一玩深度学习，需要训练一些 yolo 之类的网络进行对象检测，苦于我的本子没有独显又没有实验室的机器给用，想起之前看到的 google 提供免费 GPU 用来学习的消息，就尝试一下。利用Jupyter Notebook测试Google Drive的GPU首先登录 Google Drive：https://drive.google.com。...
2018-12-12 16:57:23
1563
1
转载 图像处理、计算机视觉与模式识别“SCI期刊和顶级会议”总结
期刊：best(1) IEEE Transactions on Pattern Analysis and Machine Intelligence，IEEE模式分析与机器智能汇刊，简称PAMI，是IEEE最重要的学术性汇刊之一。(2) ACM Transactions on Graphics，美国计算机协会图形汇刊，简称TOG，该刊侧...
2018-12-09 09:49:17
492
转载 浅谈PCA到PCANet
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Anysky___/article/details/51044670 最近一直在看关于PCA有关的东西，PCA是最常用的线性子空间方法，常常用来进行特征提取，其本质是一个降维的过程，自从一篇文章《P...
2018-12-08 22:04:33
2185
原创 机器学习12：Tips of DNN——改善overfitting
一、Early Stopping为了防止过拟合现象的产生，训练过程中并不是需要要停止在Training set表现最好之后，而是要保证Testing set表现最好。而往往训练过程中，随着迭代次数的增加，可能出现从某个时候开始，Training set的error还在继续减小，而Testing set的表现会越来越差，因此，需要提前停止训练。提前停止必须要知道哪个时候开始Testing set...
2018-12-07 21:42:07
320
原创 机器学习11：Tips of DNN——改进梯度下降
一、AdagradAdagrad方法是一种自适应的梯度下降方法，原始模型中的梯度为，Adagrad使用一次偏导估计二次偏导，如下：它可以自适应如下椭圆两个方向的梯度下降情况：二、RMSProp（Adagrad的进阶版）考虑更复杂的情况：RMSProp对Adagrad的分母项进行了改进，它对平方和中的前面项与当前项加了权重。通过调整值，调整当前位置的偏导数与之前位置偏...
2018-12-07 21:40:45
377
原创 机器学习10：Tips of DNN——激活函数选择
一、Training和Testing情形overfitting：Training Data上表现良好，Testing Data表现不好。Training失败：梯度消失等情形。如下的例子属于Training失败，并非overfitting：虽然层数增加导致训练结果变差，但测试集得到同样的结果，所以并没有过度学习训练集的特征，其实是没有训练好；二、调整方案Trainin...
2018-12-07 20:20:20
406
原创 补零与离散傅里叶变换的分辨率
离散傅里叶变换(DFT)的输入是一组离散的值，输出同样是一组离散的值。在输入信号而言，相邻两个采样点的间隔为采样时间Ts。在输出信号而言，相邻两个采样点的间隔为频率分辨率fs/N，其中fs为采样频率，其大小等于1/Ts，N为输入信号的采样点数。这也就是说，DFT的频域分辨率不仅与采样频率有关，也与信号的采样点数有关。那么，如果保持输入信号长度不变，但却对输入信号进行补零，增加DFT的点数...
2018-12-06 19:12:07
1559
原创 机器学习9：“Hello World” of deep learning
一、框架1、TensorFlow或者theano比较灵活，可以理解成微分器，你可以用来实现Gradient Decent，但用起来实际上是有难度的；2、keras其实是TensorFlow或theano的API接口，可以帮助你快速做一个模型，现在TensorFlow默认使用Keras接口，theano也可以安装使用keras；3、keras有很多现成的接口帮助你，你同样可以有灵活性写自...
2018-12-04 16:45:54
265
原创 机器学习8：深度学习——全连接
深度模型最直观的解释就是多层网络，最简单的深度模型是全连接。深度网络的每个全连接层其实质就是一个逻辑回归模型，每层包括线性函数与激活函数。如图所示：——全连接细节展示，每一层都是,表示sigmod函数。——全连接模型通过多层组合，可以得到如下的解析模型：对于模型中的隐藏层，其实质工作就是Feature Extraction,因此，隐藏层出现了卷积、小波等。以图像为例，卷积层可以...
2018-12-03 16:58:44
1527
原创 机器学习6：逻辑回归到深度学习的思考
如下图，出现了不可分的情形：，表明x1与x2并不是两个很好的特征，可以从如下方面进行思考：1、通过特征变换（将x1与x2通过各种运算组合得到新的可分特征x3与x4），将模型变成线性可分的模型。比如将上述点转换成每个点到一个固定坐标的距离，得到如下情形：，变成线性可分。2、从1的思路出发，特征变换可以选择使用线性变换和非线性变换，最终目的是得到线性可分特征。如果总是依靠人力的变换...
2018-12-03 15:40:05
284
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人