- 博客(35)
- 收藏
- 关注
RSS订阅原创 解决：CUDA out of memory，并且查不到process id
我们平时使用GPU训练深度学习模型时，有时程序异常终止而gpu的内存却并没有自动清空，导致我们想再次运行程序时，会出现报错：RuntimeError: CUDA out of memory。这时候最简单直接的办法就是重启电脑，可是如果我们不想老是去重启电脑，或者程序运行在服务器上我们没权限重启怎么办，下面提供几种应对不同情况的办法。首先，我们在命令行输入nvidia-smi，查看当前gpu使用情况。当可以查看到进程时如上图所示，当可以在输出结果中看到process id（PID）时，我们可以直
2021-09-02 04:54:10
1339
原创 R语言快速实现并行处理与共享内存
这里写自定义目录标题R语言 并行处理与共享内存并行处理功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入R语言 并行处理与共享内存用R编程时，我们可能会需要并行（parallel）处理一个耗时很长的任务，有时又希望每个子任务都能访
2021-01-20 05:27:34
1184
原创 P value校正思想与实现
1. 为什么要对P-value进行校正两两对比做多了，不做校正的话，会获得很多假阳性结论。具体点这里2. 有哪些校正方法常用的P-value校正方法包括：Bonferroni correction, Benjamini & Hochberg (FDR), Hommel, Benjamini & Yekutieli等。3. P-value 校正的实现这里介绍得很好有时间再...
2020-03-12 18:05:05
1198
原创 几种线性回归方法的简介
在给定一列数据(x1,y1),...,(xn,yn)(x_1, y_1), ...,(x_n, y_n)(x1,y1),...,(xn,yn)时，如果认为它满足线性模型：y=a+bx+ϵy=a + bx + \epsilony=a+bx+ϵ则可以用不同方法估计参数来拟合直线。1. 最小二乘法（OLS）回归最小二乘法是大家平时用的最多的拟合线性模型的方法，它使：RSS(a,b)=∑...
2018-12-09 19:11:37
12041
原创 Python 作图实现坐标轴截断（打断）
主题：利用python画图实现坐标轴截断或打断关键词：python, plot, matplotlib, break axes方法一：首先介绍一种简单快速的方法——调用包 brokenaxes。详细请点击参考。import matplotlib.pyplot as pltfrom brokenaxes import brokenaxesimport numpy as npfig ...
2018-11-21 09:47:12
30153
原创 简单理解t检验与秩和检验
t-检验选用t-检验的基本前提假设是，两组样本都服从正态分布，且方差相同。设有两类(x, y)分别有mmm个和nnn个样本，它们的总体样本方差是：sp2=(n−1)Sx2+(m−1)Sy2m+n−2s_p^2=\frac{(n-1)S_x^2+(m-1)S_y^2}{m+n-2}sp2=m+n−2(n−1)Sx2+(m−1)Sy2其中，Sx2S_x^2Sx2和Sy2S_y^2Sy2...
2018-10-14 11:56:44
61541
1
原创 决策树与随机森林
决策树是一种常用于解决分类问题的简单机器学习算法。决策树是由一系列节点组成的，每一个节点代表一个特征和相应的决策规则。决策过程很简单，一个简单的例子如下图所示：1. 如何构建决策树?决策树的构建过程就是选取特征和确定决策规则的过程。那我们该怎样决定首先选择哪个特征进行决策呢？ID3算法最早比较著名的决策树构建方法是ID3。通过选择有辨别力的特征对数据进行划分，直到每个叶节点上只包含单一...
2018-10-13 15:31:58
3078
原创 线性判别分析LDA
线性判别分析LDA前言：我在我的第一家公司分析宏基因组数据时，碰到过LDA，不过当时没有去搞明白，今天有机会再来学习它。在这里，我们将了解到线性判别分析是属于一种线性分类器。线性分类器是最简单的分类器。线性判别函数的一般表达式为g(x)=wT+w0g(x)=w^T+w_0g(x)=wT+w0下面我们开始学习最直观的Fisher线性判别分析（linear discriminant anal...
2018-10-10 20:37:12
980
原创 概率密度函数的估计
之前的博客中已经提到，贝叶斯决策的基础是概率密度函数的估计，即根据一定的训练样本来估计统计决策中用到的先验概率P(wi)P(w_i)P(wi)和类条件概率密度p(x∣wi)p(x|w_i)p(x∣wi)。概率密度函数的估计分为参数估计和非参数估计。极大似然估计极大似然估计属于一种典型的参数估计法。在最大似然估计(maximum likelihood estimation)中，我们做以下...
2018-10-09 20:33:20
6542
1
原创 浅尝马尔科夫模型
马尔科夫模型（Markov Model）又是一个我之前经常听到但从未弄明白的模型。下面我们试着来增进对它的理解。本文将讨论在离散情况下使用马尔科夫模型的统计决策方法。贝叶斯决策的基本思想是根据一定的概率模型得到样本属于某类的后验概率，然后根据后验概率的大小进行决策。问题描述：基因组上CpG相对富集的区域被称作CpG岛，接下来我们要从给定的一定DNA序列，判断它是否来自CpG岛，这属于一个两分...
2018-10-07 10:38:09
2400
原创 学习ROC
首先，我们来了解一下常用的决策分类：在评价一种检测方法的效果是，人们常用到两个概念：灵敏度SnSnSn和特异度SpSpSp。Sn=TPTP+FN,Sp=TNTN+FPSn=\frac{TP}{TP+FN}, Sp=\frac{TN}{TN+FP}Sn=TP+FNTP,Sp=TN+FPTN灵敏度表示真正的阳性样本中有多少比例能被正确检测出来，特异度表示在真正的阴性样本中有多少比例没有...
2018-10-06 12:31:55
212
原创 2.1 闲聊贝叶斯公式
贝叶斯公式我过去一直都挺眼熟，P(A∣B)∗P(B)=P(B∣A)∗P(A)P(A|B)*P(B) = P(B|A)*P(A)P(A∣B)∗P(B)=P(B∣A)∗P(A)，这么简单的公式到底要怎样利用，我可是一直没弄明白过，以至于每当别人问我贝叶斯公式是什么时，我都不敢说知道。接下来我们就要好好弄清楚贝叶斯公式的应用。现在我们有这样一个问题：已知一批样本，分别属于A和B两个类别，并且两种类别的...
2018-10-06 00:38:36
309
原创 Sequence Models-第三周
第三周学得有点懵懵懂懂，教学视频已经看完了，吴恩达老师最后的总结发言还是挺感人的（DL superman）。1. Sequence to sequence model从Encoder到decoder 看图说话 2.选择最有可能的句子机器翻译和传统的语言模型很像 选择最佳的翻译，而不是从候选项中随机选择一个。 贪婪搜索法并不能保证整体的概率最大 3. B...
2018-09-10 20:42:46
257
原创 Sequence Models-第二周
1. Word reperesentation1.1 1-hot reperesentation通过上一周的学习，我们了解到，在自然语言处理过程中，可以采用1-hot reperesentation来表示句子中的每个单词，即用该单词在词库中的位置表示。但这种表示方法有一个显而易见的缺点：即任意两个单词间的距离关系是一样的，这种表示方法无法表示相似词汇之间的相似性。 例如：对于1-ho...
2018-08-27 20:55:06
218
原创 Sequence Models-第一周
前沿距离上次在Coursera平台上课已经有几个月了，当时本以为自己会用不到RNN的东西，所以就没有继续学下去。然而最近参加了一些面试，发现掌握RNN还是非常有必要的，序列模型在生活中的应用还是挺广的，在金融量化投资领域尤其重要，所以趁着最近有点迷茫，又决定好好学一学RNN，达到至少懂一些的程度。1.1 为什么选择序列模型序列模型在生活中的应用非常广泛： 1.2 Nota...
2018-07-29 18:00:42
458
原创 CNN-第四周
1. 人脸识别Face recognition可分为：Verification, Recognition。 1.1 One Shot LearningOne shot learning所针对的情况是，在训练集只有一张目标对象的图片时，正确识别目标对象。 显然基于我们之前的知识，在只有目标对象的一个训练样本时，无法构建出一个有效的深度学习模型。因此我们相信构建一个能够学习分辨两个样本相似度的模
2018-03-21 20:24:30
167
原创 CNN-第三周：Detection algorithms
1. Object Localization我们之前的学习一直在讨论图片分类；接下来这一章将讲到物体定位，即不仅要判别图片中是否有检测目标，还要标出目标的位置。如下： 要做到object localization，首先需要给训练图片明确地标注出待检测目标的具体位置（x, y, h, w）。 一种典型的标注方法如下： 2. Landmark Detection事实上，只要你对训练集标注得当，
2018-03-04 18:04:41
561
原创 Convolutional Neural Networks：第二周
1. Classic Networks第二周的课程首先介绍了几种经典的卷积神经网络模型：LeNet-5AlexNetVGG1.1 LeNet-51.2 AlexNet1.3 VGG-16VGG模型把所有的卷积层和池化层的大小都固定了，因此结构简单，但是参数量巨大。 2. ResNets使用Residual block能够帮助训练非常...
2018-02-24 21:45:04
446
原创 初识卷积神经网络(CNN)
卷积神经网络：Convolutional Neural Networks卷积神经网络在计算机视觉领域非常有名，现在我们就来一起学习它。从之前的学习中我们了解到，计算机在识别图片时，学习到的初级特征往往是一些线条，而利用卷积神经网络可以帮助模型更快地发现特征线条。 “卷积”的过程很简单：如上图所示，将原始图像（左）乘以一个筛子（中）后，即可得到处理后的结果。如下图所示，可以利用该筛子找到原图像中
2018-02-03 17:49:17
327
原创 Algorithms, Part I
前言目前我已暂停学习深度学习课程，虽然之前的学习过程很愉快，但我现在想要挑战一下自己。机器学习在很多大学都被分在计算机科学底下，而我又了解到要学习compute science几乎不可能绕过数据结构和算法这一部分内容，这一部分的知识也决定着一个高级程序员的功底。 为了补充自己在数据结构和算法这一部分的知识，我决定修一门相关的课程，选来选去最终决定学习普林斯顿教授在Cousera开设的一门算法课。这
2017-12-12 21:31:51
793
原创 学习笔记—Optimization algorithms
这是这门课程第二周的内容。 当深度学习遇到大数据（样本量在十万级以上）时，我们之前的常规操作在这时可能会变得很笨重。1. Mini-batch gradient descent之前在模型训练过程时，每一轮迭代都需要遍历整个训练集样本，当样本集非常大时，这样的每一轮都将经历漫长的时间。为了应对这一难题，有人提出了Mini-batch gradient descent，与之对应的是batch grad
2017-11-16 21:53:06
378
原创 CNV公式
Robserved=Pnormal∗Rnormal¯¯¯¯¯¯¯¯¯+(1−Pnormal)∗Rcase¯¯¯¯¯¯Rnormal¯¯¯¯¯¯¯¯¯=Pnormal+(1−Pnormal)∗RCNVR_{observed}=\frac{P_{normal}*\overline{R_{normal}}+(1-P_{normal})*\overline{R_{case}}}{\overline{R_{n
2017-11-15 15:38:54
1089
原创 学习笔记-利用Gradient Checking检查神经网络模型
利用Gradient Checking检查神经网络模型在搭建完神经网络模型后怎样判断中间有没有bug呢？这就要用到Gradient Checking了。 一般前向传播网络的计算不容易出错，而在计算反向传播网络的过程中很容易出错。 学过微积分的都知道，某一点的导数可以用以下公式近似表示： ∂J∂θ=limε→0J(θ+ε)−J(θ−ε)2ε \frac{\partial J}{\partial
2017-11-12 16:59:30
448
原创 学习笔记—神经网络与正则化
神经网络与正则化正则化项能够控制模型的过拟合问题，深层神经网络模型如果不添加正则化项，很容易陷入过拟合。1 L2 Regularization1.1 正则化惩罚到底做了什么？最常见的用于控制过拟合的方法为L2正则化，它所做的只是对损失函数增加了系数惩罚——在原公式基础上增加所有系数的二次方值的和。 原始损失函数： J=−1m∑i=1m(y(i)log(a[L](i))+(1−y(i))log(1
2017-11-11 17:50:23
3043
1
原创 利用R画置信椭圆
利用R绘制置信椭圆(confidence ellipse)有时候我们需要查看两组数据的分布情况，这时候通过可以绘制置信椭圆达到目的。library(car)dataEllipse(Duncan$income, Duncan$education, levels=0.95,xlim=c(-30,120),ylim=c(-30,160))上述代码可以很快速地画出income和education两列数据的
2017-11-09 17:15:42
21034
2
原创 学习笔记-神经网络初级入门
1. 写作背景——刚学到的知识如果不及时记录下来，很快就会被遗忘。从上个月开始我就开始在Coursera平台学习吴恩达老师开设的深度学习课程。今天我已经学完第一门课程，并已经获得证书。这门课程不像之前的机器学习课程提供了完整的授课ppt，因为担心自己学完后会很快就忘记，以后回忆起来太费劲，所以决定在这里写下自己学习这门课程的笔记。当然，我只会记录对我将来回忆有帮助的信息。只希望自己以后回忆起来会容易
2017-11-04 15:06:51
379
原创 学习笔记-图像识别(Photo OCR)
The photo OCR problemPhoto OCR 全称 Photo Optical Character Recognition，即图像识别。例如识别下图中的文字： 文字识别的一般步骤如下： 1. 检测文字所在的区域； 2. 字符拆分； 3. 字符识别。 Sliding windows采用滑窗策略来检测目标所在区域。如下图红框均为包含识别目标的滑动框： 针对每一个选定的窗口，利
2017-10-10 22:01:12
1011
原创 学习笔记-Large scale machine learning
终于来到了倒数第二周，这章的主要内容是怎样应对超大样本量的机器学习项目，例如训练集有500万个样本。 之前我们曾提到，有时候样本量的多少决定了一个模型的好坏，当样本量达到一定数量级时，应用不同算法获得的结果差不多。有句名言“最后获胜的人往往是那些拥有最多数据量的人，而不是那些拥有最好算法的人”
2017-09-28 21:09:20
867
原创 学习笔记-异常检测（Anormaly Detection）
我们已有一些针对发动机检测的指标，和这些指标对应的检测值，我们需要根据一批新的检测值，确定一个发动机是否异常。
2017-09-24 13:08:08
3554
原创 学习笔记-推荐系统(Recommender systems)
推荐系统在现实中的应用很广：购物网站会根据顾客的购物历史给顾客推荐商品；电影网站也会根据你对一些电影的评分为你推荐新的电影。学完这一章后，发现这背后的逻辑还是挺简单的。 基本假设：用户对某电影的评分由该电影的内容属性组合(X)和用户对这些内容属性的喜好程度(Theta)所决定。1. Content based recommendations所谓Content based，即已知每部电影的内容属性，
2017-09-23 22:18:39
385
原创 学习笔记-非监督学习
非监督学习的训练样本没有已知标签，常需要通过非监督学习去发现样本间的结构关系。 非监督学习这块内容由两部分组成：K邻近法和主成分分析。K-means聚类是最常见的非监督学习应用。K-means是最常见的聚类学习算法。 K-means算法的输入包括：训练集样本，和需要划分的类别K。 算法过程 随机初始设置类别标签，从训练集样本里随机挑选K个样本，分别代表将要划分的K个不同类别； 重复以下
2017-08-26 16:43:33
372
原创 学习笔记-支持向量机(SVM)
Support Vector Machines支持向量机也是一种用于解决分类任务的算法；从逻辑回归到支持向量机在逻辑回归算法里，如果一个样本的目标分类为1时，我们希望h(θ)≈1h(θ)\approx1，并且θTx>>0θ^Tx\gt\gt0； 但对于SVM，我们的要求更严厉，即当一个样本的目标分类为1时，我们希望h(θ)≈1h(θ)\approx1，并且θTx>>1θ^Tx\gt\gt1；同样的
2017-08-20 13:21:52
516
原创 学习笔记-机器学习系统设计
注：该博文为Coursera平台的machine learning 课程学习笔记。如何构建一个垃圾邮件分类器要构建一个机器学习模型，首先要确定模型的输入变量即特征变量。 邮件都是由一个个单词组成，而垃圾邮件里往往都包含一些共同的关键词，如buy, discount等。因此可以选择日常生活经常会用到的n个（1万到5万）单词，判断这些单词是否在邮件里出现。出现则用1表示，未出现则用0表示。这样就简单构
2017-08-13 12:19:47
341
原创 学习笔记—诊断机器学习模型
应用机器学习过程中的建议本文源自在Coursera平台学习machine learning 过程中的一些记录在评价一个机器学习模型时，当你发现你的模型在测试集上的预测性能非常差时，通常有一下解决办法： - 增加训练集样本量； - 减少输入特征变量数目； - 增加额外的特征变量； - 增加多项式特征变量； - 增大或降低lambda值；要评价一个模型，一般可以采用70%的数据量做训练集，另外
2017-08-12 17:14:39
1163
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人