- 博客(53)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 缺失值处理
缺失值填补：1、用0填补df.fillna(0)2、中位数填补df.fillna(df.median(),inplace=True)当变量较多时，用中位数代替是一种稳健的方法。3、均值填补df.fillna(df.mean(),inplace=True)4、众数填补df.fillna(df.mode().iloc[0],inplace=True)5、用一个字符串代替缺失值df.fillna('missing')...
2020-12-03 16:23:50
810
转载 机器学习中处理缺失值的7种方法
机器学习中处理缺失值的7种方法转载 |https://cloud.tencent.com/developer/article/1680427作者 | Satyam Kumar编译 | VK来源 | Towards Data Science现实世界中的数据往往有很多缺失值。丢失值的原因可能是数据损坏或未能记录数据。在数据集的预处理过程中，丢失数据的处理非常重要，因为许多机器学习算法不支持缺失值。本文介绍了7种处理数据集中缺失值的方法：删除缺少值的行 为连续变量插补缺失值...
2020-12-03 15:19:41
4099
转载 Pytorch 常用代码整理
基础配置检查 PyTorch 版本torch.__version__ # PyTorch versiontorch.version.cuda # Corresponding CUDA versiontorch.backends.cudnn.version() # Corresponding cuDNN versiontorch.cuda.get_device_name(0) # GPU type更新 PyTorchPyT...
2020-11-26 10:10:17
392
转载 值得推荐的C/C++框架和库
强推：http://www.ezlippi.com/blog/2014/12/c-open-project.html
2020-09-17 21:03:29
128
转载 典型关联分析 CCA
典型关联分析(Canonical Correlation Analysis，以下简称CCA)是最常用的挖掘数据关联关系的算法之一。比如我们拿到两组数据，第一组是人身高和体重的数据，第二组是对应的跑步能力和跳远能力的数据。那么我们能不能说这两组数据是相关的呢？CCA可以帮助我们分析这个问题。1. CCA概述 在数理统计里面，我们都知道相关系数这个概念。假设有两组一维的数据集X和Y，则相关系数ρρ的定义为: 其中是X和Y的协方差，而分别是X和Y的方差。相关系数ρ的取值为[-1,.
2020-09-16 17:40:26
450
原创 C++ 二进制运算符
c/c++中常用的二进制运算符有六个。 1.&: 与 操作.作用于两个二进制数,当然也可以对整型数据进行操作(当两边为整型数据会自动转化为二进制数).二进制与用来对位进行置零或者复位.如果两个值进行二进制与,只有当两个对应的位都为1时结果位上为1(同1结果为1，有0结果为0),其他情况都为0.如下: 01011001 &00101001 结果为:00001001010110010010100100001001 2.|:...
2020-09-12 20:34:08
4480
2
原创 Leecode 剑指 Offer 12. 矩阵中的路径
题目请设计一个函数，用来判断在一个矩阵中是否存在一条包含某字符串所有字符的路径。路径可以从矩阵中的任意一格开始，每一步可以在矩阵中向左、右、上、下移动一格。如果一条路径经过了矩阵的某一格，那么该路径不能再次进入该格子。例如，在下面的3×4的矩阵中包含一条字符串“bfce”的路径（路径中的字母用加粗标出）。[["a","b","c","e"],["s","f","c","s"],["a","d","e","e"]]但矩阵中不包含字符串“abfb”的路径，因为字符串的第一个字符b占据了矩阵中的第
2020-09-12 20:13:36
139
原创 C++ vector用法
vector一维vector<int> a; 等同于声明了一个数组int a[ ],大小没有指定，可以实现动态的添加删除。二维vector <int *> aint b = 5;a.push_back(b); //该函数下面有详解cout<<a[0]; //输出结果为5函数#include<iosteam>#include<vector>using namespace std;in...
2020-09-10 20:33:04
150
原创 C++ 队列Queue
C++队列Queue类成员函数如下:back() 返回最后一个元素empty() 如果队列空则返回真front() 返回第一个元素pop() 删除第一个元素push() 在末尾加入一个元素size() 返回队列中元素的个数#include <iostream>#include <queue>#include <assert.h>/*调用的时候要有头文件： #include<stdlib.h> 或 #include<c
2020-09-10 20:06:33
232
原创 C++ 栈Stack
首先看一下原c++栈的方法的基本用法：push(): 向栈内压入一个成员； pop(): 从栈顶弹出一个成员； empty(): 如果栈为空返回true，否则返回false； top(): 返回栈顶，但不删除成员； size(): 返回栈内元素的大小；#include<iostream>#include<stack>using namespace std;int main(){ stack <int>stk; //入栈 f
2020-09-10 19:37:35
109
转载 深度学习 Dropout详解
1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问题，一般会采用模型集成的方法，即训练多个模型进行组合。此时，训练模型费时就成为一个很大的问题，不仅训练多个
2020-07-14 18:02:02
1401
原创 C++ new 和 malloc的区别
这里先对new和delete简单进行一下总结，然后再细说new和malloc的区别。一、new和deleteC语言提供了malloc和free两个系统函数，完成对堆内存的申请和释放。而C++则提供了两个关键字new和delete；1.1 规则new/delete是关键字，效率高于malloc和free。配对使用，避免内存泄漏和多重释放。避免交叉使用，比如malloc申请空间delete释放，new出的空间被free。new/delete 主要是用在类对象的申请和释放。申请的时候会调用构
2020-07-13 17:35:03
306
原创 softmax函数详解
softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法：下面为大家解释一下为什么softmax是这种形式。首先，我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。1）将预测结果转化为非负数下图为y=exp(x）的图像，我们可以知道指数函数的值域取值范围是零到正无穷。softma
2020-07-12 22:39:46
6689
原创 分类问题不使用平方损失函数的原因
一般平方损失函数的公式如下图所示：h表示的是你的预测结果，y表示对应的标签，J就可以理解为用二范数的方式将预测和标签的差距表示出来，模型学习的过程就是优化权重参数，使得J达到近似最小值，理论上这个损失函数是很有效果的，但是在实践中却又些问题，它这个h是激活函数激活后的结果，激活函数通常是非线性函数，例如sigmoid之类的，这就使得这个J的曲线变得很复杂，并不是凸函数，不利于优化，很容易陷入到局部最优解的情况。吴恩达说当激活函数是sigmoid的时候，J的曲线就如下图所示，可以看到这个曲线是很...
2020-07-12 21:18:09
2099
转载 损失函数分类
损失函数机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小，模型越好，如果预测值与真实值相等，就是没有损失。损失函数（Loss function）是用来估量模型的预测值 f(x) 与真实值 Y 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x)) 来表示。损失函数越小，模型的鲁棒性就越好。虽然损失函数可以让我们看到模型的优劣，并且为我们提供了优化的方向，但是我们必须知道没有任何一种损失函数适用于所有的模型。损失函数的选取依赖于参数的数量、异常值、机器学习算法、梯度下降的效率、导
2020-06-17 19:54:59
4244
转载 理解损失函数（理论）
数学准备连续随机变量的期望：假设X是连续的随机变量，f(X)是其概率密度函数，那么X的期望是：0-1损失函数：当f(x)=y时，等于1，当f(x)≠y时，等于0。性能度量与损失函数机器学习的三要素就是：表示，评估和优化。正如我们在《非参数模型》中提到的：机器学习分为表示、评估和优化。表示指的是将样本空间映射到一个合适的特征空间，一般地，我们更青睐于这样的表示是低维度的，是更加稀疏交互的，同时也希望是相互独立的。而评估指的是模型在数据上表现的量化形式，...
2020-06-08 17:47:09
2005
原创 Pytorch 获取神经网络权重、偏执等参数
方法一：提取各层的参数output_1=model.fc1.bias.dataoutput_1=model.fc1.weight.data方法二：提取模型中所有weight的参数（bias一样）for name, parameters in model.state_dict().items():if “weight” in name:print(name,’:’,parameters.detach().numpy())方法三：提取所有的parametersparams = list(mo
2020-05-28 17:16:02
13534
6
转载 SKlearn概述
SKlearn简介scikit-learn，又写作sklearn，是一个开源的基于python语言的机器学习工具包。它通过NumPy, SciPy和Matplotlib等python数值计算的库实现高效的算法应用，并且涵盖了几乎所有主流机器学习算法。SKlearn官网：http://scikit-learn.org/stable/index.html在工程应用中，用python手写代码来从头...
2020-04-20 21:39:31
1318
转载 机器学习 岭回归和lasso中乘调优参数λ的确定
转自：https://blog.csdn.net/weixin_43374551/article/details/83688913 一、岭回归1.参数推导线性回归模型的目标函数J(β)=∑(y−Xβ)2J(β)=∑(y−Xβ)2J(β)=∑(y−Xβ)2J(β)=∑(y−Xβ)2J(β)=∑(y...
2019-07-20 20:22:58
13614
1
转载 机器学习 Sparsity and Some Basics of L1 Regularization
转载：http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#67364f6b44ff80f9f952d5a46f2307425d2ee9ac Sparsity 是当今机器学习领域中的一个重要话题。John Lafferty 和 Larry Wasserma...
2019-07-19 15:39:58
191
转载 最小二乘法 几何意义
上次写了篇文章来阐述几何投影与傅里叶级数的联系，今天我想谈谈几何投影与最小二乘法的联系，这种联系的好处是不管多复杂的公式，又可以被瞬间记住了。本文的中心思想是：最小二乘法中的几何意义是高维空间中的一个向量在低维子空间的投影。这个思想在MIT教授GilbertStrang的线性代数的公开课程上有讨论，这里我会把这个思想详细的阐述一遍。文章最后会把傅里叶级数和最小二乘法放在一起做个比较和总结，希望大...
2019-07-17 15:43:43
3385
转载 KKT 直观理解
KKT最优化条件是Karush[1939]，以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视，因此许多情况下只记载成库恩塔克条件（Kuhn-Tucker conditions)库恩塔克条件(Kuhn-Tucker conditions)是非线性规划领域里最重要的理论成果之一，是确定某点为极值点的必要条件。如果所讨论的规划是凸规划...
2019-07-15 15:39:24
1440
转载 显著性检验，T-test，P-value
备注：源：https://www.cnblogs.com/hdu-zsk/p/6293721.html显著性检验，判...
2019-07-10 17:38:00
3705
转载 最小二乘法 几何意义
上次写了篇文章来阐述几何投影与傅里叶级数的联系，今天我想谈谈几何投影与最小二乘法的联系，这种联系的好处是不管多复杂的公式，又可以被瞬间记住了。本文的中心思想是：最小二乘法中的几何意义是高维空间中的一个向量在低维子空间的投影。这个思想在MIT教授Gilbert Strang的线性代数的公开课程上有讨论，这里我会把这个思想详细的阐述一遍。文章最后会把傅里叶级数和最小二乘法放在一起做个比较和总...
2019-07-10 11:09:26
1149
转载 机器学习 常用算法导读
【新智元导读】本文将带你遍历机器学习领域最受欢迎的算法。系统地了解这些算法有助于进一步掌握机器学习。当然，本文收录的算法并不完全，分类的方式也不唯一。不过，看完这篇文章后，下次再有算法提起，你想不起它长处和用处的可能性就很低了。本文还附有两张算法思维导图供学习使用。在本文中，我将提供两种分类机器学习算法的方法。一是根据学习方式分类，二是根据类似的形式或功能分类。这两种方法都很有用，不过，本文将...
2019-07-01 11:31:45
213
转载 机器学习 最小角回归法 LARS
在介绍最小角回归算法前，我们需要了解两个相关算法，一个是前向选择算法（Foward Selection），一个是前向梯度算法（Forward Statgewise）。1.前向选择算法（Foward Selection） 假设有Y=Xθ,X为m*n的矩阵，Y为m*1的矩阵，我们要找到一个θ，最大程度的拟合输入和输出。 这里把X看成n个m*1的的向量Xi。 第一步：选择和目标Y最...
2019-07-01 11:02:55
1530
转载 机器学习 一般回归问题
Given a labeled training set learn a general mapping which a...
2019-06-27 16:45:28
1533
转载 机器学习 子集选择 subset selection
本节主要想表述选取子集的方法，就是在很多个variable里面选择其中比较好的几个来regression,而不是用所有的variable来做regression,那如何衡量选取的好坏呢？还是用那个最小二乘的方法。1 best-subset selection:这个方法显得非常直观，对于选取k个variable,就是花极高的复杂度，来枚举所有情况求出最小的,下图很好的说明了这个：红...
2019-06-27 15:30:55
6129
原创 机器学习 最小角回归Least Angle Regression（LARS），forward stagewise selection
推荐阅读：https://blog.csdn.net/xbinworld/article/details/44284293
2019-06-25 17:18:49
385
转载 矩阵 QR分解法
关于如何求一个矩阵A的特征向量X和特征值λ，在上学时我们通常使用如下方法： AX =λX =λIX （I：单位阵） => |A -λI| = 0 => 求出λ =>代入AX =λX求出X 但在...
2019-06-25 16:04:30
10454
原创 机器学习 LRAS Lasso
日后学习记录一下：分组最小角回归算法（group LARS）：https://cosx.org/2011/04/group-least-angle-regression-algorithm/LARS算法简介：https://cosx.org/2011/04/an-introduction-to-lars/修正的LARS算法和lasso：https://cosx.org/20...
2019-06-21 17:38:11
708
转载 CTeX的使用教学合集
1：https://blog.csdn.net/LHQJ1992/article/details/50458118 （推荐！）2：https://blog.csdn.net/wangyang163wy/article/details/81265321
2019-06-21 10:49:00
6385
转载 机器学习 Lasso回归算法
Lasso回归算法： 坐标轴下降法与最小角回归法小结 前面的文章对线性回归做了一个小结，文章在这：线性回归原理小结。里面对线程回归的正则化也做了一个初步的介绍。提到了线程回归的L2正则化-Ridge回归，以及线程回归的L1正则化-Lasso回归。但是对于Lasso回归的解法没有提及，本文是对该文的补充和扩展。以下都用矩阵法表示，如果对于矩阵分析不熟悉，推荐学习张贤达的《矩阵分析与应用》...
2019-06-20 15:44:51
6165
转载 机器学习 梯度下降（Gradient Descent）
梯度下降（Gradient Descent）小结 在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法（详见另一文章）。这里就对梯度下降法做一个完整的总结。1. 梯度 在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x...
2019-06-20 14:39:12
260
转载 机器学习 最小二乘法
最小二乘法小结 最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式：目标函数=∑（观测值−理论值）2目标函数=∑（观测值−理论值）2 ...
2019-06-20 11:07:45
2003
转载 机器学习 线性回归
线性回归原理小结 线性回归可以说是机器学习中最基本的问题类型了，这里就对线性回归的原理和算法做一个小结。1. 线性回归的模型函数和损失函数 线性回归遇到的问题一般是这样的。我们有m个样本，每个样本对应于n维特征和一个结果输出，如下： (x(0)1,x(0)2,...x(0)n,y0),(x(1)1,x(1)2,...x(1)n,y1),...(x(m)1,x(m)...
2019-06-20 11:06:46
209
转载 机器学习 正则化
正则化1. The Problem of Overfitting1还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。我们把此类情况称为欠拟...
2019-06-13 17:25:19
166
转载 机器学习 稀疏性的优点
稀疏指的是参数或者数据中零的个数,零的个数越多,参数或者数据就越稀疏.这种稀疏性带来许多优点.参数稀疏有什么好处1）特征选择(Feature Selection)： 大家对稀疏规则化趋之若鹜的一个关键原因在于它能实现特征的自动选择。一般来说，xi的大部分元素（也就是特征）都是和最终的输出yi没有关系或者不提供任何信息的，在最小化目标函数的时候考虑xi这些额外的特征，虽然可以获得更小的训练误...
2019-06-13 15:40:02
6051
Property Inference Attacks on Fully Connected Neural Networks
2019-06-27
A note on the group lasso and a sparse group lasso
2019-06-27
Model selection and estimation in regression with grouped variables.pdf
2019-06-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人