- 博客(6)
- 收藏
- 关注
RSS订阅原创 神经网络Xavier随机初始化
该方法来源于2010年的论文Understanding the difficulty of training deep feedforward neural network该方法的思想是：为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等具体的推导过程见如下链接：深度学习——Xavier初始化方法深度学习中Xavier初始化推导所得的结果就是使该层中权重参数的每个元素都随机采样于...
2020-02-18 16:32:52
611
3
原创 RNN梯度裁剪
RNN梯度裁剪 最近抗疫在家蹲监狱，恰巧参加DataWhale组织的组队学习，这次的内容是深度学习，看到RNN的讲解这里，有一个“梯度裁剪”的方法不是很理解，故百度一波，整理一下，首先放上讲解中的定义（也是我百度出来的第一篇博客里的内容）： 循环神经网络中较容易出现梯度衰减或梯度爆炸，这会导致网络几乎无法训练。裁剪梯度（clip gradient）是一种应对梯度爆炸的方法。假设我们把所有模...
2020-02-13 16:13:54
1682
原创 Datawhale组队学习（四）
模型选择以lightGBM为例from __future__ import print_functionimport lightgbm as lgbimport sklearnimport numpyimport hyperoptfrom hyperopt import hp, fmin, tpe, STATUS_OK, Trialsimport coloramaimport n...
2020-01-15 15:25:42
112
原创 Datawhale组队学习（三）
Datawhale房租预测实战（特征工程） 个人认为特征工程就是首先：根据一些业务常识或数据常识，从几十个特征中删掉一部分没有用的特征，如此例中的“ID”（只是每个样本的标识符），“city”（所有样本的city值都是上海），“tradeTime”（因为数据中的tradeTime全部是2018年，将月和日分割成单独的新特征后，原来的tradeTime就没有用了），所以我认为删除特征的数据常识就...
2020-01-13 09:44:16
146
原创 Datawhale组队学习（二）
Datawhale房租预测实战学习笔记（数据清洗）缺失值处理 缺失值的处理方法这篇文章总结得比较全面：缺失值处理方法综述总的来说可以分为三大方法：（1）删除；（2）填补；（3）不处理。对于这种多特征的回归模型，我认为不处理缺失值会对往模型里输入数据造成问题，故应采取前两种方法。 根据上一次的分析，51个特征列中，pv和uv两列含有18个null值，初步猜想这18个null值出现在相同样...
2020-01-09 20:24:20
140
原创 Datawhale组队学习（一）
Datawhale房租预测实战学习笔记（一）认识数据 本次实战学习的赛题是城市-房产租金预测，从题目就可大致看出该题目属于回归问题，需要根据训练集给出的特征数据，选择合适的特征参数建立回归模型并验证预测精度，该比赛采用的模型评估公式（即cost function)为：score=1−∑i=1M(yi−y^)2(yi−yˉ)2score=1-\sum_{i=1}^M\frac{(y_i-\h...
2020-01-07 19:58:23
284
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人