- 博客(18)
- 收藏
- 关注
RSS订阅原创 深度学习中常用的调参方法
不管什么模型，先在一个较小的训练集上train和test，看看它能不能过拟合。如果不能过拟合，可能是学习率太大，或者代码写错了。先调小学习率试一下，如果还不行就去检查代码，先看dataloader输出的数据对不对，再看模型每一步的size是否符合自己期待。一开始学习率一般定位0.1-0.01看train/eval的loss曲线，正常的情况应该是train loss呈log状一直下降最后趋于稳定，eval loss开始时一直下降到某一个epoch之后开始趋于稳定或开始上升，这时候可以用early stop.
2020-09-03 14:38:22
1606
原创 多标签学习模型（一）：Multi Label Knn
1.什么是多标签分类问题2.传统的KNN算法3.为什么传统的KNN算法不能够处理多标签问题4.ML KNN的推导5.ML KNN是如何解决多标签问题的6.总结
2020-08-23 00:06:00
1951
2
原创 机器学习中的特征工程有哪些？
1.特征工程是什么？有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归特征处理是特征工程的核心部分，sklearn提供了较为完整的特征处理方法，包括数据预处理，特征选择，降维等。首次接触到sklearn，通常会被其丰富且方便的算法模型库吸引，但是这里介绍的特征处理库也十分强大！本文中使用sklearn中的IRIS（鸢尾花）数据集来对特征
2020-08-21 11:32:27
2577
原创 深度学习常用模型（二）：VGG16
原始英文论文：《Very Deep Convolutional Networks for Large-Scale Image Recognition》arXiv：[1409.1556] Very Deep Convolutional Networks for Large-Scale Image Recognitionintro：ICLR 2015homepage：Visual Geometry Group Home Page前言：VGG是Oxford的Visual Geometry Group的组
2020-08-20 10:59:14
1162
原创 ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构（去深刻理解架构和模块的区别）
卷积神经网络在视觉识别任务上的表现令人称奇。好的CNN网络是带有上百万参数和许多隐含层的“庞然怪物”。事实上，一个不好的经验规则是：网络越深，效果越好。AlexNet，VGG，Inception和ResNet是最近一些流行的CNN网络。为什么这些网络表现如此之好？它们是如何设计出来的？为什么它们设计成那样的结构？回答这些问题并不简单，但是这里我们试着去探讨上面的一些问题。网络结构设计是一个复杂的过程，需要花点时间去学习，甚至更长时间去自己动手实验。首先，我们先来讨论一个基本问题：为什么CNN模型战胜了传统
2020-08-20 10:37:53
1094
原创 深度学习常用模型（一）：ResNet
1.RestNet是用来干嘛的在VGG中，卷积网络达到了19层，在GoogLeNet中，网络史无前例的达到了22层。那么，网络的精度会随着网络的层数增多而增多吗？在深度学习中，网络层数增多一般会伴着下面几个问题：1.计算资源的消耗2.模型容易过拟合3.梯度消失/梯度爆炸问题的产生问题1可以通过GPU集群来解决，对于一个企业资源并不是很大的问题；问题2的过拟合通过采集海量数据，并配合Dropout正则化等方法也可以有效避免；问题3通过Batch Normalization也可以避免。貌似我们只要无脑
2020-08-19 11:28:14
861
1
原创 深度学习（三）：梯度消失与梯度爆炸及其解决办法
在深度学习中梯度消失和梯度爆炸一直是要解决的核心问题，就用这篇文章来总结一下相关的概念。本文分为三部分，第一部分主要直观的介绍深度学习中为什么使用梯度更新，第二部分主要介绍深度学习中梯度消失及爆炸的原因，第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。其中，梯度消失爆炸的解决方案主要包括以下几个部分。预训练加微调- 梯度剪切、权重正则（针对梯度爆炸）使用不同的激活函数使用batchnorm使用残差结构使用LSTM网络1.什么是梯度更新，为什么要用它什么是梯度：是张量运算
2020-08-17 22:37:23
2397
原创 深度学习（二）：常见的防止网络过拟合的方法
总的来说。防止神经网络过拟合的方法有三大类，对应着你行不同的层面去解决这个问题，方法包含有：1.数据层面，2.模型层面 ，3.方法层面什么是网络过拟合首先我们来看一下什么是神经网络过拟合，1.从数据上...
2020-08-17 10:48:14
1516
原创 深度学习（一）：什么是深度学习优化器
深度学习常见优化器（一）：什么是深度学习优化器在深度学习中，我们有损失的概念，它告诉我们模型在当前时刻的表现如何。现在，我们需要利用这种损失来训练我们的网络，使其性能更好。本质上，我们需要做的就是计算损失并尽量减少损失，因为较低的损失意味着我们的模型将表现得更好。最小化（或最大化）任何数学表达式的过程称为优化，现在我们需要了解如何将这些优化方法用于神经网络。在神经网络中，每层之间都有许多权重。我们必须了解，网络中的每一个权重都会以某种方式影响网络的输出，因为它们都直接或间接地连接到输出。因此，可以说，
2020-08-15 23:32:34
2755
原创 python编程：lumbda\map\reduce内置函数的区别
python中lumbda\map\reduce内置函数的区别最近在刷题的时候发现这三个函数老是弄不清楚lumbdalumbda可以理解为当你不想为一个只调用一次的简单函数写一个def的时候使用例如，你在写代码的过程中只想求一次两个数相加： add = lambda x, y: x + y print(add(3, 5)) # Output: 8这里只写了一个求和函数，且我不需要多次调用这个求和函数。mapmap() 会根据提供的函数对指定序列做映射。第一个参数 f
2020-08-03 11:22:10
148
原创 方差、标准差和协方差三者之间的定义与计算
方差、标准差和协方差三者之间的定义与计算最近一直在学kalman滤波技术在无人驾驶汽车中的应用，但是一直搞不清楚：标准差方差，协方差，均差，高斯分布，多元高斯分布等等一系列概率论的基础概念，因此想写一篇博客备忘一下，这也是我的第一篇博客，希望以后能够坚持写下去。方差方差是各个数据与平均数之差的平方的平均数。在概率论和数理统计中，方差（英文Variance）用来度量随机变量和其数学期望（即均值...
2019-04-10 16:41:40
8530
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人