- 博客(65)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 xgboost简易推导
xgboost是一个集大成的算法，下面仅仅是一个简单的推导过程，其中的算法思想需要我们去深入理解掌握，若有问题，欢迎提出探讨。
2020-03-07 20:11:33
328
1
原创 2019大数据挑战赛（特征工程部分代码）
以下仅为总特征的部分特征import pandas as pdimport numpy as npimport difflibfrom gensim.models.doc2vec import Doc2Vec, LabeledSentenceimport gensimimport gcimport warningsfrom sklearn.preprocessing import ...
2020-03-03 19:01:49
535
原创 多标签分类评估方式（Metrics for measuring the prediction quality of a multi-label system）
Metrics for measuring the prediction quality of a multi-label system大多数情况下，机器学习，深度学习中我们经常面对的分类问题大多是二分类，多类问题，但是有时候我们也会有多标签分类问题的产生。对于多标签问题，我们需要一个合理客观的评价这个分类器好坏的方式，在这里根据 Some remarks on predicting mult...
2019-04-17 08:48:53
1602
6
原创 机器学习算法汇总
ML算法模型简单总结一下在学习的过程中对Machine Learning算法模型理解：决策树 ( decision tree)详解集成算法(Bagging，随机森林)集成算法(AdaBoost基本原理)Boosting算法（GBDT，XGBoost，LightGBM）SVM(Support Vector Machin) 支持向量机 详解KNN(k-nearest neighbors...
2018-12-18 11:11:18
2179
原创 集成算法(Bagging，随机森林)
引言（关于集成学习）集成算法包括很多种包括Bagging，随机森林，Boosting 以及其他更加高效的集成算法。在这篇博客上只介绍Bagging算法及随机森林，Boosting提升算法及其他高效的算法在下一篇详细讲解。集成算法就是通过构建多个学习器来完成学习任务，是由多个基学习器或者是个体学习器来完成的。它可以是由决策树，神经网络等多种基学习算法组成。就像是投票表决答案一样，多数人的参与总会...
2018-11-18 12:55:33
11835
转载 进化策略算法（CMA-ES）
进化策略算法文章目录进化策略算法引言二元ES:(1+1)-ES多元ES(u+λ\lambdaλ)-ESCMA-ES本篇主要想对CMA-ES算法进行一个简单整理，CMA-ES算法学习的过程中，避免不了传统简单的ES算法的学习，都一起整理在这里便于更好的理解进化策略。引言ES(进化学习)是一种最优化算法，如神经网络梯度下降算法一样也是最优化算法的一种，但是跟梯度下降算法不同的是，ES是通过干预的方式影响结果，逐步选取最优点迭代，是一种不用考虑中间复杂函数关系的一种黑盒算法，不需要建立复杂的函数关系（如，
2022-03-03 22:33:51
7494
原创 mnist数据集实践（tensorflow实现）
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataMNIST_data_folder="E:\Code\jupyter_notebook_file\Tensorflow\MNIST_data"mnist = input_data.read_data_sets(MNIST_data...
2020-03-03 19:52:25
353
原创 2019全国高校大数据应用创新竞赛Baseline
网址 : https://ai.futurelab.tv/tournament/2### 1. 导入需要的工具包并查看数据import numpy as npimport pandas as pdfrom matplotlib import pyplot as pltfrom sklearn.metrics import mean_squared_error as msefrom ke...
2020-03-03 18:31:30
532
1
原创 Softmax 函数数值稳定性
Softmax 函数数值稳定性我们在使用计算机数学运算时需要使用有限的比特位来表达实数，这会导致近似误差的产生。近似误差可以在多步数值运算中传递、积累，从而导致理论上成功的算法失败。 几种常见的误差产生就是上溢出和下溢出。下面具体看softmax的稳定性：tips：以下大写表示向量上式①中是 softmax(X) 函数，根据式子易得：当x趋于负无穷时exp(x)下溢出；x趋于正无穷时，e...
2019-06-01 21:38:54
1028
原创 YOLOv3 论文阅读
YOLOv3: An Incremental ImprovementJoseph Redmon, Ali FarhadiUniversity of Washington 我们向YOLO提供了一些更新!我们做了一些设计上的小改动使它变得更好。我们还培训了这个非常棒的新网络。它比上次大了一点，但是更准确。不用担心，它仍然很快。在320×320 YOLOv3运行22 ms在28.2mAP，准确度和SSD一样，但快了三倍的速度。当我们看之前的 IOU 的mAP检测指标 YOLOv3是相当不错的。在Titan X上
2019-05-30 17:42:45
271
原创 YOLO9000 Better Faster Stronger 论文阅读
Abstract 我们介绍了YOLO9000，一个最先进的实时对象检测系统，可以检测超过9000个对象类别。首先，我们提出了各种改进YOLO检测方法，既新颖又借鉴了前人的工作。改进后的YOLOv2模型在PASCAL VOC和COCO等标准检测任务上是最先进的。使用一种新颖的多尺度训练方法，同样的YOLOv2模型可以以不同的大小运行，在速度和精度之间提供了一个简单的权衡。
2019-05-29 21:46:43
184
原创 SSD: Single Shot MultiBox Detector 论文解读
SSD: Single Shot MultiBox Detector Abstract.我们提出了一种利用单个深度神经网络对图像中目标进行检测的方法。我们的方法名为SSD，它将边界框的输出空间离散为一组默认框，每个特征映射位置具有不同的纵横比和
2019-05-28 12:05:54
348
原创 Soft-NMS （Improving Object Detection With One Line of Code） 论文解读
Improving Object Detection With One Line of Code ，Soft-NMS论文解读，详细介绍Soft-NMS算法原理，另外附有论文地址
2019-05-26 15:32:52
638
原创 YOLO v1（You Only Look Once）论文解读
由于迁移比较麻烦，参考我的知乎专栏：https://zhuanlan.zhihu.com/p/66972728
2019-05-25 17:56:25
324
原创 Linux下安装Python库（使用国内镜像源）
我们在Linux系统中配置机器学习深度学习环境时，由于Linux默认的下载是从国外源下载速度超慢或者无法下载安装，我们只要把文件源换成国内的就相对来说比较快了。最简洁的就是直接在命令中指定源地址，以安装Tensorflow为例，如下：pip install -i http://mirrors.aliyun.com/pypi/simple/ --upgrade tensorflow在这里如果...
2019-05-06 20:25:45
5922
1
原创 Linux和windows文件互传
通过简易SSH协议利用scp命令文件互传，要知道SSH不为windows所支持，我们可以借助辅助工具实现。第一步： 下载pscp.exe工具（百度直接搜索即可）第二步： 下载好的pscp.exe放到C:\Windows\System32目录下第三步：windows -> linux 传文件（windows下CMD中运行）(base) C:\Users\lzl>pscp G:\...
2019-05-06 20:11:45
428
原创 ROI Pooling（感兴趣区域池化）
引言感兴趣区域池化（Region of interest pooling）（也称为RoI pooling）是使用卷积神经网络在目标检测任务中广泛使用的操作。例如，在单个图像中检测多个汽车和行人。其目的是对非均匀尺寸的输入执行最大池化以获得固定尺寸的特征图（例如7×7）。计算机视觉中的两个主要任务是对象分类和目标检测。在第一种情况下，系统应该正确地标记图像中的主要对象。在第二种情况下，它应该为图...
2019-05-03 20:38:39
18790
1
原创 理解插值法（拉格朗日、牛顿插值法）
引言我们首先理解下插值法主要用来做什么事：插值法就是利用已知的点建立合适的插值函数 f(x)f(x)f(x) ,未知点 xix_ixi 由插值函数 f(x)f(x)f(x) 可以求出函数值 f(xi)f(x_i)f(xi)，用求得的(xi,f(xi))(x_i,f(x_i))(xi,f(xi))近似代替未知点。对于平面上相异（无两点在一条直线上）的 nnn 个点，我们必定可以找到一个 ...
2019-04-26 13:43:26
9789
原创 直面Apriori算法
引言Apriori算法是一种常用的关联规则算法，也是最经典的挖掘频繁项集的算法，其核心是通过连接产生候选项以其支持度然后通过剪枝生成频繁项集。之外还有FP-Tree、Eclat、灰色关联法等其他算法。在这里通过具体的例子详细的介绍下Apriori算法原理，以下面数据为例：第一列表示数据的条目、第二列为每个条目里面的数据，我们可以把下表作为超市商品订单号和订单内容。我们主要是通过算法去挖掘频繁项...
2019-04-14 15:37:10
470
原创 操作系统模拟实验—高优先权优先调度算法JS实现
高优先权优先调度算法优先级调度的含义当该算法用于作业调度时，系统从后备作业队列中选择若干个优先级最高的，且系统能满足资源要求的作业装入内存运行。当该算法用于进程调度时，将把处理机分配给就绪进程队列中优先级最高的进程。调度算法的两种方式优先级调度算法细分成如下两种方式：非抢占式优先级算法在这种调度方式下，系统一旦把处理机分配给就绪队列中优先级最高的进程后，该进程就能一直执行下去...
2019-04-13 16:12:40
2052
原创 贝叶斯决策论（后验概率最大化）的问题
在看待解决一分类问题时候，在相关概率已知的条件下，贝叶斯决策论考虑如何基于这些概率把（期望损失）风险 降到最低，从而得到最优的类别标记，即 期望风险最小化。假设由NNN种可能的类别标记为y={c1,c2...cn}y=\{c_1,c_2...c_n\}y={c1,c2...cn}， λij\lambda_{ij}λij是一个将真实标记为cjc_jcj误分类为cic_ici所产生的损...
2019-04-10 09:04:31
1712
6
原创 操作系统模拟实验—短作业调度算法（SJF）Python实现
本次实验是基于Python3.x的环境.INPUT_DATA = [('A',1,5), ('B',4,5), ('C',2,3), ('D',10,2)] # 模拟文件 (作业名字， 作业到达时间， 作业运行时间)ALL_JOB = [] # 从文件读进来的作业ARRIVED_JOB = [] #就绪队列import timefrom math import ceilcla...
2019-04-01 16:44:45
3729
2
原创 图像处理—OpenCV相关简单操作
引言本篇博客只简单介绍下Python中openCV库中对图像的简单处理及相关操作，介绍常用API的使用，方便自己查阅和向读者简单介绍下。但是读者了解但不应局限于此，图像操作对面向API的话，我们很容易就能实现对图像的操作，我们更应该去学习图像操作的原理，无非就是对图像矩阵中像素的一系列的操作，学习这些才能让我们更清楚的去了解图像。1. openCV库的安装最方便的是使用PIP安装会自动下载...
2019-03-31 20:10:07
591
原创 滑动平均模型（MA）—tensorflow
在采用梯度下降的方式训练神经网络的时候，我们使用滑动平均模型会在一定的程度上提高最终模型在测试集上的表现。在TensorFlow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型，在初始化ExponentialMovingAverage的时候，需要提供一个衰减率（decay）。这个衰减率将来控制模型更新的速度，ExponentialMovingAver...
2019-03-26 18:04:33
1120
5
原创 浅谈深度神经网络 — GoogLeNet
GoogLeNetGoogLeNet网络GoogLeNet是2014年Christian Szegedy提出的一种全新的深度学习结构，ImageNet-2014竞赛第一。在这之前的AlexNet、VGG等结构都是通过增大网络的深度（层数）来获得更好的训练效果，但层数的增加会带来很多负作用，比如overfit、梯度消失、梯度爆炸等。inception的提出则从另一种角度来提升训练结果：能更高效...
2019-02-27 17:57:51
1155
原创 浅谈深度神经网络 — R-CNN（区域卷积神经网络）R-CNN->Fast R-CNN->Faster R-CNN
浅谈深度神经网络 — R-CNN（区域卷积神经网络）R-CNN->Fast R-CNN->Faster R-CNN
2019-02-14 22:00:20
5035
6
转载 空间金字塔池化（Spatial Pyramid Pooling）
简介空间金字塔池化，使得任意大小的特征图都能够转换成固定大小的特征向量，这就是空间金字塔池化的意义（多尺度特征提取出固定大小的特征向量），送入全连接层。整体框架大致为：输入图像，卷积层提取特征，空间金字塔池化提取固定大小特征，全连接层。具体的流程图如下：具体算法的大体流程首先通过选择性搜索（selective search）对待检测的图片进行搜索出2000个候选窗口。这一步和R-CNN...
2019-02-14 21:01:52
5844
1
原创 浅谈深度神经网络 — VGG
VGG网络这幅图还是清晰地展现了VGG的网络结构的，VGG由5层卷积层、3层全连接层、最后由softmax输出层构成，层与层之间使用max-pooling（最大化池层）分开，所有隐层的激活单元都采用ReLU函数。（并没有使用LRN，LRN并没有在这个网络中有太大性能提升）模型简介VGG模型是2014年ILSVRC竞赛的第二名，第一名是GoogLeNet。但是VGG模型在多个迁移学习任务中的...
2019-02-05 20:51:57
1349
原创 浅谈深度神经网络 — RNN，LSTM
RNN（recurrent neural network，循环神经网络）全连接神经网络和卷积神经网络模型中，网络结构都是从输入层到隐含层再到输出层，层与层之间是全连接或是部分连接的，但每层的节点之间都是无连接的。考虑这样的一个问题，如果要预测句子的下一个单词是什么，一般用到当前单词以及前面的单词，因为句子前后单词并不是孤立的。这个时候像卷积，全连接神经网络已经不满足我们的需要。我们需要刻画一个序...
2019-02-05 20:51:17
1997
原创 浅谈深度神经网络 — CNN
CNN（Convolutional Neural Network，卷积神经网络）引言CNN的出现是因为全连接神经网络无法很好地处理图像数据，主要原因有以下：使用全连接层处理图像最大的问题在于全连接层的参数太多，参数多了除了会导致计算速度变慢，也很容易会导致过拟合问题。所以我们需要一个更加合理的神经网络结构来有效的减少神经网络中的参数个数。卷积神经网络就可以达到这个目的。CNN基本结构输出...
2019-02-05 20:50:59
1024
原创 浅谈深度神经网络 — AlexNet
AlexNetAlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网路被提出，比如优秀的vgg,GoogLeNet。 这对于传统的机器学习分类算法而言，已经相当的出色。新技术AlexNet中包含了几个比较新的技术点，也首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。同时Ale...
2019-02-05 20:50:12
2020
原创 浅谈深度神经网络 — LeNet
LeNetLeNet网络模型结构规模比较小，但包含了卷积层，Pooling层，全连接层，他们构成了现代神经网络的基本组件，后续更复杂的网络模型都离不开这些基本的网络层组件。LeNet-5包含输入层在内共有八层，每一层都包含多个参数（权重）。C层代表的是卷积层，通过卷积操作，可以使源信号特征增强，并降低噪音。S层是一个下采样层， 利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量，...
2019-02-05 20:49:47
780
原创 jupyter代码自动补全
c.Completer.jedi_compute_type_timeout = 400c.Completer.greedy = Truec.Completer.use_jedi = True
2018-12-20 19:50:21
15738
2
原创 特征工程之特征预处理
在前面我们分别讨论了特征工程中的特征选择与特征表达，本文我们来讨论特征预处理的相关问题。主要包括特征的归一化和标准化，异常特征样本清洗与样本数据不平衡问题的处理。1. 特征的标准化和归一化 由于标准化和归一化这两个词经常混用，所以本文不再区别标准化和归一化，而通过具体的标准化和归一化方法来区别具体的预处理操作。 z-score标准化：这是最常见的特征预处理方式，基本所有的线性模...
2018-12-02 12:09:44
1298
原创 模型融合方法概述
模型融合方法概述在比赛中提高成绩主要有3个地方特征工程 调参 模型融合1. Voting模型融合其实也没有想象的那么高大上，从最简单的Voting说起，这也可以说是一种模型融合。假设对于一个二分类问题，有3个基础模型，那么就采取投票制的方法，投票多者确定为最终的分类。2.Averaging对于回归问题，一个简单直接的思路是取平均。稍稍改进的方法是进行加权平均。权值可以用排...
2018-12-02 12:09:36
2994
Spring MVC+MYBatis企业应用实战
2018-07-27
pygame中文文档
2018-04-21
Java web项目开发案例精粹完整版PDF
2018-01-22
简易的Python入门教程
2017-12-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人