- 博客(89)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 强化学习课程学习（8）——基于连续动作空间上的方法求解RL
策略梯度提供了和DQN之类的方法不同的新思路，但是我们上面的蒙特卡罗策略梯度reinforce算法却并不完美。由于是蒙特卡罗法，我们需要完全的序列样本才能做算法迭代，同时蒙特卡罗法使用收获的期望来计算状态价值，会导致行为有较多的变异性，我们的参数更新的方向很可能不是策略梯度的最优方向。这时可以考虑结合value-based强化学习方法来解决——AC算法Actor-CriticPolicy Based+Value Based结合的策略梯度方法Actor-Critic从名字上看包括两部分，演员(Actor
2020-06-22 16:33:44
2154
2
原创 强化学习课程学习（7）——基于策略梯度方法求解RL
在前面讲到的DQN系列强化学习算法中，我们主要对价值函数进行了近似表示，基于价值来学习。这种Value Based强化学习方法在很多领域都得到比较好的应用，但是Value Based强化学习方法也有很多局限性，因此在另一些场景下我们需要其他的方法，比如策略梯度(Policy Gradient)、Actor-Critic、Asynchronous Advantage Actor-critic(以下简称A3C)等。整体来看下强化学习的分类：Value Based强化学习方法存在很多不足之处，主要体现以下几
2020-06-22 16:24:41
799
原创 强化学习课程学习（6）——基于深度学习方法求解RL
在之前讲到了强化学习求解方法，无论是动态规划DP，蒙特卡罗方法MC，还是时序差分TD，使用的状态都是离散的有限个状态集合SSS。此时问题的规模比较小，比较容易求解。但是假如我们遇到复杂的状态集合呢？甚至很多时候，状态是连续的，那么就算离散化后，集合也很大，此时我们的传统方法，比如Q-Learning，根本无法在内存中维护这么大的一张Q表。对此，随着深度学习地方法的发展兴起，基于深度学习的算法模型开始流行起来——Deep Q-learning、Nature DQN、Double DQN、Prioritized
2020-06-22 16:22:50
720
原创 强化学习课程学习（5）——基于Q表格的方式求解RL之Model-Free类型的方法
在上一章节主要是阐述了基于模型的方法来求解强化学习的预测问题和控制问题，但是由于动态规划法需要在每一次回溯更新某一个状态的价值时，回溯到该状态的所有可能的后续状态。导致对于复杂问题计算量很大。同时很多时候，我们连环境的状态转化模型PPP都无法知道，这时动态规划法根本没法使用。这时候我们如何求解强化学习问题呢？由此，model-free类型的方法就产生了，其中常见的方法是：蒙特卡罗(Monte-Calo, MC)、ARSAR、Q-learning`.蒙特卡罗（MC）求解蒙特卡洛法是一种通过采样近似求解问题
2020-06-22 16:15:18
576
原创 强化学习课程学习（4）——基于Q表格的方式求解RL之Model-Based类型的方法
经过初始了解强化学习的基本要素后，单单地凭借着这些要素还是无法构建强化学习模型来帮助我们解决实际问题，那么最初地模型是基于Q表格的方式来解决问题，常见的模型可以分成model-based和model-free两大类别，model-based常见的有MDP、DP;model-free常见的有MC、RASRA、Q-learning。在本小章主要是阐述Model-based类型的常见方法。基于Q表格的算法的思维导图马尔可夫决策过程求解有了这些基本要素，仍旧无法构建强化学习模型来帮助我们解决实际问题，在此
2020-06-22 16:13:03
822
原创 强化学习课程学习（3）——初识Reinforcement Learning
在整理一些相关的数学基础知识后，接下来就让我们来和Reinforcement Learning来个第一次的约会????????吧！个人觉得，在学习一个新知识的过程中，一般都会是What->How->Why的思路去认识以及理解这个新知识，那么下面就按照这个思路开始描述强化学习门技术????????——什么是强化学习？强化学习（英语：Reinforcement Learning，简称RL）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。核心思想：智能体agent在
2020-06-17 11:14:48
1462
原创 强化学习课程学习（2）——必备数学基础集锦
在了解了深度学习的基本理论以后，可以开始不断的去深入了解背后的原理是什么。为什么图片能被计算机读取？为什么我们可以用CNN对成千上万中图片进行分类，这背后的原理是什么？在了解原理之前，因为无论是深度学习还是机器学习，背后都是有一些数学原理和公式推导的，所以掌握必备的数学知识必不可少，在加入百度AI Studio开展的强化学习的课程的过程中，百度大佬提供了这些以后需要用到的数学基础知识，正好罗列收藏整理下，以方便以后自己学习过程中需要的时候可以查看——数学基础知识数据科学需要一定的数学基础，但仅仅做应..
2020-06-17 10:57:32
3542
1
原创 强化学习课程学习（1）——深度学习前期回顾
在实习的过程中给，碰到有个项目是有关医疗行业中某种疾病的预测，正好需要加补点强化学习的相关基础以及知识，经过朋友推荐，考虑并加入了百度AI Studio开展的强化学习课程，以便于提升自己的知识面，下面是由大度大佬提供的学习资料——一、深度学习的发展历程1.1 Turing Testing (图灵测试)图灵测试是人工智能是否真正能够成功的一个标准，“计算机科学之父”、“人工智能之父”英国数学家图灵在1950年的论文《机器会思考吗》中提出了图灵测试的概念。即把一个人和一台计算机分别放在两个隔离的房间中，.
2020-06-17 10:51:25
1454
原创 项目实战——工业离散器件符合率的预测
数据背景介绍数据来源于DataFuntain中的离散制造过程中典形工件的质量符合率预测, 以某典型工件生产过程为例，我们将提供给参赛者一系列工艺参数，以及在相应工艺参数下所生产工件的质量数据。数据下载地址：[数据下载地址（百度云）](链接：https://pan.baidu.com/s/1AqlRVHrDAUHHt50eZsXK8A提取码：7pie )（如若失效了，请可以自行官网下载或者联...
2020-03-08 22:57:04
1340
18
原创 疑难杂症-使用pandas_profiling查看EDA数据文档遇到的一些坑
最近在学习特征工程相关的东西，发现pandas_profiling这个包特别适合直观地能够展示数据地很多细节的地方，包括缺失值等相关信息。然后，我就开始折腾pip install pandas_profiling发现一下子把原本好好的环境（Anaconda3.5、Python3）给折腾坏了（以上的表情包代表那时我的心情----蓝瘦香菇~），并且出现了以下几个问题，对此，我做了相关记录，今天并分享...
2020-03-06 10:44:21
2060
原创 笔面试准备（3）——特征工程相关小结
特征工程简介**特征工程（Feature Engineering）**是指将原始数据转变成模型的训练数据的过程，从而更好地提取数据特征，使得机器学习模型的学习能力更好。其本质上是对原始数据的再加工，其目的是产生进入模型的特征。**特征工程分为数据预处理（Data Preprocessing）、特征构造（Feature Construction）、特征抽取（Feature Extraction）...
2020-03-05 22:44:20
559
原创 笔面试准备（2）——常见的十大算法汇总
最近由于在准备春招，在刷题的同时，对于常见的基本排序算法仍然存在一些没掌握的地方，因此，再次做个简单的总结——首先，就从汇总表开始——规律小结“不稳定”排序算法：快、些(希)、选、堆。简单排序包括除希尔排序之外的所有冒泡排序、插入排序、简单选择排序。其中直接插入排序最简单，但当序列基本有序或者n较小时，直接插入排序是好的方法，因此常将它和其他的排序方法，如快速排序、归并排序等结合在一起...
2020-03-03 15:06:18
367
原创 笔面试准备（1）——算法刷题之Catalan数问题
最近在leetcode上刷题的过程中，总会碰到有关Catalan数相关的问题，对此根据百度百科，做了一点小结，并且有leetcode上的题型以及解决方案????——起源介绍根据百度百科介绍，卡特兰数又称卡塔兰数，英文名Catalan number，是组合数学中一个常出现在各种计数问题中出现的数列。以比利时的数学家欧仁·查理·卡塔兰 (1814–1894)的名字来命名，其前几项为（从第零项开始） :...
2020-02-19 18:45:44
431
原创 PyTorch深度学习框架——初识
PyTorch深度学习框架简单介绍PyTorch 是一个针对深度学习, 并且使用GPU 和CPU来优化的tensor library(张量库)。学过Tensorflow的人或许有话说，这些事情Tensorflow也能做到的呀？那么pyTorch到底有什么可以很快在深度学习爱好者中迅速发展起来的呢？其实相比较于Tensorflow，两者还是存在不同之处——PyTorch更有利于研究人员...
2019-12-23 17:35:39
715
原创 如何科学地评估和评判深度学习模型？
最近在考虑要发Paper，在模型的性能比较中，除了采用Precision/Recall的比较之外，为了进一步验证论文中的选择是存在可证明性的，因此考虑了使用F-test对多种模型算法进行统计显著性检验。常见的模型评估与方法误分率(misclassification rate)，即准确度。精确率(precision)和召回率(recall)计算F1ROC曲线，ROC_AUCk-fold...
2019-10-22 17:05:36
1855
1
转载 下划线在Python中有哪些神奇的含义呢？
分享一篇文章：The Meaning of Underscores in Python。本文介绍了Python中单下划线和双下划线（"dunder"）的各种含义和命名约定，名称修饰（name mangling）的工作原理，以及它如何影响你自己的Python类。单下划线和双下划线在Python变量和方法名称中都各有其含义。有一些含义仅仅是依照约定，被视作是对程序员的提示 - 而有一些含义是由Py...
2019-10-09 12:39:29
333
原创 深度学习框架-Tensorflow基础学习
Tensorflow简介1. Tensorflow是一个编程系统，使用图来表示计算任务。使用图来表示计算任务. 图中的节点被称之为 op (operation 的缩写). 一个 op 获得 0 个或多个 Tensor, 执行计算, 产生 0 个或多个 Tensor. 每个 Tensor 是一个类型化的多维数组. TensorFlow 程序通常被组织成一个构建阶段和一个执行阶段. 在构建阶段, o...
2019-09-25 16:45:16
896
原创 Python数据分析-可视化“大佬”之Seaborn
——如果有想关注Java开发相关的内容，可以转我的博客 详细观看——Seaborn既然有了matplotlib,那为啥还需要seaborn呢？其实seaborn是在matplotlib基础上进行封装，Seaborn就是让困难的东西更加简单。用Matplotlib最大的困难是其默认的各种参数，而Seaborn则完全避免了这一问题。seaborn是针对统计绘图的，一般来说，seaborn能满足数...
2019-09-25 16:40:31
515
原创 Python数据分析-可视化“大佬”之Matplotlib
——如果有想关注Java开发相关的内容，可以转我的博客 详细观看——Matplotlib——Python可视化包折线图绘制折线图适合二维的大数据集，还适合多个二维数据集的比较，主要是用于反映数据的发展趋势变化情况。## 采用失业率的数据集进行绘制import numpy as npfrom numpy import arangeimport pandas as pdimport...
2019-09-25 16:39:35
274
原创 Python数据分析-Pandas
——如果有想关注Java开发相关的内容，可以转我的博客 详细观看——在学习了Numpy后，进行数据科学计算，为何还要使用Pandas呢？其实原因就是效率高，那为何Pandas效率比numpy要高呢？其实Pandas和Numpy还是有着很大的关系的，Pandas本身是依赖numpy的，而ndarray在内存里占据这一段连续的内存空间，任何改变ndarray长度的操作都势必让所有value改变内存...
2019-09-25 15:47:52
283
原创 Python数据分析-Numpy
Numpy特点——如果有想关注Java开发相关的内容，可以转我的博客 详细观看——Numpy作为使用Python进行科学计算的常用库，有着如下特点：提供了N维数组（矩阵），快速高效，矢量数学运算；高效的Index，不需要循环，因为底层实现采用了C语言开发。常见的数组和矩阵的方法数组和矩阵的创建与维度信息numpy.array()## 数组的创建vector = nump...
2019-09-25 15:46:11
242
原创 第十二章-自我总结
在学习和推导了统计学习方法-李航(第2版)中的内容，收获蛮多，对此，既然轻轻地来了，那就得潇洒地给这个阶段学习的内容画上一个圆满的句号。统计学习方法总结以下是整本书中出现的10种统计学习方法的特点和概括总结，对于学习的一些方法，我们需要很清楚的知道这些统计学习方法的模型、策略、算法，还有适合应用的场景，这才对于我们以后在解决实际问题的过程中，才会清楚选择哪种比较适合当前需要解决的实际场景。另外...
2019-09-25 15:44:48
289
原创 第十一章-CRF的奇妙之处
上篇中，我们了解到HMM的相关知识，并且知道HMM属于概率有向图模型，接下来，让我们一起学习总结概率无向图模型——条件随机场(Conditional Random Field, CRF)。思维导图概率无向图模型概率无向图模型又称为马尔可夫随机场，是一个可以由无向图表示的联合概率分布。模型定义设有联合概率分布P(Y)，由无向图G=(V,E)表示，V表示结点集合，E表示边集合，在图G中，结...
2019-09-25 15:44:03
392
原创 第十章-HMM模型以及相关推导
隐马尔可夫模型(Hidden Markov Model, HMM)是可用于标注问题的统计学习模型，描述由隐藏的马尔科夫链随机生成的观测序列的过程，属于生成模型，是概率模型的一种。本章主要是总结HMM模型的概率计算算法、学习算法以及预测算法。HMM在语音识别、自然语言处理NLP等领域有着广泛的应用。概率图模型常常是为了描述随机变量之间的关系（是不是独立的），分为有向图和无向图，而HMM主要用有向...
2019-09-25 15:43:09
466
原创 第九章-EM算法
从第九章开始，学习总结的东西有所不同了，第2-8章是分类问题，都属于监督学习，第9章EM算法是非监督学习。本文主要是总结EM算法的应用以及处理问题的过程和原理推导。EM算法EM算法(期望极大算法 expectation maximization algorithm)是一种迭代算法。当我们面对概率模型的时候，既有观测变量，又含有隐变量或者潜在变量。如果概率模型的变量都是观测变量，那么给定数据，...
2019-09-25 15:42:22
319
原创 第八章-提升方法AdaBoost算法
在2019年9月16日11晚，Jay Chou开始发布了他的新歌说好不哭的时候，不到12个小时，售出量就已经达到了500万，还导致了QQ音乐系统瘫痪，这充分看出周董的高流量人气，当然，作为90后的我也是其中粉丝之一。这告诉我们的是，无论做什么，扎实的基础很重要的，如果周董没有扎实的音乐基础(PS:当然，也不否认他在音乐方面也具备一定的天赋)，他也不会在经过这么长时间后重发表新歌时再次受到很多的粉...
2019-09-25 15:41:32
226
原创 第七章-SVM支持向量机
在第二章中我们学习到感知机模型的相关知识，感知机模型是当数据线性可分时，如何利用一个超平面区分两类不同的数据。对于以上情况，支持向量机和感知机是非常相似的，两者的差别在于损失函数的不同。当线性不可分的情况下，SVM可以用核函数来实现对线性不可分的数据进行分类。思维导图硬间隔最大化和软间隔最大化线性支持向量机与硬间隔最大化所谓的硬间隔最大化，就是当选择一个超平面将两组数据进行分割开，在二维...
2019-09-25 15:40:18
257
原创 第六章-逻辑回归与最大熵模型
逻辑斯谛回归是统计学习中的经典分类方法，和最大熵模型相比，具有以下的共同点和区别：共同点都属于概率模型，该模型要寻找的是给定一个x，得到输出变量Y的概率分布P(Y|x)，如果是二分类，Y取值为0或1，如果是多分类，Y有K个不同的类别。都属于对数线性模型，对概率分布P(Y|x)取对数，可得lnP(Y|x)=w * x关于x的线性函数。两个模型之前的区别是Logistic回归属于判别模...
2019-09-25 15:39:19
649
原创 第五章-一起看决策树如何做出决策？
在前面我们学习了KNN是一种基本的分类和回归方法。今天我们继续来学习另一个也能进行分类和回归的方法——决策树（Decision Tree）。那么对此，决策树到底是如何做出决策的呢？请接下来往下看——思维导图（内容概览）衡量标准对于一个统计学习方法，我们需要从模型+决策+算法逐步入手。但是在认识模型之前，特征的选取又是显得特别重要，在决策树法中，存在一些比较重要的概念，即选取特征的标准。...
2019-09-25 15:38:17
698
原创 第四章-朴素贝叶斯朴素吗？
你觉得朴素贝叶斯朴素吗？ 个人觉得，一点也不朴素，如同“平凡出真知”，朴素贝叶斯还是很挺厉害的。如果想要了解朴素贝叶斯，那么需要先了解贝叶斯估计和极大似然估计。极大似然估计对于一个数据集T服从概率分布P，但是P中参数未知，针对极大似然估计，就是将未知参数看作一个定值，从而找未知参数能使得数据集T发生的概率最大。极大似然估计：假设某个数据集T(x1,x2,...,xn)服从正态分布X&nbs...
2019-09-25 15:37:10
187
原创 第三章-KNN(分类和回归算法模型)
上上一章已经学习了感知机模型、策略和算法，感知机对于分类任务有着其优点，但是该模型是在具有强假设的条件下——训练数据集必须是线性可分的，但是如果数据集是呈现无规则的分布，那么此时如果要做分类任务，还可以考虑k近邻（KNN），这是一种基本的分类和回归方法，既可以做简单的二分类也可以做复杂的多分类任务，还可以做回归任务。KNN模型KNN模型实际上对应于对特征空间的划分，虽然没有具体的数学抽象语言描...
2019-09-25 15:35:48
1368
原创 第二章-感知机
看完上一章的概要学习后，开始就进入第二章的内容——感知机。对于统计学习方法而言，包含三要素，模型+策略+算法，接下来就从以下三个要素全面了解感知机。感知机模型简单来说，感知机（Perceptron）针对的是二分类的线性模型，其输入为实例的特征向量，输出为实例的类别，取+1、-1。利用数学语言抽象模型可以这样描述：假设输入空间（特征空间）是χ∈Rn,输出空间是y=+1,−1,输入x∈χ表示实例...
2019-09-25 15:34:22
331
原创 第一章-统计学习方法概论
统计学习统计学习是关于计算机 基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。总的来说，统计学习也称为统计机器学习。统计学习的特点以计算机以及网络为平台；以数据为对象，是数据驱动的学科；目的是对数据进行预测和分析；以方法为中心，构建模型并应用模型进行预测和分析；是概率论、统计学、信息论、计算理论、最优化理论以及计算机科学等多个领域的交叉学科，具...
2019-09-25 15:32:27
271
原创 YOLOv3的论文详解
引言YOLOv3发布了，但是正如作者所说，这仅仅是他们近一年的一个工作报告(TECH REPORT)，不算是一个完整的paper，因为他们实际上是把其它论文的一些工作在YOLO上尝试了一下。相比YOLOv2，我觉得YOLOv3最大的变化包括两点：使用残差模型和采用FPN架构。YOLOv3的特征提取器是一个残差模型，因为包含53个卷积层，所以称为Darknet-53，从网络结构上看，相比Dark...
2019-09-23 10:28:00
26
原创 YOLO2——YOLO9000,Better, Faster, Stronger论文详解
引言YOLOv2的论文全名为YOLO9000: Better, Faster, Stronger，它斩获了CVPR 2017 Best Paper Honorable Mention。在这篇文章中，作者首先在YOLOv1的基础上提出了改进的YOLOv2，然后提出了一种检测与分类联合训练方法，使用这种联合训练方法在COCO检测数据集和ImageNet分类数据集上训练出了YOLO9000模型，其可...
2019-09-23 10:21:00
19
原创 YOLO——You Only Look Once论文详解
创新点YOLO将物体检测作为回归问题求解。基于一个单独的end-to-end网络，完成从原始图像的输入到物体位置和类别的输出。从网络设计上，YOLO与rcnn、fast rcnn及faster rcnn的区别如下：[1] YOLO训练和检测均是在一个单独网络中进行。YOLO没有显示地求取region proposal的过程。而rcnn/fast rcnn 采用分离的模块(独立于网络之外的s...
2019-09-20 15:47:00
24
原创 初识log4j
对于一个项目工程，特别是在大数据环境下，使用过多的System.out.pringln是会降低性能，为了解决这个问题，最常用的是采用log4j来代替这种方式，另外还能通过log4j结合junit4来完成测试环节。接下来，让我们认识下log4j吧！认识log4j - Log4j是Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套
2017-09-02 18:10:18
551
2
原创 配置和使用Maven时遇到的疑难杂症（在myeclipse环境下）
相信配置和使用过Maven的人都会遇到很多的问题，当然我也在刚开始接触Maven时，被它搞得头大，因此，借个机会，对遇到的问题做了一些小总结。配置过程中在cmd输入mvn -v 查询version的时候出现了如下问题： ‘mvn-v’ 不是内部或外部命令，也不是可运行的程序或批处理文件。 解决方式：变量名：M2_HOME变量值：E:\Maven\apache-maven-3.5.0（你自己的
2017-09-02 18:07:51
548
原创 MySQL高阶之事务、存储结构、索引、触发器
差不多mysql的一些知识也学完了，数据库除了基本的增删改查操作外，要开始进入高阶部分了，那么mysql的高阶部分有哪些呢？虽然这些内容中有些平时用的很少，但是站在大数据环境下，有些内容确实显得格外重要，接下来，让我们一起来了解下吧！事务定义事务就是被绑定在一起作为一个逻辑工作单元的SQL语句分组，要么执行，要么不执行，就可以使用事务要将有组语句作为事务考虑，就需要通过 ACID 测试，即原子性，一
2017-09-02 16:51:39
663
AdvancesinIntelligentSystemsandComputing-1.zip
2019-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人