- 博客(58)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 第五章 稀疏奖励及模仿学习
Sparse Reward实际上用 reinforcement learning learn agent 的时候，多数的时候 agent 都是没有办法得到 reward 的。那在没有办法得到 reward 的情况下，训练 agent 是非常困难的。举例来说，假设你要训练一个机器手臂，然后桌上有一个螺丝钉跟螺丝起子，那你要训练它用螺丝起子把螺丝钉栓进去，那这个很难，为什么？因为你知道一开始你的 agent 是什么都不知道的，它唯一能够做不同的 action 的原因是 exploration。举例来说，你在
2020-11-04 19:43:03
686
2
原创 第三章 DQN算法及Actor-Critic算法
Double DQN接下来要讲的是 train Q-learning 的一些 tip。第一个 tip 是做 Double DQN。那为什么要有 Double DQN 呢？因为在实现上，你会发现 Q value 往往是被高估的。上图来自于 Double DQN 的原始 paper，它想要显示的结果就是 Q value 往往是被高估的。这边有 4 个不同的小游戏，横轴是 training 的时间，红色锯齿状一直在变的线就是 Q-function 对不同的 state estimate 出来的平均 .
2020-11-02 22:55:53
1278
原创 第三章 策略梯度及 PPO 算法
Policy GradientPolicy Gradient在 reinforcement learning 中有 3 个components，一个actor，一个environment，一个reward function。让机器玩 video game 时， actor 做的事情就是去操控游戏的摇杆， 比如说向左、向右、开火等操作； environment 就是游戏的主机， 负责控制游戏的画面负责控制说，怪物要怎么移动， 你现在要看到什么画面等等； reward.
2020-10-29 19:04:06
1583
原创 第二章 马尔可夫决策过程及表格型方法
马尔可夫决策过程。 在介绍马尔可夫决策过程之前，先介绍它的简化版本：马尔可夫链以及马尔可夫奖励过程，通过跟这两种过程的比较，我们可以更生动地理解马尔可夫决策过程。 第二部分会介绍马尔可夫决策过程中的 policy evaluation，就是当给定一个决策过后，怎么去计算它的价值函数。 第三部分会介绍马尔可夫决策过程的控制，具体有两种算法：policy iteration 和 value iteration。 上图介绍了在强化学习里面 agent 跟 environment.
2020-10-23 09:24:11
1152
原创 第一章 强化学习介绍
Reinforement LearningReinforcement Learning强化学习讨论的问题是一个 智能体(agent) 怎么在一个复杂不确定的环境(environment)里面去极大化它能获得的奖励。示意图由两部分组成：agent 和 environment。在强化学习过程中，agent 跟 environment 一直在交互。Agent 在环境里面获取到状态，agent 会利用这个状态输出一个 action，一个决策。然后这个决策会放到环境之中去，环境会通过这个 agent 采取的决
2020-10-20 22:00:07
3068
2
原创 金融风控-5-天池模型融合
Tip:此部分为零基础入门金融风控的 Task5 模型融合部分，欢迎大家后续多多交流。 赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约预测 项目地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl比赛地址：https://tianchi.aliyun.com/competition/entrance/531830/introduction5.1 学习目
2020-09-27 22:15:04
138
原创 金融风控-4-天池建模与调参
此部分为零基础入门金融风控的 Task4 建模调参部分，带你来了解各种模型以及模型的评价和调参策略，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约预测项目地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl比赛地址：https://tianchi.aliyun.com/competition/entrance/531830/i
2020-09-23 22:33:18
280
原创 金融风控-3-天池特征工程
此部分为零基础入门金融风控的 Task3 特征工程部分，带你来了解各种特征工程以及分析方法，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约项目地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl比赛地址：https://tianchi.aliyun.com/competition/entrance/531830/introdu
2020-09-20 12:02:03
547
原创 金融风控-2-天池数据分析
此部分为零基础入门金融风控的 Task2 数据分析部分，带你来了解数据，熟悉数据，为后续的特征工程做准备，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约目的： 1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模. 2.了解变量间的相互关系、变量与预测值之间的存在关系。 3.为特征工程做准备 项目地址：https://github.com/datawhalec
2020-09-17 20:34:16
386
原创 金融风控-1-天池赛题理解
赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。1.1 学习目标理解赛题数据和目标，清楚评分体系。完成相应报名，下载数据和结果提交打卡（可提交示例结果），熟悉比赛流程1.2 了解赛题 赛题概况 数据概况 预测指标 分析赛题 1.2.1 赛题概况比赛要求参赛选
2020-09-14 23:58:35
980
1
原创 LeetCodeTencent--005 最长回文子串
题目 题号：5 难度：中等 https://leetcode-cn.com/problems/longest-palindromic-substring/ 给定一个字符串 s，找到 s 中最长的回文子串。你可以假设 s 的最大长度为 1000。示例 1：输入: "babad"输出: "bab"注意: "aba" 也是一个有效答案。示例 2：输入: "cbbd"输出: "bb"示例 3：输入: "a"输出: "a"实现回文.
2020-08-19 13:14:25
127
原创 LeetCodeTencent--004 寻找两个正序数组的中位数
题目 题号：4 难度：困难 https://leetcode-cn.com/problems/median-of-two-sorted-arrays/ 给定两个大小为 m 和 n 的有序数组 nums1 和 nums2。请你找出这两个有序数组的中位数，并且要求算法的时间复杂度为 O(log(m + n))。你可以假设 nums1 和 nums2 不会同时为空。示例 1:nums1 = [1, 3]nums2 = [2]则中位数是 2.0示例
2020-08-18 10:45:12
132
原创 LeetCodeTencent--002 两数相加
题目 题号：2 难度：中等 https://leetcode-cn.com/problems/add-two-numbers/ 给出两个 非空 的链表用来表示两个非负的整数。其中，它们各自的位数是按照 逆序 的方式存储的，并且它们的每个节点只能存储 一位 数字。如果，我们将这两个数相加起来，则会返回一个新的链表来表示它们的和。您可以假设除了数字 0 之外，这两个数都不会以 0 开头。示例 1：输入：(2 -> 4 -> 3) + (5 -&g
2020-08-18 10:44:00
129
原创 LeetCode--任务8--位运算
位运算技术在求解算法题中的应用1 C# 和 Python 中的位运算操作1. 原码、反码和补码二进制有三种不同的表示形式：原码、反码和补码，++计算机内部使用补码来表示++。原码：就是其二进制表示（注意，有一位符号位）。00 00 00 11 -> 310 00 00 11 -> -3反码：正数的反码就是原码，负数的反码是符号位不变，其余位取反（对应正数按位取反）。00 00 00 11 -> 311 11 11 00 -> -3补码：正数的补
2020-08-18 10:40:45
242
原创 LeetCode--任务7--排序技术
排序技术在求解算法题中的应用1 C# 和 Python 中的排序操作C# 中的排序对集合类的排序，我们通常使用位于 System.Core 程序集，System.Linq命名空间下，Enumerable静态类中的扩展方法。public static class Enumerable{ public static IOrderedEnumerable<TSource> OrderBy<TSource, TKey>(this IEnumerable<TS..
2020-08-18 10:39:42
143
原创 LeetCode--任务6--字典技术
字典技术在求解算法题中的应用1 C# 和 Python 中的字典结构C# 中字典的常用方法对于 C# 中的 Dictionary类 相信大家都不陌生，这是一个 Collection(集合) 类型，可以通过 Key/Value (键值对) 的形式来存放数据；该类最大的优点就是它查找元素的时间复杂度接近 O(1)，实际项目中常被用来做一些数据的本地缓存，提升整体效率。常用方法如下： public Dictionary(); -> 构造函数 public Dictionary
2020-08-18 10:38:46
149
原创 LeetCode--任务5--集合技术
集合技术在求解算法题中的应用1 C# 和 Python 中的集合结构集合技术在解题中主要用于处理有数据重复出现的问题。HashSet<T>C# 语言中 HashSet<T> 是包含不重复项的无序列表，称为“集合(set)”。由于set是一个保留字，所以用HashSet来表示。源码：https://referencesource.microsoft.com/#System.Core/System/Collections/Generic/HashSet.cs,2d
2020-08-18 10:37:24
210
原创 LeetCode--任务4--双指针技术
双指针技术在求解算法题中的应用1 C# 和 Python 中的链表结构Python list 的源码地址：https://github.com/python/cpython/blob/master/Include/listobject.hhttps://github.com/python/cpython/blob/master/Objects/listobject.cC# List<T> 的源码地址：https://referencesource.microsoft.co
2020-08-18 10:36:24
103
原创 LeetCode--任务3--查找表
一.查找表考虑的基本数据结构第一类： 查找有无--set元素'a'是否存在，通常用set：集合set只存储键，而不需要对应其相应的值。set中的键不允许重复第二类： 查找对应关系(键值对应)--dict元素'a'出现了几次：dict-->字典dict中的键不允许重复第三类： 改变映射关系--map通过将原有序列的关系映射统一表示为其他算法应用LeetCode 349 Intersection Of Two Arrays 1题目描述给定两个数组nu
2020-08-18 10:33:55
292
原创 LeetCode--任务2--动态规划
动态规划动态规划常常适用于有重叠子问题和最优子结构性质的问题，动态规划方法所耗时间往往远少于朴素解法。主要思想若要解一个给定问题，我们需要解其不同部分（即子问题），再根据子问题的解以得出原问题的解。动态规划往往用于优化递归问题，例如斐波那契数列，如果运用递归的方式来求解会重复计算很多相同的子问题，利用动态规划的思想可以减少计算量。动态规划法仅仅解决每个子问题一次，具有天然剪枝的功能，从而减少计算量，一旦某个给定子问题的解已经算出，则将其记忆化存储，以便下次需要同一个子问题解之时直接查表。
2020-08-18 10:32:08
379
原创 LeetCode--任务1--分治
分治引文MapReduce（分治算法的应用） 是 Google 大数据处理的三驾马车之一，另外两个是 GFS 和 Bigtable。它在倒排索引、PageRank 计算、网页分析等搜索引擎相关的技术中都有大量的应用。尽管开发一个 MapReduce 看起来很高深，感觉遥不可及。实际上，万变不离其宗，它的本质就是分治算法思想，分治算法。如何理解分治算法？为什么说 MapRedue 的本质就是分治算法呢？主要思想分治算法的主要思想是将原问题递归地分成若干个子问题，直到子问题满足边界条件，停止
2020-08-18 10:30:24
144
原创 计算机视觉基础---图像处理（下）---任务04
HOG特征描述算子-行人检测4.1 简介本次任务将学习一种在深度学习之前非常流行的图像特征提取技术——方向梯度直方图（Histogram of Oriented Gradients），简称HOG特征。HOG特征是在2005年CVPR的会议发表，在图像手工特征提取方面具有里程碑式的意义，当时在行人检测领域获得了极大成功。学习HOG特征的思想也有助于我们很好地了解传统图像特征描述和图像识别方法，本次任务我们将学习到HOG背后的设计原理，和opencv的实现。4.2 学习目标 理解HOG特征
2020-08-13 14:54:58
537
原创 计算机视觉基础---图像处理（下）---任务03
Haar特征描述算子-人脸检测3.1简介Haar-like特征最早是由Papageorgiou等应用于人脸表示，在2001年，Viola和Jones两位大牛发表了经典的《Rapid Object Detection using a Boosted Cascade of Simple Features》和《Robust Real-Time Face Detection》，在AdaBoost算法的基础上，使用Haar-like小波特征和积分图方法进行人脸检测，他俩不是最早使用提出小波特征的，但是他们设计
2020-08-13 14:53:56
2061
原创 计算机视觉基础---图像处理（下）---任务02
LBP特征描述算子-人脸检测2.1 简介 LBP指局部二值模式(Local Binary Pattern)，是一种用来描述图像局部特征的算子，具有灰度不变性和旋转不变性等显著优点。LBP常应用于人脸识别和目标检测中，在OpenCV中有使用LBP特征进行人脸识别的接口，也有用LBP特征训练目标检测分类器的方法，OpenCV实现了LBP特征的计算，但没有提供一个单独的计算LBP特征的接口。也就是说OpenCV中使用了LBP算法，但是没有提供函数接口。2.2 学习目标 了解人脸检测相关流程
2020-08-13 14:51:13
318
原创 计算机视觉基础---图像处理（下）---任务01
Harris特征点检测器-兴趣点检测1.1 简介在图像处理领域中，特征点又被称为兴趣点或者角点，它通常具有旋转不变性和光照不变性和视角不变性等优点，是图像的重要特征之一，常被应用到目标匹配、目标跟踪、三维重建等应用中。点特征主要指图像中的明显点，如突出的角点、边缘端点、极值点等等，用于点特征提取的算子称为兴趣点提取（检测）算子，常用的有Harris角点检测、FAST特征检测、SIFT特征检测及SURF特征检测。 本次任务学习较为常用而且较为基础的Harris角点检测算法，它的思想以及数学理论能够很好
2020-08-13 14:48:40
407
原创 计算机视觉基础---图像处理---任务06
边缘检测6.1 简介6.1.1 什么是边缘？边缘是图像强度函数快速变化的地方6.1.2 如何检测边缘？为了检测边缘，我们需要检测图像中的不连续性，可以使用导数来检测不连续性。如上图所示，上图的第一幅图表示一张数字图片，我们对水平红线处进行求导，便可得到上图二中的关系，可以看到在边缘处有着较大的跳变。但是，导数也会受到噪声的影响，因此建议在求导数之前先对图像进行平滑处理（上图三）。但是，导数也会受到噪声的影响，因此建议在求导数之前先对图像进行平滑处理。 然后我们可以使用遮罩使.
2020-08-13 14:46:46
309
原创 计算机视觉基础---图像处理---任务05
图像分割/二值化5.1 简介该部分的学习内容是对经典的阈值分割算法进行回顾，图像阈值化分割是一种传统的最常用的图像分割方法，因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。它特别适用于目标和背景占据不同灰度级范围的图像。它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤，因此在很多情况下，是进行图像分析、特征提取与模式识别之前的必要的图像预处理过程。图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内
2020-08-13 14:45:33
280
原创 计算机视觉基础---图像处理---任务04
4.1 简介图像的实质是一种二维信号，滤波是信号处理中的一个重要概念。在图像处理中，滤波是一种非常常见的技术，它们的原理非常简单，但是其思想却十分值得借鉴，滤波是很多图像算法的前置步骤或基础，掌握图像滤波对理解卷积神经网络也有一定帮助。4.2 学习目标 了解图像滤波的分类和基本概念 理解均值滤波/方框滤波、高斯滤波的原理 掌握OpenCV框架下滤波API的使用 4.3 内容介绍1、均值滤波/方框滤波、高斯滤波的原理2、OpenCV代码实践3、动手实践并打卡（
2020-08-13 14:44:15
535
原创 计算机视觉基础---图像处理---任务03
彩色空间互转3.1 简介图像彩色空间互转在图像处理中应用非常广泛，而且很多算法只对灰度图有效；另外，相比RGB，其他颜色空间(比如HSV、HSI)更具可分离性和可操作性，所以很多图像算法需要将图像从RGB转为其他颜色空间，所以图像彩色互转是十分重要和关键的。3.2 学习目标 了解相关颜色空间的基础知识 理解彩色空间互转的理论 掌握OpenCV框架下颜色空间互转API的使用 3.3 内容介绍1.相关颜色空间的原理介绍2.颜色空间互转理论的介绍3.OpenC
2020-08-13 14:42:36
292
原创 Python基础--Task12：文件与文件系统
1. 文件与文件系统打开文件 open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True) Open file and return a stream. Raise OSError upon failure. file: 必需，文件路径（相对或者绝对路径）。 mode: 可选，文件打开模式 buffering: 设置缓冲
2020-07-29 14:04:46
200
原创 Python基础--Task11：模块与datetime模块
模块在前面我们脚本是用 Python 解释器来编程，如果你从 Python 解释器退出再进入，那么你定义的所有的方法和变量就都消失了。为此 Python 提供了一个办法，把这些定义存放在文件中，为一些脚本或者交互式的解释器实例使用，这个文件被称为模块（Module）。模块是一个包含所有你定义的函数和变量的文件，其后缀名是.py。模块可以被别的程序引入，以使用该模块中的函数等功能。这也是使用 Python 标准库的方法。1. 什么是模块 容器 -> 数据的封装 函数 -&
2020-07-29 14:02:00
236
原创 Python基础--Task10：类、对象与魔法⽅方法
类与对象1. 对象 = 属性 + 方法对象是类的实例。换句话说，类主要定义对象的结构，然后我们以类为模板创建对象。类不但包含方法定义，而且还包含所有实例共享的数据。 封装：信息隐蔽技术 我们可以使用关键字 class 定义 Python 类，关键字后面紧跟类的名称、分号和类的实现。【例子】class Turtle: # Python中的类名约定以大写字母开头 """关于类的一个简单例子""" # 属性 color = 'green' weight...
2020-07-29 13:59:52
304
原创 Python基础--Task09：函数与Lambda表达式
函数与Lambda表达式1. 函数还记得 Python 里面“万物皆对象”么？Python 把函数也当成对象，可以从另一个函数中返回出来而去构建高阶函数，比如： 参数是函数 返回值是函数 函数的定义 函数以def关键词开头，后接函数名和圆括号()。 函数执行的代码以冒号起始，并且缩进。 return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回None。 def functionname(parameters
2020-07-29 13:58:04
113
原创 Python基础--Task08：：集合、序列
集合Python 中set与dict类似，也是一组key的集合，但不存储value。由于key不能重复，所以，在set中，没有重复的key。注意，key为不可变类型，即可哈希的值。【例子】num = {}print(type(num)) # <class 'dict'>num = {1, 2, 3, 4}print(type(num)) # <class 'set'>1. 集合的创建 先创建对象再加入元素。 在创建空集合的时候只能...
2020-07-29 13:56:45
118
原创 Python基础--Task07：字典
字典1. 可变类型与不可变类型 序列是以连续的整数为索引，与此不同的是，字典以"关键字"为索引，关键字可以是任意不可变类型，通常用字符串或数值。 字典是 Python 唯一的一个 映射类型，字符串、元组、列表属于序列类型。 那么如何快速判断一个数据类型 X 是不是可变类型的呢？两种方法： 麻烦方法：用 id(X) 函数，对 X 进行某种操作，比较操作前后的 id，如果不一样，则 X 不可变，如果一样，则 X 可变。 便捷方法：用 hash(X)，只要不报错，证明 X
2020-07-29 13:54:49
127
原创 Python基础--Task06：字符串
字符串1. 字符串的定义 Python 中字符串被定义为引号之间的字符集合。 Python 支持使用成对的 单引号 或 双引号。 【例子】t1 = 'i love Python!'print(t1, type(t1))# i love Python! <class 'str'>t2 = "I love Python!"print(t2, type(t2))# I love Python! <class 'str'>print(5 +
2020-07-28 21:28:35
135
原创 Python基础--Task05：元组
元组「元组」定义语法为：(元素1, 元素2, ..., 元素n) 小括号把所有元素绑在一起 逗号将每个元素一一分开 1. 创建和访问一个元组 Python 的元组与列表类似，不同之处在于tuple被创建后就不能对其进行修改，类似字符串。 元组使用小括号，列表使用方括号。 元组与列表类似，也用整数来对它进行索引 (indexing) 和切片 (slicing)。 【例子】t1 = (1, 10.31, 'python')t2 = 1, 10.31,
2020-07-28 21:26:53
129
原创 Python基础--Task04：列表
列表简单数据类型 整型<class 'int'> 浮点型<class 'float'> 布尔型<class 'bool'> 容器数据类型 列表<class 'list'> 元组<class 'tuple'> 字典<class 'dict'> 集合<class 'set'> 字符串<class 'str'> 1. 列表的定义列表
2020-07-25 23:36:55
113
原创 Python基础--Task03：异常处理理
异常处理异常就是运行期检测到的错误。计算机语言针对可能出现的错误定义了异常类型，某种错误引发对应的异常时，异常处理程序将被启动，从而恢复程序的正常运行。1. Python 标准异常总结 BaseException：所有异常的 基类 Exception：常规异常的 基类 StandardError：所有的内建标准异常的基类 ArithmeticError：所有数值计算异常的基类 FloatingPointError：浮点计算异常 Overflow
2020-07-22 21:43:49
110
2020年CVPR最佳论文
2020-06-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人