- 博客(35)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 表格型方法
强化学习是一个与时间相关的序列决策的问题。概率函数定量地表达状态转移的概率，其可以表现环境的随机性。但是实际上，我们经常处于一个未知的环境中，即概率函数和奖励函数是未知的。它结合了动态规划和蒙特卡罗的思想，通过不断更新状态值函数或者动作值函数来学习最优策略。时序差分算法的特点是它不需要知道环境的完整模型，也不需要等待一个完整的回合结束，而是在每一步都可以进行学习和更新。
2023-11-30 22:07:24
139
原创 经典策略梯度算法
DDPG 算法被提出的初衷其实是 DQN 算法的一个连续动作空间版本扩展。深度确定性策略梯度算法（ deep deterministic policy gradient，DDPG），是一种确定性的策略梯度算法。由于DQN算法中动作是通过贪心策略或者argmax的方式从Q函数间接得到。要想适配连续动作空间，考虑将选择动作的过程编程一个直接从状态映射到具体动作的函数μθs,也就是actor网络中求解Q函数以及贪心选择动作这两个过程合并为一个函数。
2023-11-30 22:03:39
309
原创 表格型方法
强化学习是一个与时间相关的序列决策的问题。概率函数定量地表达状态转移的概率，其可以表现环境的随机性。但是实际上，我们经常处于一个未知的环境中，即概率函数和奖励函数是未知的。它结合了动态规划和蒙特卡罗的思想，通过不断更新状态值函数或者动作值函数来学习最优策略。时序差分算法的特点是它不需要知道环境的完整模型，也不需要等待一个完整的回合结束，而是在每一步都可以进行学习和更新。Sarsa算法是一种时序差分学习的方法，它是一种在线的强化学习算法，即它在学习的过程中遵循和改进同一个策略。Qsa←Qsa。
2023-11-18 22:05:10
250
原创 马尔可夫过程
在给定历史状态s0st的情况下，某个状态的未来只与当前状态st有关，与历史的状态无关。pst1∣stpst1∣s0s1st即一个状态的下一个状态只取决于它的当前状态，而与它当前状态之前的状态都没有关系。一组具有马尔可夫性质的随机变量序列s1st，其中下一个时刻的状态只st1取决于当前状态st。我们设状态的历史为hts1s2s3stht。
2023-11-15 12:22:02
72
原创 Datax调度与数据传输流程
Datax调度与数据传输流程调度指的是 Datax 根据数据(任务执行情况)来进行任务执行的顺序以及优先级；数据传输是指 reader 和 writer 是如何配合进行数据之间的交互，以及 Datax 的一些特性例如速率把控、并行操作等是如何实现的。1. 调度流程调度流程的代码入口在 JobContainer.java 的 schedule() 方法。首先会获取全局的channel数、每个TaskGroup的channel数以及计算需要的channelNumber个数 int channel
2022-03-27 10:09:17
1020
原创 Datax并发数确定
Datax并发数确定并发数的确实是datax的jobContainer的工作，具体入口在JobContainer#adjustChannelNumber中.主要限制条件有三个: byteNum、RecordNum以及直接的channelNum。总结来说:是否有全局（job） byte限制，如果有，则必须要有channel的byte设置，最后计算出 需要的channelByByte数量。是否有全局（job） record限制，如果有，则必须要有channel的record设置，最后计算出 需要的c
2022-03-27 10:06:25
1665
原创 datax源码解析
具体流程代码step1: 入口知识点:首先入口在com.alibaba.datax.core.Engine类，命令行参数有-job、-jobid和-mode options.addOption("job", true, "Job config."); options.addOption("jobid", true, "Job unique id."); options.addOption("mode", true, "Job
2022-03-27 10:05:10
1605
原创 数据分析终回-数据建模与评估
数据建模与评估本文记录2022年3月组队学习-动手学数据分析教程知识点,采用kaggle上泰坦尼克的任务，实战数据分析全流程。教程内容开源地址:github: https://github.com/datawhalechina/hands-on-data-analysisgitee:https://gitee.com/datawhalechina/hands-on-data-analysis前面我们已经做足了数据的准备，研究数据本身的特征，现在我们要进一步对数据进行挖掘，找到背后的隐藏信息以及数据
2022-03-23 21:28:10
986
原创 数据分析第四回-数据可视化
数据可视化本文记录2022年3月组队学习-动手学数据分析教程知识点,采用kaggle上泰坦尼克的任务，实战数据分析全流程。教程内容开源地址:github: https://github.com/datawhalechina/hands-on-data-analysisgitee:https://gitee.com/datawhalechina/hands-on-data-analysis接下来要重点研究一下数据可视化。本章我们着重研究一下matplotlib绘图库。Matplotlib可以说是py
2022-03-21 21:33:26
1114
原创 数据分析第三回-数据重构
数据重构本文记录2022年3月组队学习-动手学数据分析教程知识点,采用kaggle上泰坦尼克的任务，实战数据分析全流程。教程内容开源地址:github: https://github.com/datawhalechina/hands-on-data-analysisgitee:https://gitee.com/datawhalechina/hands-on-data-analysis接下来要重点研究一下数据重构。本章我们着重研究一下SAC过程(split-apply-combine),对数据基于
2022-03-19 16:56:39
2034
原创 数据分析第二回-数据清洗与特征处理
数据清洗与特征处理本文记录2022年3月组队学习-动手学数据分析教程知识点,采用kaggle上泰坦尼克的任务，实战数据分析全流程。教程内容开源地址:github: https://github.com/datawhalechina/hands-on-data-analysisgitee:https://gitee.com/datawhalechina/hands-on-data-analysis接下来要重点研究一下数据清洗，一般我们拿到数据的时候，有很多错误的情况。所谓的错误，就是数据中有缺失值，
2022-03-17 21:22:51
1146
原创 数据分析初回-探索性数据分析
探索性数据分析本文记录2022年3月组队学习-动手学数据分析教程知识点,采用kaggle上泰坦尼克的任务，实战数据分析全流程。教程内容开源地址:github: https://github.com/datawhalechina/hands-on-data-analysisgitee:https://gitee.com/datawhalechina/hands-on-data-analysis1 第一章：数据载入及初步观察1.1 任务一: 利用pandas进行数据导入数据集下载 https://
2022-03-15 21:06:27
1619
原创 朴素贝叶斯(上)
朴素贝叶斯算法是有监督的学习算法，解决的是分类问题，如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响朴素贝叶斯理论假设现在我们有一个数据集，它由两类数据组成，数据分布如下图所示：我们现在用p1(x,y)表示数据点(x,y)属于类别1(图中红色圆点表示的类别)的概率，用p2(x,y)表示数.
2020-11-08 09:58:59
301
1
原创 决策树
文章目录引入决策树工作原理ID3算法（判断要不要去打篮球）?C4.5 算法Cart算法ID3算法Python实现(基于信贷数据集)基于Sklearn库的决策树模型(Titanic乘客生存预测)基于cart算法的分类树基于cart算法的回归树引入想象一下一个女孩的妈妈给她介绍男朋友的场景：女儿：长的帅不帅？妈妈：挺帅的。女儿：有没有房子？妈妈：在老家有一个。女儿：收入高不高？妈妈：还不错，年薪百万。女儿：做什么工作的？妈妈：IT 男，互联网公司做数据挖掘的。女儿：好，那我见见。在现实生
2020-10-27 11:02:00
758
原创 folium进阶内容介绍
文章目录一、简言二、处理GeoJSON和TopoJSON数据三、Choropleth分级着色图一、简言 上一篇中我们学习了folium的基础内容，从创建folium地图开始，通过主要参数修饰地图，尝试绘制Marker来标记特定地点等，实际上folium在地理信息可视化过程中重点在于绘制图像的高度可定制化。二、处理GeoJSON和TopoJSON数据GeoJSON数据GeoJSON是语法规则符合JSON文件的，专用于表示地理信息的一种JSON文件，其在JSON语法的基础上，内部又有着一套固定的
2020-09-27 22:15:56
3579
3
原创 folium基础内容介绍
folium基础内容介绍1. 简介 folium是js上著名的地理信息可视化库leafet.js为Python提供的接口，通过它，我们可以通过在Python端编写代码操纵数据，来调用leaflet的相关功能，基于内建的osm或自行获取的osm资源和地图原件进行地理信息内容的可视化，以及制作优美的可交互地图，是通过不断添加图层元素来定义一个Map对象，最后以几种方式将Map对象展现出来。 而在Map对象的生成形式上，可以在定义所有的图层内容之后，将其保存为html文件在浏览器中独立显示，也可以基于j
2020-09-19 17:36:15
8314
2
原创 Restful API 接口规范
文章目录Restful API 接口规范背景什么是RESTful架构呢？RESTful API 设计Restful API 接口规范暑假期间接触到实际开发项目对开发过程中遇到的Restful接口规范存在疑惑，由于当时主要目的是尽快本地运行项目，尝试开发，没有对这个接口规范深入了解。趁着最近时间比较轻松，逐步学习Restful规范。背景越来越多的人开始意识到，网站即软件，而且是一种新型的软件。这种"互联网软件"采用客户端/服务器模式，建立在分布式体系上，通过互联网通信，具有高延时（high late
2020-09-09 22:35:23
7131
原创 Pandas基础: 时序数据
文章目录Task04： 时序数据二、理解点三、 问题与作业最近考试周有点没处理好时间，考完试填补叭.1. 问题【问题一】 如何对date_range进行批量加帧操作或对某一时间段加大时间戳密度？【问题二】 如何批量增加TimeStamp的精度？【问题三】 对于超出处理时间的时间点，是否真的完全没有处理方法？【问题四】 给定一组非连续的日期，怎么快速找出位于其最大日期和最小日期之间，且没有出现在该组日期中的日期？【练习一】 现有一份关于某超市牛奶销售额的时间序列数据，请完成下列问题：（a）销售额出现最大值的是
2020-06-29 21:35:30
581
原创 Pandas基础学习：分类数据
文章目录一、 Task03： 分类数据二、 理解点三、 问题与作业1. 问题【问题一】 如何使用union_categoricals方法？它的作用是什么？【问题二】 利用concat方法将两个序列纵向拼接，它的结果一定是分类变量吗？什么情况下不是？【问题三】 当使用groupby方法或者value_counts方法时，分类变量的统计结果和普通变量有什么区别？【问题四】 下面的代码说明了Series创建分类变量的什么“缺陷”？如何避免？（提示：使用Series中的copy参数）【练习一】 现继续使用第四章中的
2020-06-27 21:29:12
2170
原创 Pandas基础学习: 处理文本数据
文章目录一、Task02： 文本数据二、理解点三、问题与作业1. 问题【问题一】 str对象方法和df/Series对象方法有什么区别？【问题二】 给出一列string类型，如何判断单元格是否是数值型数据？【问题三】 rsplit方法的作用是什么？它在什么场合下适用？【问题四】 在本章的第二到第四节分别介绍了字符串类型的5类操作，请思考它们各自应用于什么场景？2. 练习【练习一】 现有一份关于字符串的数据集，请解决以下问题：（a）现对字符串编码存储人员信息（在编号后添加ID列），使用如下格式：“×××（名字
2020-06-26 22:51:55
1814
原创 Pandas基础学习:处理缺失数据
文章目录一、Task01：缺失数据二、理解点三、问题与练习1. 问题【问题一】 如何删除缺失值占比超过25%的列？【问题二】 什么是Nullable类型？请谈谈为什么要引入这个设计？【问题三】 对于一份有缺失值的数据，可以采取哪些策略或方法深化对它的了解？2. 练习【练习一】现有一份虚拟数据集，列类型分别为string/浮点/整型，请解决如下问题：（a）请以列类型读入数据，并选出C为缺失值的行。（b）现需要将A中的部分单元转为缺失值，单元格中的最小转换概率为25%，且概率大小与所在行B列单元的值成正比。【练
2020-06-22 21:21:00
1264
原创 第5章 合并
第5章 合并本次跟随Datawhale组队学习Pandas基础，希望能有所收获。Datawhale是一个很好的开源组织，会组织很多免费的知识学习。教程：地址一、思维导图二、问题与练习1. 问题【问题一】 请思考什么是append/assign/combine/update/concat/merge/join各自最适合使用的场景，并举出相应的例子。append: 通过dict Se...
2020-04-30 20:22:02
267
原创 第4章 变形
第4章 变形文章目录第4章 变形一、内容大概二、透视表1. pivot一般状态下，数据在DataFrame会以压缩（stacked）状态存放，例如上面的Gender，两个类别被叠在一列中，pivot函数可将某一列作为新的cols：然而pivot函数具有很强的局限性，除了功能上较少之外，还不允许index中出现重复的行列索引对（pair），例如下面的语句就会报错：因此，更多的时候会选择使用强大的p...
2020-04-28 20:40:02
265
原创 第3章 分组
第3章 分组import pandas as pdimport numpy as npdf = pd.DataFrame(np.array([[1, 1], [2, 10], [3, 100], [4, 100]]), columns=['a', 'b'])dfdf.quantile(.1)a 1.3b 3.7Name: 0.1, ...
2020-04-26 20:53:39
207
原创 第2章 索引
第2章 索引文章目录第2章 索引大致内容一、单级索引1. loc方法、iloc方法、[]操作符最常用的索引方法可能就是这三类，其中iloc表示位置索引，loc表示标签索引，[]也具有很大的便利性，各有特点（a）loc方法（注意：所有在loc中使用的切片全部包含右端点！）① 单行索引：② 多行索引：③ 单列索引：④ 多列索引：⑤ 联合索引：⑥ 函数式索引：⑦ 布尔索引（将重点在第2节介绍）小节：本...
2020-04-22 23:02:35
562
原创 机器学习 树回归
树回归分类回归树（Classification And Regression Trees，CART）是一种构造树的监督学习方法。和ID3决策树作比较：1. ID3每次直接用最佳特征分割数据，即如果当前特征有4个可能值，那么数据将被分成4份，处理的是标称型数据，不能直接处理连续型数据。CART则利用二元切分来处理连续型变量，每次会找一个最佳特征的阈值，把数据集分成两部分，也就是左子树和右子树。...
2019-12-21 22:14:55
217
原创 机器学习 回归问题(线性回归 岭回归 逐步回归）
一.线性回归线性回归就是将输入项分别乘以一些常量，在将结果加起来得到输出。 假定输入数据存放在矩阵 x 中，而回归系数存放在向量 w 中。 那么预测结果可以通过Y=X的转置*W得出。所以我们求解线性回归模型的核心就在于求解w，如何求呢？首先，我们一定是希望预测出来的值和实际值之间的误差越小越好，所以我们评判w好坏，就可以采用实际值与真实值之差表示，但是这个差有正有负，为了避免正负相互抵消的情况，...
2019-12-21 17:39:27
1207
原创 机器学习 AdaBoost算法
#!/usr/bin/env python# encoding: utf-8from __future__ import print_functionfrom numpy import *import matplotlib.pyplot as pltdef loadSimData(): ''' 加载数据集 :return: dataM...
2019-12-14 11:36:06
349
原创 机器学习task3 朴素贝尔斯
朴素贝尔斯kNN 和 kD-Tree 都只能明确地判断一个数据是否属于一个类，这里给出的是 guess， 也就是说结果可能会像这样： “ xx 最有可能在 yy 分组中，可能性为 zz%”，但是之前计算可能性我们是直接按照 targetNum / totalNum，太过粗暴Bayesian 决策： 选择可能性最高的决策Conditional probablity：naive Bayes 的...
2019-11-27 19:20:05
132
原创 机器学习 logistic算法
线性分类器给定一些数据集合，他们分别属于两个不同的类别。例如对于广告数据来说，是典型的二分类问题，一般将被点击的数据称为正样本，没被点击的数据称为负样本。现在我们要找到一个线性分类器，将这些数据分为两类（当然实际情况中，广告数据特别复杂，不可能用一个线性分类器区分）。用X表示样本数据，Y表示样本类别（例如1与-1，或者1与0）。我们线性分类器的目的，就是找到一个超平面（Hyperplan）将两类...
2019-11-27 19:19:44
544
原创 子网划分的意义
为什么要划分子网？主要意义是减少广播所带来的影响那么什么是广播？ 广播的影响如何减少？ 广播就是向本网段的所有节点都发送同样的数据包，这肯定要占用相当多的网络资源（每个广播数据硬件设备都要对它进行分析），特别是带宽资源。然而在这些广播传输中对终端真正有用的只是所有广播接收用户中的一个。网络规模越大，广播数据包发送所占用的资源就越多（因为广播中...
2019-06-01 21:42:12
5722
转载 变长子网划分
变长子网划分VLSM规定了如何在一个进行了子网划分的网络中，不同子网使用不同的子网掩码。这对于网络内部不同网段需要不同大小子网的情形来说很有效，这种划分子网的方式叫变长子网划分。变长子网划分其实就是在等长子网的划分上，分别取不同等分子网中的某个或者多个子网。1、变长子网划分示例如上示例划分分析结果：A子网网络地...
2019-06-01 14:52:13
20350
WindowsFormsApplication1.zip
2020-03-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人