- 博客(144)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 Datawhale金融风控之贷款违约预测-Task4
逻辑回归模型： 理解逻辑回归模型； 逻辑回归模型的应用； 逻辑回归的优缺点； 树模型： 理解树模型； 树模型的应用； 树模型的优缺点； 集成模型 基于bagging思想的集成模型 随机森林模型 基于boosting思想的集成模型 XGBoost模型 LightGBM模型 CatBoost模型 模型对比与性能评估： 回归模型/树模型/集成模型； 模型评估方法； 模型评价结果； 模型调参：..
2020-09-24 23:38:23
195
转载 Datawhale金融风控之贷款违约预测-Task3
数据预处理 缺失值的填充 时间格式处理 对象类型特征转换到数值 异常值处理 基于3segama原则 基于箱型图 数据分箱 固定宽度分箱 分位数分箱 离散数值型数据分箱 连续数值型数据分箱 卡方分箱（选做作业） 特征交互 特征和特征之间组合 特征和特征之间衍生 其他特征衍生的尝试（选做作业） 特征编码 one-hot编码 label-encode编码 特征选择 1 Filter 2 Wrapper （RFE） 3
2020-09-21 23:38:00
181
原创 Datawhale金融风控之贷款违约预测-Task2
数据总体了解： 读取数据集并了解数据集大小，原始特征维度； 通过info熟悉数据类型； 粗略查看数据集中各特征基本统计量； 缺失值和唯一值： 查看数据缺失值情况 查看唯一值特征情况 深入数据-查看数据类型 类别型数据 数值型数据 离散数值型数据 连续数值型数据 数据间相关关系 特征和特征之间关系 特征和目标变量之间关系 ...
2020-09-18 22:17:42
286
原创 Datawhale金融风控之贷款违约预测-Task1
1. 赛题概况比赛要求参赛选手根据给定的数据集，建立模型，预测金融风险。赛题以预测金融风险为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。2. 数据概况一般而言，对于数据在比赛界面都有对应的数据概况介绍（匿名特征除外
2020-09-15 08:16:30
176
原创 pandas中的绘图函数
不难看出，matplotlib实际上是一种比较低级的工具。要组装一张图表，你得用它的各种基础组件才行：数据展示（即图表类型：线型图、柱状图、盒形图、散步图、等值线图等）、图例、标题、刻度标签以及其他注解型信息。这是因为要根据数据制作一张完整图表通常都需要用到多个对象。在pandas中，我们有行标签、列标签以及分组信息。这也就是说，要制作一张完整的图表，原本需要一大堆的matplotlib代码，现在...
2018-05-11 03:17:15
934
原创 层次化索引
层次化索引是pandas的一项重要功能，它使你能在一个轴上拥有多个（两个以上）索引级别。抽象点说，它使你能以降低唯独形式处理高维度数据。带有MultiIndex索引的Series的格式化输出格式。索引之间的"间隔"表示"直接使用上面的标签"：对于一个层次化的索引的对象，选取数据子集的操作很简单：有时甚至还可以在"内层"中进行选取：层次化索
2018-02-12 02:01:02
5194
原创 pandas基本功能（续2）
函数应用和映射NumPy的ufuncc（元素级数组方法）也可用于操作pandas对象:另一个常见的操作是，将函数应用到由各列或行所形成的一维数组上。DataFrame的apply方法即可实现此功能：许多最为常见的数组统计功能都能被实现成DataFrame的方法（如sum和mean），因此无需使用apply方法。除标量值外，传递给apply的函数换可以返回由多个值
2018-01-24 02:02:58
226
原创 pandas基本功能（续1）
丢弃指定轴上的项丢弃某条轴上的一个或多个项很简单，只要有一个索引数组或列表即可。由于需要执行一些数据整理和集合逻辑，所以drop方法返回的是一个在指定轴上删除了指定值的新对象：对于DataFrame，可以删除任意轴上的索引值：索引、选取和过滤Series索引（obj[...]）的工作方式类似于NumPy数组的索引，只不过Series的索引值不只是整数。下
2018-01-21 23:46:16
298
原创 pandas基本功能
重新索引pandas对象的一个重要方法是reindex，其作用是创建一个适应新索引的新对象。调用该Series的reindex将会根据新索引进行重排。如果某个索引当前值不存在，就引入缺失值对于时间序列这样的有序数据，重新索引时可能需要做一些插值处理。method选项即可达到此目的，例如，使用ffill可以实现前向值填充：reindex的（插值
2018-01-19 02:50:54
485
原创 pandas数据结构介绍
pandas是基于NumPy构建的，它以NumPy为中心的应用变得更加简单。pandas的数据结构介绍SeriesSeries是一种类似于一维数组的对象，它由一组数据（各种Numpy的数据类型）以及一组与之相关的数据标签（即索引）组成。仅由一组数据即可产生最简单的Seriesobj=Series([4,7,-5,3])Series的字符串表现形式为：索引在左边，值在右边。由于我
2018-01-17 00:32:31
502
1
原创 Python numpy
将条件逻辑表示为数组运算numpy.where函数是三元表达式x if condition else y的矢量化版本。numpy.where(cond,arr1,arr2)数学和统计方法可以通过数组上的一组数学函数对整个数组或某个轴向的数据进行统计运算。sum、mean以及标准差std等聚合计算(sggregation，通常叫做约简（reduction）)既可以当作实例方法调用，也
2018-01-06 18:11:43
552
1
原创 公钥加解密及SSL/TLS协议概述
公开密钥加密，也称为非对称加密，一种密码学算法类型，在这种密码学方法中，需要一对密钥，一个是私人密钥，另一个则是公开密钥。这两个密钥是数学相关。用某用户的密钥加密后所得的信息，只能用该用户的解密密钥才能解密。如果知道了其中一个，并不能计算出另外一个。因此如果公开了一对密钥中的一个，并不会危害到另外一个的秘密性质。如果加密密钥是公开的，这用于给私钥所有者上传加密的数据，这被称作为公开密钥加密。
2017-05-16 19:58:24
1084
翻译 FIDO UAF Extension
Extension结构FIDO扩展在很多地方出现，包括UAF协议消息，认证器命令或由认证器签名的断言等。每个扩展都有一个标识符，扩展标识符的命名空间是FIDO UAF全局的(例如命名空间不依赖于)扩展消息在哪里出现)。扩展的处理方式可被定义为：如果一个处理实体不理解特定扩展的意义，那么它必须终止处理，或指定一种可以(安全)忽略未知扩展的方式。在每个允许扩展的部分都定义了扩展的处理规则。
2017-04-21 13:57:07
1062
翻译 FIDO Metadata Statements（译）
2.概览在竞争激烈的市场中，FIDO协议簇利用各种各样不同的设备使在线认证更简单 安全。这背后的大部分复杂性对依赖方的应用程序来说是隐藏的，但是为了达到 FIDO的目标，依赖方应该有多种方法来发现并校验认证器的特性。依赖方通过 FIDO联盟发布的认证器元数据声明能够获取经核实的认证器信息的子集。访问 元数据声明的URL通过元数据服务[UAFMetadataService]提供的元数据TOC（内
2017-04-09 15:11:48
965
翻译 FIDO UAF Specification Protocol（Considerations节译）
4.Considerations4.1核心协议设计思考本部分描述一些在协议设计中的重要元素。4.1.1认证器元数据假定FIDO服务器能访问到所有支持的认证器列表和相应的元数据。认证器元数据包含这些信息，例如：（1）所支持的注册和鉴别方案（2）鉴别因素、安装类型、所支持的内容类型和其他补充信息等等。为了决定哪些认证器适合一个特定的交易，FIDO服务器根据AAID查找认
2017-04-07 16:31:54
3072
翻译 FIDO AppID and Facet Specification(译)
概要FIDO协议系列引入了一个新的安全概念：应用层面，用于描述用户凭证的范围，以及支持应用程序隔离的可信计算基础如何做出访问控制的决定，决定哪些应用和网页源可以使用哪些密钥。本文档描述了实施应用程序方面概念的动机和要求，以及它如何适用于FIDO协议。1.概览现代联网应用程序通常呈现用户可以与其进行交互的几种方式。本文档介绍了Application Facet的概念，以描述跨不同平台
2017-04-02 14:32:20
1579
原创 Python Web部署方式
CGI 即通用网关接口(Common Gateway Interface)，是外部应用程序(CGI程序)与Web服务器之间的接口标准，是CGI程序和Web服务器之间传递消息的规程。CGI规范允许Web服务器执行外部程序，并将它们输出发送给Web浏览器，CGI将Web的一组简单的静态超媒体文档变成一个完整的新的交互式媒体。通俗的讲CGI就像是一座桥，把网页和Web服务器中的执行程序连接起来，他把HT
2017-03-12 17:17:34
1789
1
原创 Django 视图和url配置
第一个基于Django的页面：Hello World使用Django，页面的内容是靠view function（视图函数）来产生，URL定义在URLconf中。首先，我们先写一个Hello Word的视图函数第一份视图
2017-02-10 12:07:44
1850
原创 python学习笔记
静态方法定义方法：(1)@staticmethod装饰 (2)参数不用self访问特性：(1)不能引用或访问实例属性 (2) 可以通过类、类变量访问类属性调用方法：可以用类、类实例调用本质：在类中的一个普通函数而已 使面向对象程序中函数归属于类，易于代码管理用法：(1)与类相关，但不依赖或改变类与实例 创建不同的实例 (2)把类相关工具方法放入类中类
2017-02-06 11:52:02
260
原创 Android 电量优化
GPS应用中经常会用到定位服务，Android提供了NetWork定位和GPS，相对于来说，GPS会精确的多，对于一些诸如跑步，导航类的应用基本会使用GPS定位，然而，GPS定位也会消耗大量的电量。使用WakeLock或者JobSchedule唤醒设备处理定时的任务之后，一定要及时让设备回到初始状态。每次唤醒蜂窝信息进行数据传递，都会消耗很多电量，它比WiFi等操作更加的耗电。
2017-01-12 15:15:50
499
原创 第一个完整的python代码（计时器）
import time as tclass MyTimer(): def __init__(self): self.unit=['年','月','天','小时','分钟','秒'] self.prompt="未开始计时。。。" self.lasted=[] self.begin=0 self.end=0
2016-12-12 16:12:07
13378
1
原创 计步器锁屏后依然工作的原理
Android关闭屏幕的同时禁止硬件进入休眠Screen Off之后，CPU和各种外设（包括WIFI，蓝牙，加速度传感器等等）都停止工作。WakeLock能够禁止Android硬件进入休眠。进程可以创建各种类型的WakeLock,只要系统中还存在WakeLock，那么系统就不会休眠。以下是创建并使能Wake Lock的一般性代码：PowerManager powerManage
2016-12-03 16:40:44
1705
原创 Java使用MulticastSocket实现多点广播
DatagramSocket只允许数据报发送给指定的目标地址，而MulticastSocket可以将数据报以广播方式发送到数量不等的多个客户端。若要使用多点广播时，则需要让一个数据报标有一组目标主机地址，当数据报发出后，整个组的所有主机都能收到该数据报。IP多点广播实现了将单一信息发送到多个接收者的广播，其思想是设置一组特殊网络地址作为广播地址，每个多点广播地址都被看做一个组，当客
2016-12-03 12:12:08
6907
1
原创 Linux命令
Linux常用命令文件处理命令 ls-list 用来查看目录信息 ls -a 获取全部内容 ls -l 获取相关信息 ls -d 查看指定目录下的信息 ls -h 查看文件的大小 ls -i 查询文件的i节点 mkdir -p(递归创建) 创建一个目录 cd 切换指定的目录 pwd 显示当前目录 rmdir 删除一个目录(空目录) cp
2016-11-27 11:54:29
365
原创 U2F协议解析
服务器关联的密钥对U2F设备产生的密钥对应该是服务器关联的，一对密钥对应一个服务器，而不是一个U2F设备对应一个服务器。在注册的时候，服务器给U2F设备传入服务器相关信息，U2F设备产生一对密钥对，将此密钥对和服务器相关信息相关联，给此密钥对分配一个key handle,将其和公钥传给服务器，服务器将注册的账户信息，公钥，key handle全部关联在一起并保存。当用户需要使用
2016-10-29 21:40:00
5305
原创 FIDO协议（fast identity online，快速身份识别在线联盟）
FIDO协议共分为两大类：U2F和UAF。对应的也有两套规范（UAF Specifications,U2F Specifications）UAF:Universal Authentication Framework protocal支持指纹，语音，虹膜，脸部识别等生物身份识别方式。无需用户密码介入，直接进行验证交易。用户在注册阶段，根据服务器支持的本地验证方式，选择一种验证方式，如指纹识别
2016-10-26 10:15:25
5867
原创 数字签名过程
DSA参数的产生：每个用户的安全参数产生如下：（1）选择160比特的素数q和1024比特的素数p，满足q|(p-1)|;（2）在有限域中寻找q阶循环子群的生成元g，具体方法是在有限域中选取元素h计算g=h^(p-1)/q mod p,当g!=1时机找到满足要求的g.（3）域参数就是p,q,gDSA秘钥对的产生：每个拥有与参数p,q和g进行如下操作：（1)选择随机或伪
2016-10-14 07:57:09
619
原创 内存泄露
1.构造Adapter时，没有使用缓存的convertView以构造ListView的BaseAdapter为例，在BaseAdapter中提供了方法public View getView(int position,View convertView,ViewGroup parent)来向ListView提供每一个item所需要的View对象。初始化时ListView会从BaseAdap
2016-09-20 11:09:28
356
原创 中序遍历（非递归）
//前序遍历/*前序遍历的递归实现*/void preOrder(BinTree *root){ if(NULL!=root){ coutdata<<" "; preOrder(root->lchild); preOrder(root->rchild); }}/*非递归实现*//*根据前序遍历访问的顺序，优先访问根节点，然后再分别访问左孩子和右孩子。即对于任一节点，其可
2016-09-18 21:55:39
12794
5
原创 生产者消费者模式Java实现
//storage类用来生产和消费import java.util.LinkedList;public class Storage { private final int MAX_SIZE=100; private LinkedList list=new LinkedList(); public void produce(int num){ synchronized (list)
2016-09-16 16:04:00
363
原创 面试杂谈（一）
TreeMap的实现是红黑树算法的实现。红黑树简介：红黑树又称二叉树，它首先是一个二叉树，他具有二叉树所有的特性。同时红黑树更是一颗自平衡的排序二叉树排序二叉树的一个基本性质-即树中的任何节点的值大于它的做节点，且小于它的右子节点。按照这个性质使得树的检索效率大大提高。我们知道在生成二叉树的过程中是非常容易失衡的，最坏的情况就是一边倒，这样势必会导致二叉树的检索效率大大降低。
2016-09-15 10:12:05
350
原创 内存管理相关
CPU将一个虚拟内存空间中地址转换为物理地址，需要进行两步：首先将给定一个逻辑地址（其实是段内偏移量），CPU要利用其段式内存管理单元，先将逻辑地址换换成一个线性地址，再利用其页式内存管理单元，转换为最终物理地址。线性地址：是CPU所能寻址的范围物理地址：是机器中实际的内存地址。换言之，是机器中的没存容量范围。逻辑地址：是对程序而言的。一般以Seg:Offset来表示。（程
2016-09-12 10:27:33
315
原创 牛客网 求1到n 整数中1的个数
import java.util.Scanner;/** * 当计算右数第i位包含的X的个数时 * * 1.取第i位左边（高位）的数字，乘以10^i-1,得到基础值 a * 2.取第i位数字，计算修正值 * （1）如果大于X，则结果为a+10^i-1 * （2）如果小于X，则结果为a * （3）如果等于X,则取第i位右边（低位）数字，设为b，最后结果为a+b+1 *
2016-09-02 10:45:38
1020
原创 Android app从安装到启动的过程
APK为AndroidPackage的缩写应用安装涉及到如下几个目录：system/app------系统自带的应用程序data/app -------用户程序安装的目录，安装时把apk文件复制到此目录data/data ------存放应用程序的数据data/dalvik-cache-----将apk中的dex文件安装到dalvik-cache目录下安装过程复制apk
2016-09-01 11:22:17
2735
原创 约瑟夫的java实现
import java.util.Scanner;public class Main { public static void main(String ss[]) { int n,m; Scanner sc=new Scanner(System.in); m=sc.nextInt(); n=sc.nextInt(); Node first=new Node(1);
2016-08-31 21:06:49
420
原创 Android开发中的MVP架构
什么是MVP架构MVP就是Model-View-Presenter,MVP是从经典的模式MVC演变而来，它们的基本思想有想通的地方：Controller、Presenter负责逻辑的处理，Model提供数据，View负责显示。作为一种新的模式，MVC和MVP有着重大的区别：在MVP中View并不直接使用Model，它们之间的通信是通过Presenter来进行的，所有的交互都发生在Present
2016-08-22 11:00:04
435
原创 Ble设备通信
1.Profileprofile可以理解为一种规范，一个标准的同通信协议，它存在于手机中。蓝牙组织规定了一些标准的profile，例如HID OVER GATT，防丢器，心率计等。每个profile中会包含多个service，每个service代表从机的一种能力2.Serviceservice可以理解为一个服务，在ble从机中，通过有多个服务，例如电量信息服务、系统信息服务等，每个
2016-08-19 10:23:33
703
原创 Glide源码
1.主要特点（1）支持Memeory和Disk图片缓存（2）支持gif和webp格式（3）根据Activity、Fragment生命周期自动管理请求（4）使用Bitmap Pool可以使用Bitmap复用（5）对于回收的Bitmap会主动调用recycle，减小系统回收的压力2.总体设计自上而下 RequestManager：GenericRequest
2016-08-13 11:47:22
356
原创 HttpURLConnection和HttpClient
HttpClientDefaultHttpClient和他的小欧诺个地AndroidHttpClient都是HttpClient具体的实现类，他们拥有众多的API，而且实现比较稳定。HttpURLConnectionHttpURLConnection是一种多用途，轻量级的HTTP客户端，使用它来进行HTTP操作可以适用于大多数的程序。虽然HttpURLConnection的AP
2016-08-07 09:42:56
269
原创 json与xml的优缺点比较（面试）
XML和json的优缺点xml的优点（1）格式统一（2）容易与其他系统进行远程交互，数据共享比较方便xml的缺点（1）xml文件庞大，文件格式复杂，传输占带宽（2）服务器和客户端都需要花费大量代码来解析xml,导致服务器和客户端代码变得异常复杂且不易维护（3）客户端和服务端解析xml花费较多的资源和时间json的优点（1）数据格式比较简单，易于读写，格式是压缩的
2016-08-03 11:33:41
5397
Flask课件.zip
2020-02-16
Django新课件.zip
2020-01-21
dailyfresh.zip
2020-01-21
px2rwd-2.1.2.zip
2019-11-17
Learning.zip
2019-08-04
Python核心编程（第二版）
2017-12-31
金山卫士图片
2016-02-05
简易手机卫士代码
2016-02-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人