- 博客(9)
- 收藏
- 关注
RSS订阅
原创 手把手教你在腾讯云上搭建hive3.1.2
环境准备所有操作开始前，先确定hadoop版本已经装好。具体可以看我的另一篇博客搭建hadoop3.xmysql安装先把安装包放到software文件夹，并解压到mysql-lib中[root@master software]# ll总用量 1422372-rw-r--r-- 1 root root 312850286 7月 2 15:00 apache-hive-3.1.2-bin.tar.gz-rw-r--r-- 1 root root 338075860 7月 2 09:39
2020-07-02 16:29:59
842
1
原创 手把手教你在腾讯云上搭建hadoop3.x伪集群
一、环境准备CentOS Linux release 7.5.1804 (Core) 系统下安装创建文件夹$ cd /home/centos$ mkdir software$ mkdir module将安装包导入software文件夹$ cd software# 然后把文件拖进去即可这里使用的安装包是/home/centos/software/hadoop-3.1.3.tar.gz/home/centos/software/jdk-8u212-linux-x64.tar.gz
2020-07-02 12:00:05
1054
2
原创 组织好代码段 以Java代码为例
代码文件头部结构版权和许可声明命名空间(package)外部依赖(import)对象结构类的规范类的声明类的属性和方法类的内部结构类的属性构造方法工厂方法其他方法方法的代码结构方法的规范方法的声明方法的实现限定词的使用 ----限定词推荐使用顺序：public/private/protected （访问控制限定词，制定访问权...
2020-07-08 18:21:18
147
原创 Java中的异常处理的准则和处理方式
三条准则：不要使用异常机制处理正常业务逻辑；异常的使用要符合具体的场景；具体的异常要在接口规范中声明和标记清楚。1. 异常就是非正常异常状况的处理会让代码的效率变低。不应该使用异常机制来处理正常的状况。2. 分清异常的类别非正常异常（Error）–错误这类异常的命名以 Error 结尾，比如 OutOfMemoryError，NoSuchMethodError。这类异常，编译...
2020-07-02 14:34:04
239
原创 信用评分卡（A卡） 基于LR模型的数据处理及建模过程
数据来自：魔镜杯风控算法大赛（拍拍贷）。有关数据的具体描述可以看比赛页面。0. 数据集的关键字段及描述：Master：每一行代表一个样本（一笔成功成交借款），每个样本包含200多个各类字段。idx：每一笔贷款的unique key，可以与另外2个文件里的idx相匹配。 UserInfo_*：借款人特征字段 WeblogInfo_*：Info网络行为字段 Education_Info...
2018-10-22 17:55:51
6376
5
原创 Logistic Regression在评分卡模型中的应用
一、Logistic Regression模型的基本概念线性回归无法对｛违约，非违约｝这类标签进行建模。对于分类模型而言，建模的对象是每个类别在某条样本上出现的概率伯努利概型：在违规预测场景中，单个个体违约事件可以看成伯努利概型，参数pi即需要预测的目标 通过Logistic变换（sigmoid函数），使目标函数的取值范围限定在(0,1) f'(x)=f(x)(...
2018-10-22 16:26:19
1235
原创 评分卡模型 数据预处理与特征构建
一、数据预处理、特征构建预处理：处理缺失值、异常值，增强模型的稳健性特征构建：形成有业务含义的优异特征1. 评分卡模型（1）分类和特征- 风控场景中的评分卡：反欺诈评分卡、申请评分卡、行为评分卡、催收评分卡- 以分数形式来衡量风险几率的一种手段- 对未来一段时间内违约/逾期/失联概率的预测- 有一个明确的（正）区间- 通常分数越高越安全- 数据驱动- 非...
2018-10-22 16:25:25
2418
原创 互联网金融和信贷风控的概述
互联网金融中的信贷产品和风控特点一、互联网金融特点：服务高效便捷、成本低、应用大数据发展阶段：1. 2005年以前 银行将业务搬到网上2. 2005-2011年 第三方支付机构发展3. 2012年以后 P2P、众筹、网络保险主要模式：1. 第三方支付（1）独立第三方支付：快钱、易宝支付、汇付天下、拉卡拉（2）依托电子商务网站：支付宝、财付通...
2018-10-22 16:23:54
1341
原创 数据分析与建模的基础知识
一、数据分析的概念数据获取→数据清洗→统计分析→可视化→形成结论→验证结论→应用结论根据这个图可以看下自己在哪方面还有缺腿，想往哪个方向发展。1数据获取2数据清洗- 完整性：通过其他信息、前后数据补全、剔除多余数据- 唯一性：按主键去重，合并同一主键下的数据- 权威性：保证原始数据的准确性- 一致性：建立数据体系，如指标体系、维度、单位、频度、数据格式-...
2018-10-22 16:19:18
2323
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人