- 博客(80)
- 收藏
- 关注
RSS订阅原创 【小微】非财务分析方法
目前“扶小微、促实体”成为国家战略任务 ，在金融支持小微企业的政策指引之下，多项政策出台支持小微良性发展，银行及金融机构发放小微企业贷款的连续多年增长。整体来看，行业空间巨大。 银行和金融机构需要在保证风险可控的前提下实现盈利收入，但怎么才能实现风险可控，当前还处在不断探索阶段。目前绝大多数的资料对于小微企业的分析侧重对小微企业的财务数据分析，如：财务数据、税务数据等，贷款调查确实离不开财务分析，财务分析是基础。但实际上，小微企业财务数据不健全、数据缺失、报表不规范是非常普遍的现象。
2024-03-28 10:43:58
767
原创 风控策略调优讲解及案例分析
目录1: 策略调优简介1.1: 什么是策略调优1.2: 策略调优应用场景1.3: 策略调优的分类1.4: 策略调优的主要步骤2: A类调优讲解2.1: 传统型调优2.2: 临时型调优2.3: A类调优案例3: D类调优讲解3.1: D类调优案例现将原知乎文章同步至本博客中：风控策略调优讲解及案例分析https://zhuanlan.zhihu.com/p/5041889021: 策略调优简介1.1: 什么是策略调优客户有生命周期，与客户
2022-05-03 20:48:27
1813
原创 贷前风控策略审批及决策引擎——策略审批架构搭建
本文是FAL量化风控全线条训练营的听课笔记，对此感兴趣的可以去关注FAL金科应用研究院的公众号、知乎、官网去了解相关内容。现将核心内容进行整理，补充一些自己的理解和总结，便于结合自己当前工作内容，提升认知。若对风控领域感兴趣，风控相关行业分析报告、论文、竞赛数据及代码可以私我，共同交流。知乎文章本文主要讲解贷前风控产品流程& 策略审批架构搭建 & 数据源及其相关注意事项。首先，什么是策略？可以实现目标的方案集合根据形势发展而指定的行动方针和斗争方法有斗争艺术，能注意方式方法
2022-04-23 09:59:01
2080
原创 基于Python实现的数据质量检查
1:应用场景 数据分析工程师 & 算法工程师主要工作流程大体可分为：数据获取 -> 数据分析 ->业务决策(通常算法工程师会多一项数据建模过程)。数据获取是前提，数据获取可以是通过数仓宽表进行多级关联得到的结构化数据，也可以是通过爬虫解析后获取的原始数据，后者可能未经过完整的ETL数据清洗过程，原始数据很可能存在空值、异常值、错误字符等情况。在整个纵向的工作流程中，如果使用的基础数据有问题，基于这些数据得到的产出都是低价值甚至可能得出错误的结论，G...
2022-04-06 20:07:21
4498
1
原创 2021书单总结
看了下时间，上次在CSDN上写博客是还是在年初，转眼都快一年过去了....，今年大部分时间都在极客专栏和Medium中阅读相关的专栏，进一步夯实计算机基础知识，此外还有各领域相关的算法&大数据应用方面的，以及一些其他思维认知读物等，在这里做个书单总结，一些比较好的，会安利一波.... 首先，我将书单分为4类，分别为：专业技术、行业总结、思维认知、其他读物，并附上推荐指数。分类 书名 推荐指数 专业技术 操作系统导论 * * * * * Eff...
2022-01-09 16:08:37
1005
原创 T-MGCN时间多图卷积网络用于交通流预测
论文：《Temporal Multi-Graph Convolutional Network for Traffic Flow Prediction》下载链接：链接：https://pan.baidu.com/s/1fiSaVRkdJ2ywB_8nufgMjw 提取码：y3hr2020年发表在IEEE Transaction on Intelligent Transpotation System上的一篇文，文中的一些多图构造逻辑及思路可以借鉴。1：摘要交通流预测在智能交通系统中扮...
2021-01-20 23:00:21
3025
8
原创 机器学习模型融合案例
模型融合目标：对于多种调参完成的模型进行模型融合完成对于多种模型的融合，提交融合结果1：内容介绍模型融合大体来说有如下的类型方式：1：简单加权融合:回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）分类：投票（Voting)综合：排序融合(Rank averaging)，log融合2：stacking/blending:构建多层模型，并利用预测结果再拟合预测3：boosting/bagging
2021-01-02 13:57:21
2537
原创 图论-路径优化算法总结
目录1：Dijkstra算法1.1：算法思想1.2：算法步骤1.3：代码演示1.4：算法实例1.4：算法优缺点2：A* 算法2.1：算法思想2.2：算法步骤2.3：Dijkstras算法与A*算法的比较3：Floyd算法3.1：算法思想3.2：算法步骤3.3：算法实例3.4：算法优缺点1：Dijkstra算法迪杰斯特拉（Dijkstra）算法是典型的最短路径的算法，用来求得从起始点到其他所有点最短路径（单源最短路径）。该算法采用了贪心的思想
2020-12-30 21:15:48
22508
原创 标签稀疏类别不平衡问题解决方案总结
1：定义类别不平衡（class-imbalance）是指分类任务中不同类别的训练样例数目差别很大的情况。在现实的分类任务中，我们会经常遇到类别不平衡的问题。一般来说，不平衡样本会导致训练模型侧重样本数目较多的类别，而“轻视”样本数目较少类别，这样模型在测试数据上的泛化能力就会受到影响。比如在金融反欺诈中，欺诈交易的应该是很少部分，绝大部分交易是正常的，这就是一个正常的类别不平衡问题，假设数据集中有99个正例样本，1个负例样本。在不考虑样本不平衡的很多情况下，学习算法会使分类器放弃负例预测，因为把所.
2020-12-19 11:48:30
4176
2
原创 图卷积神经网络5：图卷积的应用
备注：本篇博客摘自某培训机构上的图神经网络讲解的视频内容，该视频关于图神经网络入门讲解、经典算法的引入和优缺点的介绍比较详细，逻辑主线也比较清晰。因此记录分享下。前几篇介绍了谱域图卷积及空域图卷积：图卷积神经网络1-谱域卷积：拉普拉斯变换到谱域图卷积图卷积神经网络2-谱域卷积：SCNN/ChebNet/GCN的引入和介绍图卷积神经网络3-空域卷积：GNN/GraphSAGE/PGC的引入和介绍图卷积神经网络4-空域卷积：空域卷积局限性分析和过平滑解决方案本篇博客主要讲解图卷积神经网络
2020-12-06 12:56:04
8436
4
原创 图卷积神经网络4-空域卷积：空域卷积局限性分析和过平滑解决方案
备注：本篇博客摘自某培训机构上的图神经网络讲解的视频内容，该视频关于图神经网络入门讲解、经典算法的引入和优缺点的介绍比较详细，逻辑主线也比较清晰。因此记录分享下。目录1：图卷积神经网络回顾2：空域图卷积局限性分析3：过平滑问题的若干缓解方案4：总结1：图卷积神经网络回顾图卷积神经网络分类：上图列出的图卷积缺点，使得谱域图卷积不能实际使用，而造成这种缺点的原因是正交基，能不能找到另外的基来代替呢？下面来看通过切比雪夫公式来看：为什么使用切比雪...
2020-12-04 18:51:48
4300
6
原创 图卷积神经网络3-空域卷积：GNN/GraphSAGE/PGC的引入和介绍
备注：本篇博客摘自某培训机构上的图神经网络讲解的视频内容，该视频关于图神经网络入门讲解、经典算法的引入和优缺点的介绍比较详细，逻辑主线也比较清晰。因此记录分享下。1：简介1.1：回顾谱域卷积1.2：谱域图卷积的缺陷2：空域卷积模型2.1：GNNGNN回答卷积就是：固定数量领域节点排序后，与相同数量的卷积核参数相乘求和。这有点绕口，实际上就是说，GNN认为卷积分为两步，第一步构建领域，第二步对领域上的节点与卷积核参数进行内积操作（..
2020-12-04 18:48:37
4693
4
原创 图卷积神经网络2-谱域卷积：SCNN/ChebNet/GCN的引入和介绍
备注：本篇博客摘自某培训机构上的图神经网络讲解的视频内容，该视频关于图神经网络入门讲解、经典算法的引入和优缺点的介绍比较详细，逻辑主线也比较清晰。因此记录分享下。目录1：简介2：SCNN3：ChebNet4：GCNGCN特点5：总结5.1：图卷积实现思路5.2：谱域图卷积实现理论支撑5.3：经典图谱卷积上一篇文章链接：文章地址继续上一篇的图卷积推导过程：上面公式推导的结果就是谱域图卷积最终的公式，所有的谱域图卷积的原理就是这个公式，只是对滤波器 做.
2020-12-03 21:06:12
5580
2
原创 图卷积神经网络1-谱域图卷积：拉普拉斯变换到谱域图卷积
备注：本篇博客摘自某培训机构上的图神经网络讲解的视频内容，该视频关于图神经网络入门讲解、经典算法的引入和优缺点的介绍比较详细，逻辑主线也比较清晰。因此记录分享下。目录：图卷积近年发展图卷积简介2.1. 经典卷积神经网络的应用2.2. 经典卷积神经网络的局限2.3. 如何将卷积操作拓展到图结构数据中？谱域卷积3.1. 图谱卷积背景知识3.2. 图谱卷积的数学知识3.3. 图傅里叶变换3.4. 图傅里叶反变换3.5. 图傅里叶正变换3.6. 经典傅里叶变换与图傅里叶变换的对比3.
2020-11-29 11:51:52
6542
7
原创 Pytorch-基于GCN/GAT/Chebnet图神经网络实现的交通流预测(附代码)
Pytorch代码地址1:目录结构基于图神经网络实现的交通流量预测，主要包括：GCN、GAR、ChebNet算法。2:数据集信息数据来自美国的加利福尼亚州的洛杉矶市，CSV文件是关于节点的表示情况，一共有307个节点，npz文件是交通流量的文件，每5分钟输出节点数据信息。数据集信息：PEMS-04数据时间范围：2018.1.1—2018.2.28节点信息：共307个检测器，即Nodes数量为3073个特征：流量值，占有率，速度值。3:数据探索dataView.py 文件为数据可视
2020-11-29 11:50:01
25164
66
原创 T-GCN-时间图卷积网络交通速度中的预测
论文原始链接1:摘要实时准确的交通预测在智能交通系统中城市交通规划，交通管理和交通控制起着重要的作用和意义。然而，由于城市道路网络拓扑结构的约束和时间的动态变化规律，流量预测一直被认为是一个科学问题，即：空间依赖和时间依赖。为了捕获时空间依赖性，本文提出了T-GCN（temporal graph convolutional network），模型融合了图卷积网络(GCN)和门控递归单元(GRU)。GCN用于学习复杂的拓扑结构来捕获空间依赖关系，GRU用于学习交通数据的动态变化来捕获时间依赖关系。T-GC
2020-11-20 22:38:29
5463
6
原创 论文笔记：图卷积在智能交通中的应用综述
原始论文地址1：摘要和引言最近几年，深度学习在解决复杂问题已经取得较好的效果，并且利用多种深度学习技术的组合能够处理交通业务的很多问题，如处理时间、空间依赖关系。传统上，很多研究工作将交通网络建模为网格或者分段的结构化的形式，但是很多交通网络本质上是图的结构，非图结构建模会导致某些有用的空间信息的丢失。随着图神经网络 graph neural networks (GNNs)的提出和应用。交通领域中，构建基于图视角的深度学习框架也越来越多。本论文旨在对这些框架进行总结，提供一个全面、深入、细致、实用性强的
2020-11-13 19:56:30
1946
原创 百面机器学习06-概率图模型
01：概率图模型的联合概率分布场景描述概率图模型最为“精彩”的部分就是能够用简洁清晰的图示形式表达概率生成的关系 。而通过概率图还原真概率分布不仅是概率图模型最重要的功能，也是掌握概率图模型最重要的标准 。 本节考查面试者能否根据贝叶斯网络刊马尔可夫网络的概率图还原其联合概率分布知识点：概率图，贝叶斯网络，马尔可夫网络问题1：能否写出图 6.1 ( a ）中贝叶斯网络的联合概率分布？分析与解答由图可见，在给定 A 的条件下 B 相 C 是条件独立的，基于条件概率的定义可得P(C∣A,B)=P
2020-11-05 20:12:10
421
原创 百面机器学习05-非监督学习
01：K均值聚类支持向量机、逻辑回归、决策树等经典的机器学习算法主要用于分类问题，即根据一些已给定类别的样本，训练某种分类器，使得它能够对类别未知的样本进行分类。与分类问题不同，聚类是在事先并不知道任何样本类别标签的情况下，通过数据之间的内在关系把样本划分为若干类别，使得同类别样本之间的相似度高，不同类别之间的样本相似度低。图 5.1 是一个二维空间中样本聚类的示意图，图 5.1 ( a ) 展示了所有样本在空间中的分布，图 5.1 ( b\mathrm{b}b ) 展示了聚类的结果（不同颜色代表不同类别
2020-11-01 13:40:13
782
2
原创 百面机器学习04-降维
01：PCA最大方差理论在机器学习领域中 ，我们对原始数据进行特征提取，有时会得到 比较高维的特征向量 。 在这些向量所处的高维空间中 ， 包含很多的冗余和噪声 。 我们希望通过降维的方式来寻找数据内部的特性 ， 从而提升特征表达能力 ， 降低训练复杂度 。 主成分分析（ Principal Components Analys is, P CA ）作为降维中最经典的方法，至今已有 100 多年的历史，属于一种线性、非监督、全局的降维算法，是面试中经常被问到的问题 。知识点：PCA ，线性代数问题：如何
2020-10-17 22:41:53
436
原创 百面机器学习03-经典算法
01 支持向量机支持向量机 （Support Vector Machine, SVM）是众多监督学习万法中十分出色的一种，几乎所有讲述经典机器学习万洼的教材都会介绍 。 关于 SVM，流传着一个关于天使与魔鬼的故事 。传说魔鬼和天使玩了一个游戏 ， 魔鬼在桌上放了两种颜色的球，如图 3.1 所示 。 魔鬼让天使用一根木棍将它们分开 。 这对天使来说，似乎太容易了 。 天使不假思索地一摆，便完成了任务 2 如图 3.2 所示。魔鬼又加入了更多的球 。 随着球的增多，似乎奇的球不能再被原来的木棍正确分开 ，
2020-10-11 12:08:14
587
原创 百面机器学习02-模型评估
1：评估指标的局限性场景描述：在模型评估过程中，分类问题、排序问题、回归问题往往需要使用不同的指标进行评估 。在诸多的评估指标中，大部分指标只能片面地反映模型的一部分性能 。 如果不能合理地运用评估指标 ，不仅不能发现模型本身的闯题，而且会得出错误的结论。下面以 Hulu 的业务为背景 ，假想几个模型评估场景 3 看看大家能否触类旁通，发现模型评估指标的局限性。知识点：准确率（ Accuracy ），精确率（ Precision ），召回率（ Recall ），均万根误差(Root Mean Squa
2020-10-07 10:35:07
1517
4
原创 百面机器学习01-特征工程
1：特征归一化场景描述：为了消除数据特征之间的量纲影响，我们需要对特征进行归一化处理，使得不同指标之间具有可比性。例如，分析一个人的身高和体重对健康的影响，如果使用米（m ）和千克（kg）作为单位，那么身高特征会在 1.6 1.8m 的数值范围内，体重特征会在50 100kg 的范围内，分析出来的结果显然会倾向于数值差别比较大的体重特征。想要得到更为准确的结果，就需要进行特征归一化（Normalization）处理，使各指标处于同一数值量级，以便进行分析。问题1：为什么需要对数值类型的特征做 归一化?
2020-10-04 22:17:31
1403
2
原创 机器学习--分类变量编码方法
前言最近在Medium上看到一篇关于分类变量编码的方法概述，记录一下，主要讲述了除了One-Hot encoding 编码外，根据不同应用场景，也许会有更好的选择。one-hot 编码（one-hot encoding）类似于虚拟变量（dummy variables），是一种将分类变量转换为几个二进制列的方法。其中 1 代表某个输入属于该类别。从机器学习的角度来看，one-hot 编码并不是一种良好的分类变量编码方法。因为one-hot 编码增加了大量的维度，要枚举该特征下的所有取值情况。例如，如
2020-10-01 14:09:09
3039
原创 win7/win10离线安装Pytorch简易步骤
说明：网上很多教程讲述安装Pytorch的步骤较为繁琐，对新手不太友好，本文主要讲述在win7/win10环境下，离线安装Pytorch的教程，过程非常简单，并且速度也非常快，前后5分钟即可，前提是需要安装Anaconda，后续可以直接利用pip命令进行离线安装即可。备注：本教程安装的是CPU版本的Pytorch主要步骤1：加载阿里云pip镜像2：下载国内pytorch镜像包3：离线安装步骤1：加载阿里云pip镜像 第一步加载阿里云pip镜像，使其后续pip安装下载命令更快。首先在C盘Use
2020-09-06 16:47:12
3234
原创 论文笔记及Pytorch复现：A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction
论文地址GitHub代码地址论文题目为《基于双阶段注意力机制的循环神经网络》,文章本质上还是基于Seq2Seq的模型，结合了注意力机制实现的时间序列的预测方法，文章的一大亮点是：不仅在解码器的输入阶段引入注意力机制，还在编码器阶段引入注意力机制，编码器的阶段的注意力机制实现了特征选取和把握时序依赖关系的作用。分为两个阶段：第一阶段：使用注意力机制从而能够自适应提取每个时刻的特征，这是本文的最大亮点第二阶段：使用注意力机制选取与之相关的encoder hidden states1:模型架构图
2020-08-16 14:27:26
6480
16
原创 Pytorch-LSTM输入输出参数
1：Pytorch中的LSTM中输入输出参数nn.lstm是继承nn.RNNBase，初始化的定义如下：class RNNBase(Module): ... def __init__(self, mode, input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0., bidirectional=False):...
2020-08-01 20:32:27
6026
原创 CNN卷积核与通道讲解
CNN在图像和提取空间信息中有着广泛应用，本篇博客以图像解释为主，省去了CNN基础内容的概述，主要讲述单通道卷积核多通道卷积的详细过程，并以Pytorch代码示例。1：单通道卷积以单通道卷积为例，输入为（1,5,5），分别表示1个通道，宽为5，高为5。假设卷积核大小为3x3，padding=0，stride=1。卷积过程如下：相应的卷积核不断的在图像上进行遍历，最后得到3x3的卷积结果，结果如下：2：多通道卷积1以彩色图像为例，包含三个通道，分别表示RGB三原色的像素值.
2020-07-19 22:53:22
13441
7
原创 分布式计算原理之分布式协调与同步(1)——分布式选举
1：分布式选举的概念一般来说，集群有两个或两个以上的服务器组件而成，其中，每个服务器都是集群中的一个节点。对于一个节点来说，多个节点是如何做到协同工作？比如数据库集群，如何保证数据库写入集群在每个节点上都是一致的呢？即：在众多节点中，选举一个leader来管理和调度其他节点，而“选举”的过程在分布式领域中，就叫分布式选举。2：为什么要有分布式选举leader节点，也就是主节点，在一个分布式集群中负责对其他节点的协调和管理，也就是说，其他节点都必须听从主节点的安排。主节点的存在，就可以保证其他节点的有
2020-06-27 07:36:14
1371
2
原创 分布式计算原理之分布式协调与同步(1)——分布式事务
什么是分布式事务事务，其实是包含一系列操作的、一个有边界的工作序列，有明确的开始和结束标志，且要么被完全执行，要么完全失败，即 all or nothing。通常情况下，我们所说的事务指的都是本地事务，也就是在单机上的事务。而分布式事务，就是在分布式系统中运行的事务，由多个本地事务组合而成。在分布式场景下，对事务的处理操作可能来自不同的机器，甚至是来自不同的操作系统。文章开头提到的电商处理订单问题，就是典型的分布式事务。要深入理解分布式事务，首先需要了解它的特征。分布式事务是多个事务的组合，那么事务的
2020-06-26 10:19:03
1322
原创 分布式计算原理之分布式协调与同步(1)——分布式锁
1:什么是分布式锁在分布式互斥中，分布式互斥博客地址，讲述了同一时刻，同一个临界资源只能同一个进程访问，为了维护数据的一致性，防止分布式系统中的多个进程之间相互干扰，我们需要一种分布式协调技术（某种机制）来对这些进程进行调度，来保证只有满足某个条件的线程才能访问资源，不满足条件的线程只能等待，在下一轮竞争中重新满足条件时才能访问资源，这个分布式协调技术的核心就是来实现这个分布式锁。这部分的分布式协调技术（机制），指的是为了实现分布式互斥，在某个地方做个标记，每个线程都可以看到这个标记，当标记不存在时
2020-06-25 20:59:38
1509
原创 分布式计算原理之分布式协调与同步(1)——分布式互斥
1：什么是分布式互斥分布式进程常常需要协调他们的动作，如果一组进程共享一个或一组资源，那么访问这些资源时，需要互斥来防止干扰并保证一致性。在分布式系统里，这种排他性的资源访问方式，叫作分布式互斥（Distributed Mutual Exclusion），而这种被互斥访问的共享资源就叫作临界资源（Critical Resource）。2：互斥算法2.1 中央服务器算法中央服务器算法也叫集中式算法，上面提到的互斥机制，最简单的方法是使用一个服务器来授权访问临界资源的许可，该服务器充当 “协调者” 的
2020-06-15 22:01:01
2299
2
原创 XGBoost--切分点查找算法
1：前言：本篇博客省去了从树模型到GBDT，再到XGBoost的渐进演变逻辑过程和数学推导，主要讲述XGBoost在每轮训练生成新的树模型时，采取的切分点选择算法和相关数学证明。2：背景XGBoost在每轮训练生成新的树模型时，首先计算所有特征在所有切分点分裂前后的Obj_split，然后选取Obj_split最大特征及其切分点作为最优特征和最优切分点。XGBoost提供了多种最优特征和最优切分点的查找算法，统称为切分点查找算法。2.1：精确贪心算法XGBoost在生成新树的过程中国，最
2020-05-17 22:35:37
2470
1
原创 CNN & LSTM & Conv1D+LSTM 同一数据集预测案例分析
1：前言利用CNN、LSTM 和Conv1D+LSTM 分别对同一数据集进行预测分析，并用训练集和测试集比较结果；
2020-03-22 15:59:20
18576
48
原创 LSTM逻辑设计详细解读
1:前言2:目录2.1 RNN的介绍与应用于什么场景2.2 SimpleRNN的缺陷2.2 Standard RNN2.3 LSTM引出三个门控机制的原因和各个门控实现的机制2.4 各个门的激活函数2.5 LSTM实现的详细结构图2.6 参考文献及资料2.1:RNN的介绍与应用于什么场景在传统神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点...
2020-03-01 12:32:44
5109
1
原创 Spark高级算子：mapPartitionsWithIndex，aggregate，aggregateByKey
1：mapPartitionsWithIndex：对RDD中的每个分区（带有下标）进行操作，通过自己定义的一个函数来处理API文档：def mapPartitionsWithIndex[U](f: (Int, Iterator[T]) => Iterator[U])def mapPartitions[U](f: (Iterator[T]) ...
2019-08-17 12:56:24
6776
1
原创 Spark：RDD简介及基础算子
本文主要介绍Spark Core的核心内容：RDD。包含以下章节和对应的内容章节 内容 1 RDD简介 2 RDD分区 3 RDD的依赖关系 4 RDD的缓存机制和区别 5 RDD创建的两种方式 6 RDD算子和总结 7 RDD 算子操作案例 1、RDD简介RDD(Resilient Distribute...
2019-08-10 11:38:23
5472
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人