- 博客(23)
- 收藏
- 关注
RSS订阅原创 多种方法对建模数据做特征选择
特征选择和特征提取都属于降维，就是试图去减少特征数据集中的属性(或者称为特征)的数目，但是两者所采用的方式方法却不同。特征提取的方法主要是通过属性间的关系，如组合不同的属性得到新的属性，这样就改变了原来的特征空间。特征选择的方法是从原始特征数据集中选择出子集，是一种包含的关系，没有更改原始的特征空间。特征提取和特征选择都是从原始特征中找出最有效（同类样本的不变性、不同样本的鉴别性、对噪声的鲁棒性）的特征。...
2022-08-04 12:30:14
1109
1
原创 带马尔科夫切换的正向随机微分方程数值格式模拟
在现实世界中, 很多现象或模型都具有状态切换的特性, 用马尔科夫链刻画这一现象, 可以很好地解释不同条件下的随机切换，这导致马尔科夫切换的随机微分方程（SDEwMS）在最近几年的迅速发展。这种随机数学模型不仅能广泛运用于金融市场，而且在控制工程领域同样如此。然而这类模型的显式解是非常难求的，我们此篇文章主要是建立弱一阶Euler和Milstein格式来求解此类随机微分方程，想要了解更高解的弱格式，可以参考如下论文。1：马尔科夫链知识- 基础的跳和马尔科夫链知识在之前的“随机知识”相关文章中，我们详细提到了马
2022-06-19 15:40:55
674
1
原创 丰富的统计检验方法
丰富的统计检验方法前言一：假设检验的背景知识简介二：参数检验之 ttt 检验（主要用于样本含量较小（例如n<30n < 30n<30），总体标准差σσσ未知的正态分布）三：参数检验之 zzz 检验（主要用于大样本（例如n>30n > 30n>30），总体标准差σσσ已知的正态分布）四：参数检验之方差分析五：非参数检验之卡方检验六：非参数检验之Kruskal-Wallis检验七：非参数检验之K-S分布检验八：总结前言估计和检验是统计学上最常见的两种分析手段。参数估计主要
2022-05-13 10:52:01
1081
原创 基于统计和数值分析方法进行动态去除异常值
基于神经网络进行数据降维前言一：拟合方法原理介绍二：建立异常值检测步骤三：代码实现四：总结前言对于异常值的检验方法很多，针对不同数据集有不同的方法，比如3-sigm原则、聚类方法、箱线图观察法、自编码器观察法等等。本文将介绍一种对于大数据集的有效便捷的异常值检测法，即基于数值分析中拟合技术和统计方法来建立动态规则处理数据中的异常值。岁月如云，匪我思存，写作不易，望路过的朋友们点赞收藏加关注哈，在此表示感谢！一：拟合方法原理介绍拟合方法的由来我们知道，差值曲线必须通过已给的所有数据，这使得我
2022-04-23 11:21:58
1628
原创 基于神经网络进行数据降维
基于神经网络进行数据降维前言一：自编码器介绍二：常见神经网络简介三：基于BPNN的自编码降维实验四：基于CNN的自编码降维实验五：总结前言机器学习方法降维可以说非常多了，无论是线性还是非线性，而且各有各的优势存在。本篇文章主要是基于神经网络的自编码技术对数据进行降维，无论是一维特征构成的样本数据（只有长或者宽有数据）还是3维特征构成的数据（图像数据长、宽、高）等都可以通过自编码器进行数据降维。一：自编码器介绍我们简单介绍下什么叫自编码器自编码器（autoencoder, AE）是一类在半监督学
2022-04-05 10:43:20
5467
3
原创 多种期权知识点介绍与损益结构模拟
多种期权知识点介绍与损益结构模拟前言一：期权基础知识介绍二：期权定价理论简介期权定价要素三：普通香草期权的payoff组合四：障碍奇异期权的payoff五：总结前言期权是人们为了规避市场风险而创造出来的一种金融衍生工具（属于衍生品投资），理论和实践辨明，只要投资者合理地选择其手中证券和相应的衍生物比例，就可以获得无风险收益。期权这一类衍生品定价规则从上世纪70年代诞生出，为金融衍生市场提供了更大的繁荣与保证。本篇文章将先介绍些期权的各种基本知识，剩下主要是学习下多种期权的payoff知识以及模拟它们的
2022-03-09 15:58:32
16050
原创 基于Python实现通路富集模型
基于Python实现通路富集模型前言一：超几何分布介绍二：富集原理三：代码计算四：总结前言本文章主要涉及基因功能富集分析的原理解释，统计检验以及最终基于Python代码的整体逻辑实现。富集分析应该算生信里是最常用的分析方法之一了，很多做生信的都是基于R或者Spss等软件，所以这次想用Python来回顾每一步处理任务。一：超几何分布介绍超几何分布时一种离散型概率分布，也许中学就学过最经典的例子：假设一个袋子有10个球，其中红色球6个，白色球4个，那么我一次从袋子中抓取4个，请问这4个球中至少3个是红球
2022-02-18 16:19:58
441
原创 正向随机微分方程的经典数值格式模拟
正向随机微分方程的经典数值格式模拟前言前言随机微分方程的发展分支可以说到现在非常广泛了，从19世纪的布朗运动发现到上世纪40年代的伊藤积分再到正向伊藤随机微分方程解的存在唯一性定理，后又跨越到上世纪90年代的倒向随机微分方程解的存在唯一性定理发现，最后到近现在的带跳、带马尔科夫、带延迟等一系列正倒向随机微方程解的存在唯一性定理等发现，可以说体系越发广泛，这也是顺应时代发展的必然趋势。本篇文章将数值模拟经典下的正向随机微分方程数值格式的模拟，由于不是存粹数学研究，有些假设和定理和推导会简单概括，重点是计
2022-01-19 15:41:57
1129
1
原创 深度运用LSTM神经网络并与经典时序模型对比
时间序列分析之GARCH模型介绍与应用前言一：RNN神经网络底层逻辑介绍二：对于梯度消散（爆炸）的原理解释三：LSTM底层理论介绍sigmoid激活函数的意义四：建模预测存在“右偏移”怎么办！五：改进模型输出六：最终代码七：总结前言RNN（循环神经网络）是一种节点定向连接成环的人工神经网络。不同于前馈神经网络，RNN可以利用内部的记忆来处理任意时序的输入序列，即不仅学习当前时刻的信息，也会依赖之前的序列信息，所以在做语音识别、语言翻译等等有很大的优势。RNN现在变种很多，常用的如LSTM、Seq2Seq
2022-01-04 20:06:54
904
原创 时间序列分析之GARCH模型介绍与应用
时间序列分析之GARCH模型介绍与应用前言一：ARCH模型的相关性质二：ARCH实验过程三：GARCH模型的轮廓介绍四：GARCH实验过程五：总结前言在ARIMA模型中，我们一般假设干扰项的方差为常数，然而在很多情况下，时序波动的干扰项方差并不为常数。因此我们有必要刻画方差（波动率）这一特征来研究时序模型，本篇的（G）ARCH模型就是刻画随时间变化的方差模型。岁月如云，匪我思存，写作不易，望路过的朋友们点赞收藏加关注哈，在此表示感谢！一：ARCH模型的相关性质底层由来我们还是从AR(p)A
2021-12-19 22:34:45
14114
3
原创 ARIMA模型的定阶原理与建模分析
ARIMA模型的定阶原理与建模分析前言一：AR(p)(p)(p)模型的定阶原理前言ARIMA模型是很经典的自回归模型，这篇文章将全面的讲述ARIMA的建模步骤。从定阶原理解释到实际数据代码编写模型来进行回归预测。基于理论推导和代码编写一气呵成！岁月如云，匪我思存，写作不易，望路过的朋友们点赞收藏加关注哈，在此表示感谢！一：AR(p)(p)(p)模型的定阶原理AR模型是一个线性模型，p阶自回归模型的一般表达式为：xt=ϕ0+ϕ1xt−1+ϕ2xt−2+...+ϕpxt−p+εt(#)x_t=\ph
2021-12-08 17:09:26
6875
4
原创 时间序列分析的学习与应用（一）
时间序列分析的学习与应用（一）前言一：时间序列分析的一些基础性知识二：相关系数和自相关函数三：白噪声序列四：平稳性检验原理五：实现白噪声检验算法六：编写单位根检验算法七：总结前言接下来几篇的内容，我们系统的学习下时间序列模型相关内容，从自相关系数到检验统计量的解释，从ARIMA模型阶数截尾（拖尾）公式推导到GARCH模型的搭建等等的学习，并结合编写相关代码（或底层编写），最终应用于解决实际问题。这里大概会进行如下几个内容的学习基础知识的学习1.时序概念与平稳性介绍2.相关系数和自相关函数3
2021-12-01 14:15:32
1611
1
原创 NMF降维算法与聚类模型的综合运用
NMF降维算法与聚类模型的综合运用前言一：NMF算法二：NMF算法的使用三：NMF算法与层次聚类的综合使用四：总结前言这一章，我们讨论下另一个比较有效的降维手段：NMF（非负矩阵分解）。NMF降维理论的创建相比于经典的降维理论，略显“年轻”。我们接下来将详细介绍下NMF的原理以及在生产实践中的运算，结合代码和可视化图像来说明这些。岁月如云，匪我思存，写作不易，望路过的朋友们点赞收藏加关注哈，在此表示感谢！一：NMF算法NMF又叫非负矩阵分解，为什么是“非负”？因为非负数据往往在实际中才是有意义的数
2021-11-21 13:20:36
2586
2
原创 Pca，Kpca，TSNE降维非线性数据的效果展示与理论解释
Pca，Kpca，TSNE降维非线性数据的效果展示与理论解释前言一：几类降维技术的介绍二：主要介绍Kpca的实现步骤三：实验结果四：总结前言本文主要介绍运用机器学习中常见的降维技术对数据提取主成分后并观察降维效果。我们将会利用随机数据集并结合不同降维技术来比较它们之间的效果。降维技术可以说非常常见的有Pca、Kpca、TSNE、LDA、NMF、神经网络自编码技术等，也是各有各的特点，比较深入且工业上不怎么通用的有密度敏感鲁棒模糊核主成分分析算法（DRF-Kpca）等等，有兴趣的朋友可以查查此类相关文章。
2021-10-30 22:54:01
1193
1
原创 基于Python编写求解抛物型pde方程的经典数值格式模拟
基于Python编写求解抛物型pde方程的经典数值格式模拟前言一：一维热传导方程简介二：差分格式三：代码实现四：数值结果五：总结前言热方程的在很多领域都有所应用，熟知的在金融领域求解期权定价公式之Black-Scholes方程，就可以用数值格式求解此类方程，因为很多复杂的期权定价公式很难有显式解，数值方法在这方面就有很多优越性。本文将基于Python编写常见的三种数值格式来求解传统的初-边值一维热方程问题。岁月如云，匪我思存，写作不易，望路过的朋友们点赞收藏加关注哈，在此表示感谢！一：一维热传导方程
2021-10-15 14:01:01
1341
1
原创 聚类数目的多种确定方法与理论证明
聚类数目的多种确定方法与理论证明前言一：确定聚类中心数目的基础方法**二：方法修正**三：实验内容四：关于蒙特卡洛方法的有效性证明五：总结与展望前言上一篇文章我们主要是自己实现了kmeans++算法的底层逻辑，并用于实际数据来筛选异常值。之前也略微提到过，使用聚类模型有个很重要的步骤就是如何开始确定聚类中心的个数，这无论是划分聚类还是层次聚类等，都会涉及的问题，接下来我们就此问题展开讨论。岁月如云，匪我思存，写作不易，望路过的朋友们点赞收藏加关注哈，在此表示感谢！本人的知乎平台欢迎参观交流一：确
2021-10-05 12:16:02
4210
2
原创 底层实现K-means++算法并运用于寻找数据异常点
底层实现K-means++算法并运用于寻找数据异常点前言一：聚类算法的介绍二：实现K-means++算法三：基于K-means++算法进行数据异常值筛选四：总结前言本篇文章，我们基于自己定义的方法而非调用现成模块来解决运用整体维度的数据做异常点筛选问题，并最终对结果进行可视化展示。岁月如云，匪我思存，写作不易，望路过的朋友们点赞收藏加关注哈，在此表示感谢！一：聚类算法的介绍聚类算法大致介绍与分类算法不同，在没有给定划分类别的情况下，根据数据相似度进行样本分组的一种方法。根据原始样本的数据分布特
2021-09-25 20:34:54
525
原创 基于梯度下降算法自建一种短期有效的自回归模型
底层实现自回归移动模型的权重优化前言一：移动平均模型二：基于自适应滤波思想的权重优化三：代码实现四：实验分析五：总结与展望前言基于时间序列自回归预测模型还是比较多的，简单的有移动平均，灰色预测，AR等等，复杂的有ARIMA，GARCH、LSTM，TCN等等。自回归模型说白了就是“当下的自己”跟“过去的自己”建立回归模型来预测“未来的自己”，它不需要任何其它的自变量，是个易理解与易应用的模型。如果自回归模型想要好的预测效果，那么我们还是希望数据随时间变化是稳定的或缓慢变化的，或者呈周期性季节性变化的短期预
2021-09-17 22:49:57
234
原创 布朗运动过程、复合泊松过程及马尔科夫链的离散模拟
布朗运动过程、复合泊松过程及马尔科夫链的离散模拟前言一：布朗运动模拟二：泊松过程模拟三：复合泊松过程与补偿泊松过程四：离散马尔科夫链模拟五：总结前言本篇文章主要聊一聊常见的随机过程的模拟（暂不涉及机器学习数据挖掘等），随机过程的相关理论还是非常深奥的，比如带跳的多维伊藤公式，鞅表示定理，Mallivian微积分等等，这篇文章将暂只涉及浅显知识点的概括，重点是模拟这些常见的过程，望对有兴趣的朋友提供些帮助，望志同道合的朋友在一起多多交流。虽曰如云，匪我思存，写作不易，走过路过的朋友们，别忘了点赞收藏加
2021-09-02 19:34:01
1246
原创 进阶版拉依达准则（3sigm准则）的提出与应用
异常点对数据特征提取的影响前言一：基于实验说明异常点对模型结果的影响二：异常点的判定三：修正版拉依达准则（3σ准则）四：理论验证五：代码实现六：总结前言在前两次文章中，我们都提到异常点对此特征提取方法（模型）是有一定影响的，为了加强模型的鲁棒性（稳健性），对异常点处理是必不可少的。本文就从浅显案例说明异常点如何在实际中影响模型结果，以及如何处理异常点。PS：欢迎各位朋友与鄙人多多交流，多多关注，鄙人从2021/7/25日起，如没有特殊原因的话会1-2周左右更新一篇文章，写文章目的仅为了多认识新朋友，
2021-08-08 19:15:16
2904
5
原创 多分类情况下的便捷有效特征提取方法的推广
基于模型验证特征提取的有效性以及多分类情况下特征提取方法的推广前言一：基于回归模型验证特征提取的有效性新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入前言在上一篇文章结尾我们提到过：如何将基于距离运算的简便有效特征提取方
2021-08-07 09:50:54
365
原创 无监督学习下的便捷有效特征提取手段
无监督学习下的便捷有效特征提取手段
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人