- 博客(55)
- 收藏
- 关注
RSS订阅转载 深度神经网络（DNN）的正则化
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6472666.html前言 和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，这里我们就对DNN的正则化方法做一个总结。1. DNN的L1&L2正则化 想到正则化，我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似，这...
2019-11-05 11:03:52
344
转载 深度神经网络（DNN）损失函数和激活函数的选择
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6437495.html前言 在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。里面使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？下面我们就对D...
2019-11-05 10:18:58
365
转载 深度神经网络（DNN）反向传播算法(BP)
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6422831.html前言 在深度神经网络（DNN）模型与前向传播算法中，我们对DNN的模型和前向传播算法做了总结，这里我们更进一步，对DNN的反向传播算法（Back Propagation，BP）做一个总结。1. DNN反向传播算法要解决的问题 在了解DNN的反向...
2019-11-04 22:14:24
913
转载 深度神经网络（DNN）模型与前向传播算法
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6418668.html前言 深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN的模型与前向传播算法做一个总结。1. 从感知机到神经网络 在感知机原理小结中，我们介绍...
2019-11-04 18:52:26
235
原创 VSCode 配置C/C++，以及个人配置
VSCode 配置C/C++以下是我的个人习惯，简单的使用c++足够了1. 安装MinGW1）建议从这里下载 MinGW2）添加环境变量：Path，I:\Study Tools\C\mingw64\bin;2. 安装vscode1）下载 vscode2）下载几个扩展 / 插件（Chinese，C/C++，Code Runner）, 分布复制上面3个关键词搜索，直接下载第一条。...
2019-10-12 21:07:13
312
原创 c++ 新建文件 - 中文文件名
c++ 新建文件，中文文件名参考：https://bbs.csdn.net/topics/330096275?list=6139239#include <fstream>#include <iostream>using namespace std;int main() { string s; ofstream f; while (getli...
2019-10-06 20:22:10
1230
转载 Java 开发环境配置
Windows 上安装Java开发环境参考菜鸟教程1. 下载JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.htmlhttp://eclipse.bluemix.net/packages/2019-06/?INSTALLER-WIN642. 配置环境变量右键计算机 (属性) - 左键高级系统设置...
2019-09-25 12:48:09
89
转载 XGBoost算法原理小结
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/10979808.html前言 在之前作过梯度提升树(GBDT)原理小结，但是对GBDT的算法库XGBoost没有单独拿出来分析。虽然XGBoost是GBDT的一种高效实现，但是里面也加入了很多独有的思路和方法，值得单独讲一讲。因此讨论的时候，我会重点分析和GBDT不同的地...
2019-09-18 10:54:55
461
转载 异常点检测算法小结
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/9314198.html前言 异常点检测，有时也叫离群点检测，英文一般叫做Novelty Detection或者Outlier Detection,是比较常见的一类非监督学习算法，这里就对异常点检测算法做一个总结。1. 异常点检测算法使用场景 什么时候我们需要异常点检...
2019-09-18 09:00:27
1263
转载 贝叶斯个性化排序(BPR)算法小结
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/9128682.html前言 在矩阵分解在协同过滤推荐算法中的应用中，我们讨论过像funkSVD之类的矩阵分解方法如何用于推荐。今天我们讲另一种在实际产品中用的比较多的推荐算法:贝叶斯个性化排序(Bayesian Personalized Ranking, 以下简称BPR)...
2019-09-17 22:15:50
798
转载 EM算法原理总结
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6912636.html前言 EM算法也称期望最大化（Expectation-Maximum,简称EM）算法，它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）， LDA主题模型的变分推断等等。本文就对EM算法的原理做一个总结。1. EM算法要...
2019-09-17 21:05:36
322
转载 分解机(Factorization Machines)推荐算法原理
我只是一名搬运工，以下内容来自：皮果提peghoty https://blog.csdn.net/peghoty/article/details/40534885( 1 )( 2 )( 3 )( 4 )( 5 )( 6 )( 7 )( 8 )( 9 )( 10 )Pinard注：上面最后一句话应该是"而gθ(x)则利用yˆ(x)−θhθ(x)来计算"( 1...
2019-09-10 11:08:39
227
转载 SimRank协同过滤推荐算法
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6362647.html前言 在协同过滤推荐算法总结中，我们讲到了用图模型做协同过滤的方法，包括SimRank系列算法和马尔科夫链系列算法。现在我们就对SimRank算法在推荐系统的应用做一个总结。1. SimRank推荐算法的图论基础 SimRank是基于图论的，如...
2019-09-10 10:17:39
859
转载 矩阵分解在协同过滤推荐算法中的应用
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6351319.html前言 在协同过滤推荐算法总结中，我们讲到了用矩阵分解做协同过滤是广泛使用的方法，这里就对矩阵分解在协同过滤推荐算法中的应用做一个总结。1. 矩阵分解用于推荐算法要解决的问题 在推荐系统中，我们常常遇到的问题是这样的，我们有很多用户和物品，也有少...
2019-09-09 22:14:30
360
转载 协同过滤推荐算法总结
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6349233.html前言推荐算法具有非常多的应用场景和商业价值，因此对推荐算法值得好好研究。推荐算法种类很多，但是目前应用最广泛的应该是协同过滤类别的推荐算法，本文就对协同过滤类别的推荐算法做一个概括总结，后续也会对一些典型的协同过滤推荐算法做原理总结。推荐算法概述...
2019-09-09 21:35:19
4107
转载 PrefixSpan算法原理总结
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6323182.html1. 前言 前面我们讲到频繁项集挖掘的关联算法Apriori和FP Tree。这两个算法都是挖掘频繁项集的。而今天我们要介绍的PrefixSpan算法也是关联算法，但是它是挖掘频繁序列模式的，因此要解决的问题目标稍有不同。2. 项集数据和序列数据...
2019-09-08 12:43:48
474
转载 FP Tree算法原理总结
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6307064.html1. 前言 在Apriori算法原理总结中，我们对Apriori算法的原理做了总结。作为一个挖掘频繁项集的算法，Apriori算法需要多次扫描数据，I/O是很大的瓶颈。为了解决这个问题，FP Tree算法（也称FP Growth算法）采用了一些技巧，...
2019-09-08 10:13:51
246
转载 Apriori算法原理总结
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6293298.html1.前言 Apriori算法是常用的用于挖掘出数据关联规则的算法，它用来找出数据值中频繁出现的数据集合，找出这些集合的模式有助于我们做一些决策。比如在常见的超市购物数据集，或者电商的网购数据集中，如果我们找到了频繁出现的数据集，那么对于超市，我们可以...
2019-09-07 21:16:22
682
转载 典型关联分析(CCA)原理总结
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6288716.html1. 前言 典型关联分析(Canonical Correlation Analysis，以下简称CCA)是最常用的挖掘数据关联关系的算法之一。比如我们拿到两组数据，第一组是人身高和体重的数据，第二组是对应的跑步能力和跳远能力的数据。那么我们能不能说这...
2019-09-07 20:07:38
2587
转载 局部线性嵌入(LLE)原理总结
我只是一名搬运工，以下内容来自：刘建平Pinard https://www.cnblogs.com/pinard/p/6266408.html1. 前言 局部线性嵌入(Locally Linear Embedding，以下简称LLE)也是非常重要的降维方法。和传统的PCA，LDA等关注样本方差的降维方法相比，LLE关注于降维时保持样本局部的线性特征，由于LLE在降维时保持了样本的局部特征，...
2019-09-06 10:25:27
3131
转载 奇异值分解(SVD)原理与在降维中的应用
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6251584.html1. 前言 奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD...
2019-09-05 23:25:36
369
转载 线性判别分析LDA原理总结
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6244265.html在主成分分析（PCA）原理总结中，我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像...
2019-09-05 20:53:51
227
转载 主成分分析（PCA）原理总结
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6239403.html1. 前言 主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做一...
2019-09-04 23:40:08
568
转载 谱聚类（spectral clustering）原理总结
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6221564.html1. 前言 谱聚类（spectral clustering）是广泛使用的聚类算法，比起传统的K-Means算法，谱聚类对数据分布的适应性更强，聚类效果也很优秀，同时聚类的计算量也小很多，更加难能可贵的是实现起来也不复杂。在处理实际的聚类问题时，个人认...
2019-09-04 18:42:54
807
转载 DBSCAN密度聚类算法
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6208966.html1. 前言 DBSCAN(Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法)是一种很典型的密度聚类算法，和K-Means，BIRCH这些一般只适用于凸...
2019-09-03 16:41:11
155
转载 BIRCH聚类算法原理
1. 前言 在K-Means聚类算法原理中，我们讲到了K-Means和Mini Batch K-Means的聚类原理。这里我们再来看看另外一种常见的聚类算法BIRCH。BIRCH算法比较适合于数据量大，类别数K也比较多的情况。它运行速度很快，只需要单遍扫描数据集就能进行聚类，当然需要用到一些技巧，下面我们就对BIRCH算法做一个总结。2. BIRCH概述 BIRCH的全称是利用层次方法的...
2019-09-03 15:39:59
3037
转载 K-Means聚类算法原理
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6164214.html1. 背景 K-Means算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。K-Means算法有大量的变体，本文就从最传统的K-Means算法讲起，在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++...
2019-09-02 16:00:44
570
1
转载 梯度提升树(GBDT)原理小结
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6140514.html1. 背景 在集成学习之Adaboost算法原理小结中，我们对Boosting家族的Adaboost算法做了总结，本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBD...
2019-09-01 21:15:29
502
转载 集成学习之Adaboost算法原理小结
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6133937.html1. 背景 在集成学习原理小结中，我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，另一类是个体学习器之间不存在强依赖关系。前者的代表算法就是是boosting系列算法。在boosting系列算法...
2019-06-16 18:02:36
815
转载 集成学习原理小结
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6131423.html1. 背景 集成学习(ensemble learning)可以说是现在非常火爆的机器学习方法了。它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的“博采众长”。集成学习可以用于分类问题集成，回归问题集成...
2019-06-16 13:15:26
378
转载 支持向量机原理(五)线性支持回归
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard1. 背景 在前四篇里面我们讲到了SVM的线性分类和非线性分类，以及在分类时用到的算法。这些都关注与SVM的分类问题。实际上SVM也可以用于回归模型，本篇就对如何将SVM用于回归模型做一个总结。重点关注SVM分类和SVM回归的相同点与不同点。2. SVM回归模型的损失函数度量...
2019-06-14 10:50:36
296
转载 支持向量机原理(四)SMO算法原理
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6111471.html1. 背景 在SVM的前三篇里，我们优化的目标函数最终都是一个关于α\alphaα向量的函数。而怎么极小化这个函数，求出对应的α\alphaα向量，进而求出分离超平面我们没有讲。本篇就对优化这个关于α\alphaα向量的函数的SMO算法做一个总结。...
2019-06-12 15:54:54
333
1
转载 支持向量机原理(三)线性不可分支持向量机与核函数
1. 背景 在前面两篇我们讲到了线性可分SVM的硬间隔最大化和软间隔最大化的算法，它们对线性可分的数据有很好的处理，但是对完全线性不可分的数据没有办法。本文我们就来探讨SVM如何处理线性不可分的数据，重点讲述核函数在SVM中处理线性不可分数据的作用。2. 回顾多项式回归 在线性回归原理小结中，我们讲到了如何将多项式回归转化为线性回归。 比如一个只有两个特征的p次方多项式回归的模型：...
2019-06-12 09:23:07
925
转载 支持向量机原理(二) 线性支持向量机的软间隔最大化模型
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6097604.html1. 背景 在支持向量机原理(一) 线性支持向量机中，我们对线性可分SVM的模型和损失函数优化做了总结。最后我们提到了有时候不能线性可分的原因是线性数据集里面多了少量的异常点，由于这些异常点导致了数据集不能线性可分，本篇就对线性支持向量机如何处理这些...
2019-06-11 20:56:15
483
转载 支持向量机原理(一) 线性支持向量机
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6097604.html***1. 背景 支持向量机(Support Vecor Machine,以下简称SVM)虽然诞生只有短短的二十多年，但是自一诞生便由于它良好的分类性能席卷了机器学习领域，并牢牢压制了神经网络领域好多年。如果不考虑集成学习的算法，不考虑特定的训练数据集...
2019-06-10 20:35:13
583
转载 最大熵模型原理小结
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6093948.html1. 背景 最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中...
2019-06-10 15:22:31
974
转载 朴素贝叶斯算法原理小结
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6069267.html1. 背景 在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法，比如决策树,KNN,逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数Y=f(X),要么是条件...
2019-06-09 21:38:31
2000
转载 K近邻法(KNN)原理小结
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6061661.html1. 背景 K近邻法(k-nearest neighbors,KNN)是一种很基本的机器学习方法了，在我们平常的生活中也会不自主的应用。比如，我们判断一个人的人品，只需要观察他来往最密切的几个人的人品好坏就可以得出了。这里就运用了KNN的思想。KNN...
2019-06-09 11:08:13
1013
转载 决策树算法原理(下) - CART
我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/6053344.html1. 背景 在决策树算法原理(上)这篇里，我们讲到了决策树里ID3算法，和ID3算法的改进版C4.5算法。对于C4.5算法，我们也提到了它的不足，比如模型是用较为复杂的熵来度量，使用了相对较为复杂的多叉树，只能处理分类不能处理回归等。对于这些问题，C...
2019-06-08 16:18:45
365
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人