- 博客(53)
- 收藏
- 关注
RSS订阅原创 Meta Learning-MAML & Life Long Learning
Meta LearningOmniglot – Few-shot ClassificationMAMLReptileElastic Weight Consolidation (EWC)Gradient Episodic Memory (GEM)
2021-02-22 19:52:00
137
原创 Generative Adversarial Network（2）
Maximum Likelihood EstimationMaximum Likelihood Estimation = Minimize KL DivergenceDiscriminatorAlgorithm
2021-02-21 22:20:15
134
原创 Generative Adversarial Network
Basic Idea of GANGenerator v.s. DiscriminatorStructured LearningStructured Learning ApproachDiscriminatorDiscriminator - TrainingGenerator v.s. DiscriminatorGenerator + DiscriminatorBenefit of GAN
2021-02-21 19:02:00
154
原创 Anomaly Detection
GMM (Gaussian Mixture Model)1-dim Gaussian Mixtures:2-dim Gaussian:N-dim Gaussian Mixtures:Typical GANsGMGAN (Gaussian Mixture GAN)
2021-02-21 16:06:50
177
原创 Network Compression
Network PruningNetwork Pruning - Practical IssueParameter QuantizationBinary Weights
2021-02-20 16:24:41
116
原创 Attack and Defense
Loss Function for AttackconstraintHow to AttackDefensePassive DefenseProactive Defense
2021-02-20 10:25:19
56
原创 Explainable ML
Myth of Explainable MLInterpretable v.s. PowerfulBasic IdeaConstraint from GeneratorUsing a model to explain anotherLIME-Image
2021-02-19 21:55:50
59
原创 ELMO，BERT，GPT
Embeddings from Language Model (ELMO)ELMOBidirectional Encoder Representations from Transformers (BERT)Training of BERTMultilingual BERTGenerative Pre-Training (GPT)
2021-02-19 10:23:13
69
原创 Graph Neural Networks
GNN 结构框图GNN应用例子GNN RoadmapSpatial-based ConvolutionNN4G (Neural Networks for Graph)DCNN (Diffusion-Convolution Neural Network )MoNET (Mixture Model Networks)GAT (Graph Attention Networks)GIN (Graph Isomorphism Network)Graph GenerationG
2021-02-05 20:41:06
90
原创 Optimization for Deep Learning
On-line vs Off-lineSGD with MomentumAdagradRMSPropAdamAdam vs SGDM
2021-02-04 20:30:37
72
原创 Regression & Basic Concept
RegressionGoodness of FunctionGradient DescentBasic ConceptBias and Variance of EstimatorBiasBias v.s. Variance
2021-02-04 14:41:04
65
原创 Recurrent Neural Network
Recurrent Neural Network (RNN)Deep learning for RNNLong Short-term Memory (LSTM)RNN训练特性：LSTM特性
2021-02-03 21:33:33
68
原创 Structured Learning - Structured
Structured LearningUnified FrameworkUnified Framework - Object DetectionStructured Linear ModelAssumption: SeparableStructured Support Vector MachineCutting Plane AlgorithmBeyond Structed SVM
2021-02-03 13:51:28
90
原创 Transfer Learning and Support Vector Machine(SVM)
Transfer LearningTransfer Learning - OverviewModel Fine-tuningConservative TrainingLayer TransferMultitask LearningMultilingual Speech RecognitionTask descriptionDomain-adversarial trainingZero-shot LearningSupport Vector MachineBin
2021-02-03 00:27:13
119
原创 Unsupervised Learning: Deep Auto-encoder
Auto-encoderDe-noising auto-encodeCNN-DeconvolutionUnsupervised Learning: GenerationGenerative Models:Component-by-component;Autoencoder;Generative Adversarial Network(GAN)Image generation示意图 Review: Auto-encoder：Auto-encoder：Gaussian Mixtu
2021-02-02 21:24:54
69
原创 机器学习之非监督学习
Locally Linear EmbeddingLaplacian EigenmapsT-distributed Stochastic Neighbor Embedding (t-SNE)t-SNE –Similarity Measure
2021-02-02 17:18:05
68
原创 深度学习和半监督学习
深度学习中多神经网络层数效果不同层次的训练效果对比：深度模型示意图：图像应用例子：语音模型化例子：半监督学习方法总结监督通用模型：半监督生成模型：Self-training：半监督学习SVMSmoothness Assumption...
2021-02-02 11:50:39
268
原创 深度学习之卷积神经网络
卷积神经网络在图像上应用原因：CNN整体架构CNN中ConvolutionCNN在彩色图像应用CNN中Max Pooling
2021-02-01 22:29:00
59
原创 深度学习之logistic回归
logistic回归函数式：logistic回归梯度下降logistic回归最佳参数选择：多分类问题：logistic局限性
2021-01-30 10:41:38
128
原创 深度学习基础梯度下降
梯度下降梯度下降变化过程：学习率自适应学习率样例：StochasticGradient DescentFeature Scaling
2021-01-29 22:12:30
31
原创 深度学习系列1
一、机器学习介绍机器学习和人工智能，深度学习图例：机器学习应用案例：机器学习学习框图：二、机器学习之回归回归步骤总结：Model——Goodness of Function ——BestFunction——Gradient DescentGoodness of Function图解案例：Gradient Descent案例图片：...
2021-01-29 13:58:41
39
原创 TensorFlow使用案例
一、TensorFlow-word2vec连续词袋模型（CBOW）：根据词的上下文词汇来预测目标词汇，例如上下文词汇是“今天早餐吃__”，要预测的目标词汇可能是“面包“；Skip-Gram模型：Skip-Gram模型刚好和CBOW相反，它是通过目标词汇来预测上下文词汇。例如目标词汇是“早餐”，上下文词汇可能是“今天”和“吃面包”：Word2vec模型训练Word2vec模型我们通常可以选择使用噪声对比估计（Noise Contrastive Estimation）：NCE使用的方法是把上下文
2021-01-28 12:24:36
640
原创 TensorFlow多任务学习以及验证码识别
一、TensorFlow多任务学习Multi-task Learning交替训练示意图：Multi-task Learning – 联合训练示意图：二、TensorFlow验证码识别验证码生成代码示例：# 验证码生成库from captcha.image import ImageCaptcha # pip install captchaimport numpy as npfrom PIL import Imageimport randomimport sys number =
2021-01-27 20:13:25
143
原创 TensorFlow卷积、递归神经网络以及模型保存、载入
一、卷积神经网络和递归神经网络卷积神经网络CNN：CNN通过感受野和权值共享减少了神经网络需要训练的参数个数；关于卷积的操作：关于池化的操作：递归神经网络：递归神经网络结构图：二、Tensorflow卷积神经网络和递归神经网络代码样例卷积神经网络样例：import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets('
2021-01-26 23:02:53
359
原创 TensorFlow优化器以及结构可视化
一、TensorFlow交叉熵学习交叉熵代价函数：神经网络一般以交叉熵为代价函数，TensorFlow代码样例如下：loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))在这里插入代码片神经网络，TensorFlow多层神经网络定义样例：#创建一个简单的神经网络W1 = tf.Variable(tf.truncated_normal([784,500],stddev
2021-01-23 19:16:39
113
原创 TensorFlow深度学习1
一、TensorFlow 安装过程Anaconda 安装指导（参考文章）：https://blog.csdn.net/tqlisno1/article/details/108908775Tensorflow 安装：目前在Anaconda安装有两种方式：在Anaconda新建env安装tensorflow;直接在Anaconda目录下安装。目前主要指导文章大都是新建env 安装tensorflow,新建env安装参考指导：https://blog.csdn.net/hitzijiyingcai/arti
2021-01-22 18:22:52
107
1
原创 机器学习之隐马尔科夫模型
一、隐马尔科夫模型隐马尔科夫模型定义：隐马尔科夫模型随机生成的状态随机序列，称为状态序列；每个状态生成一个观测，由此产生的观测随机序列，称为观测序列；HMM是关于时序的概率模型，描述由一个隐藏的马尔科夫链生成不可观测的状态随机序列，再由各个状态生成观测随机序列的过程；隐马尔科夫模型(HMM, Hidden Markov Model)可用标注问题，在语音识别、NLP、生物信息、模式识别等领域被实践证明是有效的算法。HMM确定：HMM由初始概率分布π、状态转移概率分布A以及观测概率分布B确定：H
2020-11-27 23:07:29
124
原创 机器学习之主题模型实践
一、LDA实现和库函数总结LDA-C：David Blei，C实现，VBEM参数估计：http://www.cs.princeton.edu/~blei/lda-c/index.htmlGibbsLDA++/JGibbLDA ：C/C++实现/Java实现：http://gibbslda.sourceforge.net/http://jgibblda.sourceforge.netScikit-learn： sklearn.decomposition.LatentDirichletAlloca
2020-11-27 01:27:47
119
原创 机器学习之主题模型
一、主题模型基础相关分布Beta分布：Beta分布期望求解共轭先验分布Dirichlet分布：Dirichlet分布的期望对称Dirichlet分布二、LDA模型LDA模型解释样例图LDA解释：共有m篇文章，一共涉及了K个主题；每篇文章(长度为N m )都有各自的主题分布，主题分布是多项分布，该多项分布的参数服从Dirichlet分布，该Dirichlet分布的参数为α；每个主题都有各自的词分布，词分布为多项分布，该多项分布的参数服从Dirichlet分布，该Diric
2020-11-26 22:49:21
190
原创 机器学习之贝叶斯网络实践（举例）
一、贝叶斯算法推导相关朴素贝叶斯的假设：一个特征出现的概率，与其他特征(条件)独立(特征独立性)，即对于给定分类的条件下，特征独立；每个特征同等重要(特征均衡性)朴素贝叶斯的推导：朴素贝叶斯(Naive Bayes，NB)是基于“特征之间是独立的”这一朴素假设，应用贝叶斯定理的监督学习算法；对于给定的特征向量：类别y的概率可以根据贝叶斯公式得到：使用朴素的独立性假设：高斯朴素贝叶斯：多项分布朴素贝叶斯 Multinomial Naive Bayes拉普拉斯平滑：二、代
2020-11-25 23:20:31
1668
原创 机器学习之贝叶斯网络
一、相关概念相对熵定义：互信息： 两个随机变量X，Y的互信息，定义为X，Y的联合分布和独立分布乘积的相对熵信息增益信息增益表示得知特征A的信息而使得类X的信息的不确定性减少的程度信息增益定义：定义：特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即：显然，这即为训练数据集D和特征A的互信息。概率相关公式：二、贝叶斯网络 贝叶斯网络(Bayesian Network)，又称有向无环图模型(directed a
2020-11-25 20:23:24
303
原创 机器学习之EM（代码实践）
一、EM算法调参GMM调参：spherical、diag、tied和fullBIC和AIC：记：L为某模型下样本的似然函数值，k为模型中未知参数的个数(维度)，n为样本个数，则AIC和BIC分别为：二、EM相关代码示例GMM导入：from sklearn.mixture import GaussianMixture高斯分布构造： mu1_fact = (0, 0, 0) cov1_fact = np.diag((1, 2, 3)) data1 = np.rando
2020-11-17 01:06:00
320
原创 机器学习之EM算法
一、EM算法理解基础Jensen不等式：若 则若则由此可得：相关问题：随机变量无法直接（完全）观察到：随机挑选10000位志愿者，测量他们的身高，若样本中存在男性和女性，身高分别服从N(μ 1 ,σ 1 )和N(μ 2 ,σ 2 )的分布，试估计μ 1 ,σ 1 ,μ 2 ,σ 2理解猜测GMM的参数估计：随机变量X是有K个高斯分布混合而成，取各个高斯分布的概率为π 1 π 2 … π K ，第i个高斯分布的均值为μ i ，方差为Σ i 。若观测到随机变量X的
2020-11-16 21:05:25
122
原创 机器学习之聚类（二）
一、层次聚类算法 层次聚类方法对给定的数据集进行层次的分解，直到某种条件满足为止。具体又可分为： 凝聚的层次聚类：AGNES算法： 一种自底向上的策略，首先将每个对象作为一个簇，然 后合并这些原子簇为越来越大的簇，直到某个终结条件被满足； 分裂的层次聚类：DIANA算法：采用自顶向下的策略，它首先将所有对象臵于一个簇中，然后逐渐细分为越来越小的簇，直到达到了某个终结条件； AGNES：最初将每个对象作为一个簇，然后这些簇根据某些准则被一步步地合并。两个簇间的距离由这两个不同
2020-11-15 22:36:48
162
原创 机器学习之聚类（一）
一、聚类定义聚类定义：聚类是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小；一种无监督学习相似度计算方法总结：余弦相似度与Pearson相似系数：相关系数即将x、y坐标向量各自平移到原点后的夹角余弦；也可以说明文档间求距离使用夹角余弦——物理量表征了文档去均值化后的随机向量间相关系数；聚类的基本思想：二、k-Means算法k-Means算法定义：k-means分类数据过程样例图：k-Means公式化解释：
2020-11-15 14:31:51
133
原创 机器学习之SVM（核函数和实践）
一、SVM之核函数 在实践问题中，可以使用核函数，将原始输入空间映射到新的特征空间，从而，使得原本线性不可分的样本可能在核空间可分： 常用核函数总结：多项式核函数变化：高斯核函数映射示意图：高斯核函数映射示意图：二、SVM实践：sklearn SVM ：from sklearn import svm；SVM 使用示例：clf = svm.SVC(C=0.1, kernel='linear', decision_function_shape='ovr')cl svm.SVC(
2020-11-14 23:54:30
295
原创 机器学习之SVM
一、线性可分支持向量机二维平面线性可分样例图：分割超平面理解：线性可分支持向量机：给定线性可分训练数据集，通过间隔最大化得到的分离超平面为：相应的分类决策函数：该决策函数称为线性可分支持向量机；符号定义：目标函数定义：继而可得出目标函数为：二、支持向量机的推导过程函数间隔和几何间隔：目标函建立：继而依次可以得出：拉格朗日乘子法：对参数w和b求偏导可得如下：对目标函数添加负号可得：线性可分支持向量机学习算法：三、线性支持向量机增加松弛因子数
2020-11-14 18:17:33
111
原创 机器学习实践之提升
一、XGBoost实践以及学习网站XGBoost：XGBoost官网：https://xgboost.readthedocs.io/en/latest/代码：https://github.com/dmlc/xgboost/Kaggle简介：数据清洗：二、样例代码是：数据处理样例代码： 性别data['Sex'] = data['Sex'].map({'female': 0, 'male': 1}).astype(int) 补齐船票价格缺失值if len(data.Fare[data
2020-10-28 22:26:57
117
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人