Vinicier-CSDN博客

原创初探统计语言模型

1. 绪论前面我们已经提到，20世纪50-70年自然语言处理（NLP）的研究方法是通过句法分析和语义分析这种基于规则的方式来处理NLP 问题，目的是想让计算机模拟像人一样思考的方式，让计算机理解自然语言。但是经过二十多年的探索研究表明，基于规则的方式处理极简单的句子还行，但是稍微复杂一些的数据复杂度呈指数级增大，基于规则的自然语言处理方式无法应用到实际问题中。而自然语言从它产生开始，逐渐演

2017-12-03 14:22:34 621

图像语义分割图像语义分割（Image semantic segmentation）1. N-cut 方法N-cut(Normalized cut): 早期一种图划分方法，它的思想主要是通过像素和像素之间的关系权重来综合考虑，根据给出的阈值，将图像一分为二。将像素信息简单描述为距离差，根据距离差来划分图像示例如下图：在实际运用中，每运行一次 N-cut，只能切割一次图片，为了分割出图像上的多个物体，

2017-11-15 16:30:11 2112 1

原创卷积神经网络（CNN）学习笔记

卷积神经网络（CNN）Keywords：常用网络：LeNet5 、AlexNet VGGNet、 GoogleNet、 ResNet、DenseNetfilter sizestripepadding参数共享机制fine tuning输入层、卷积层、激励层、池化层、全连接层、Softmax 输出层一般CNN结构依次为：一个CNN 层级结构示意图：卷积层：一组固定的权重和不同窗口内数据做内积，就是卷积。

2017-11-10 15:38:02 1362

原创梯度下降法与反向传播

梯度下降法与反向传播主要内容：梯度下降法最优化梯度下降反向传播梯度与偏导链式法则直观理解Sigmoid 例子1. 梯度下降（Gradient descent）初始权重不要都置为0，可用高斯分布。随机初始化的目的是使对称失效。如果所有权重初始化为相同初始值，那么所有的隐藏层单元最终会得到与输入值相关的、相同的函数。import numpy as npW = np.random.ra

2017-11-09 20:16:02 15050 2

原创机器学习中的损失函数（着重比较：hinge loss vs softmax loss）

1. 损失函数损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x))L(Y,f(x)) 来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项，通常如下所示： θ∗=argminθ1N∑i=1NL(yi,

2017-11-09 12:38:55 85710 5

原创 Deep learning 中的数学基础知识

1.微积分导数：一个函数在某一点的导数描述了这个函数在这一点附近的变化率。 f′(a)=limh→0f(a+h)−f(a)hf'(a) = \lim_{h \rightarrow 0} \frac{f(a+h)-f(a)}{h} 梯度:多元函数的导数就是梯度。一阶导数和梯度（gradient） f′(x)f'(x) ; ∇f(X)=∂f(X)∂X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂f(X)

2017-11-08 19:55:53 1811

原创 C/C++面向对象基础知识面试易考点

1. C++ 中struct 和class 都可以用来定义类型，两者的区别是：如果没有申明成员函数或成员变量的访问权限级别，在struct 中默认的权限是public，而在class 中默认的权限是private。2. 面向对象的三大特性：封装、继承、多态。 3. 封装是将抽象得到的行为或功能相结合，形成一个整体，也就是“类”，其中数据和函数是类的成员；封装的目的简化和安全性，使用者不需要了解具

2017-10-29 22:07:53 1079

原创高光谱遥感图像相关知识梳理大全

前言本资料整理了高光谱遥感图像概念定义、分析处理与分类识别的基本知识。第一部分介绍高光谱图像的一般性原理和知识，第二部分介绍了高光谱图像的噪声问题；第三部分介绍高光谱图像数据冗余问题以及数据降维解决冗余的方法；第四部分介绍高光谱图像的混合像元问题，对光谱解混做了一定介绍；第五部分和第六部分分别介绍了高光谱图像的监督分类和分监督分类的特点、流程和常用算法。

2017-05-17 17:10:00 53401 10

原创 Python 语言list 列表类型中的 extend() 和 append() 的区别

extend() 和 append() 方法都是python 语言列表类型中的方法，这两个方法功能相似，但是在处理多个列表时，处理方式和结果是不同的append() 方法是将append 的对象整体作为一个元素添加到原list 中假设存在两个列表a 和b>>> a = [1,2,3]>>> b = [4,5,[6,7]]>>> a.append(b)>>> a[1,2,3,[4,5,[6

2017-02-26 14:31:03 741

原创 LeNet-5网络详解

本文介绍一个经典的CNN模型：LeNet-5网络。 LeNet-5网络在MNIST数据集上的结果

2017-01-13 20:39:08 3502

原创深度学习在计算机视觉中应用综述

本文是针对中国科学院计算所山世光教授于2017年1月7日于北京师范大学所做的《深度学习在计算机视觉中的应用与前景》讲座的内容总结梳理。1 视觉智能的内涵计算机视觉系统的任务就是像人一样描述摄像机拍摄到的内容。常见的视觉任务：距离估计目标检测与跟踪物体分割目标识别内容理解

2017-01-13 18:40:15 11004 3

原创机器学习中的概率和信息论

在本文中，我们讨论概率和信息论。概率论是用于表示不确定性陈述(statement) 的数学框架。它不仅提供了量化不确定性的方法，也提供了用于导出新的不确定性陈述的公理。在人工智能领域，我们主要以两种方式来使用概率论：概率法则告诉我们AI系统应该如何推理，所以我们设计一些算法来计算或者近似由概率论导出的表达式；我们可以用概率和统计从理论上分析我们提出的AI系统的行为。信息论是应用数学的一个分支，

2017-01-12 22:19:15 2238

原创机器学习中的线性代数之矩阵求导

前面针对机器学习中基础的线性代数知识，我们做了一个常用知识的梳理。接下来针对机器学习公式推导过程中经常用到的矩阵求导，我们做一个详细介绍。矩阵求导（Matrix Derivative）也称作矩阵微分（Matrix Differential），在机器学习、图像处理、最优化等领域的公式推导中经常用到。

2017-01-12 19:57:57 95239 31

原创 Weka 常用分类算法效果比较

本实验是福建矿产分布分类识别实验，使用常用的weka 分类识别算法，第一组实验只使用数据中的数值型数据，第二组实验在数值型特征基础上加上了标称属性分类。

2017-01-12 13:39:48 24876

原创特征选择与特征提取

模式识别的大致流程如下：从图中我们可以知道，特征提取与选择是在分类器设计之前完成，它主要的工作是针对数据原始特征的缺陷，降低特征维数，提高分类器的设计与性能。原始特征模式识别中把每个对象都量化为一组特征来描述，构建特征空间是解决模式识别问题的第一步，其中通过直接测量得到的特征称为原始特征。如： - 人体的各种生理指标（以描述健康状况） - 数字图像中的每点的灰度值（以描述图像内容）原始特征的形成

2017-01-11 14:59:25 7589

原创概率图模型的学习

前言机器学习中最重要的任务，是根据一些已观察到的证据（如训练样本）来对感兴趣的未知变量（如类别标记）进行估计和预测。概率模型（probabilistic model）提供了一种描述框架，将学习任务归结于计算变量概率的分布。什么是概率图模型在概率模型中，利/用已知变量推测未知变量的分布称为“推断”（inference），其核心是如何基于可观测变量推测出未知变量的条件分布。具体来说，假定问题中关注的变量

2017-01-11 14:58:43 1539

原创图片TOP-5 错误率

Top-5 分类错误率平常我们在看一些深度学习图像分类的文献资料的时候，经常提到ImageNet Top-5 错误率降到了5%。它是什么意思呢？

2017-01-11 14:58:02 6536

原创详解协方差与协方差矩阵

详解协方差与协方差矩阵协方差的定义对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。

2017-01-11 14:57:05 962

原创深度学习前言综述

本系列笔记主要针对Github 上这本有关深度学习的书——《deep learning book》相关的读书笔记。针对当前热门的深度学习做一个基本的梳理，感兴趣的朋友可以看看！人工智能人工智能(AI) 是一个具有许多实际应用和活跃研究课题的领域，并蓬勃发展着。我们指望通过智能软件自动化处理常规劳动、理解语音或图像、帮助医学诊断和支持基础科学研究。

2017-01-11 14:14:55 1341

原创机器学习中的线性代数

第二章机器学习中的线性代数知识线性代数作为数学中的一个重要的分支，广发应用在科学与工程中。掌握好线性代数对于理解和从事机器学习算法相关的工作是很有必要的，尤其是对于深度学习而言。因此，在开始介绍深度学习之前，先集中探讨一些必备的线性代数知识。

2017-01-11 14:10:06 18711 5

Vinicier的专栏

原创初探统计语言模型

原创图像语义分割