江海成-CSDN博客

原创操作系统、计算机网络、python题目整理

计算机操作系统：https://blog.csdn.net/qq_32690999/article/details/78069414计算机网络题目整理：http://www.cnblogs.com/zyf-zhaoyafei/p/4716297.htmllinux 题目整理：http://www.cnblogs.com/mrgavin/p/9330912.htmlpytho...

2018-11-13 13:50:18 231

转载初学者的卡尔曼滤波——扩展卡尔曼滤波

简介转自：http://www.cnblogs.com/ymxiansen/p/5368547.html　　已经历经了半个世纪的卡尔曼滤波至今仍然是研究的热点，相关的文章不断被发表。其中许多文章是关于卡尔曼滤波器的新应用，但也不乏改善和扩展滤波器算法的研究。而对算法的研究多着重于将卡尔曼滤波应用于非线性系统。　　为什么学界要这么热衷于将卡尔曼滤波器用于非线性系统呢？因为卡尔曼滤波器从一...

2018-11-12 15:09:35 762

原创 extern 关键字 static关键字 virutal 关键字

extern1、声明外部变量extern 用来修饰变量或者函数名，用以在一个文件中定义，但是可以在其他文件中进行使用的。例如在A文件中定义了全局变量 int mm=0;你在另一个文件B中也定定义了 int mm=0; 编译时时候不会出错，因为编译时以文件为单位作用域在本文件中。但是在链接是后出错，因为他会将多文件进行合并生成obj 全局变量的存储空间合并为一块儿，导致重名；如果加上...

2018-11-03 19:57:41 386

深度学习：hinton bp算法，李飞飞，吴恩达，黄广斌，路奇深度学习优化的超参数：1）学习率学习率（learning rate或作lr）是指在优化算法中更新网络权重的幅度大小。学习率可以是恒定的、逐渐降低的，基于动量的或者是自适应的。不同的优化算法决定不同的学习率。当学习率过大则可能导致模型不收敛，损失loss不断上下震荡；学习率过小则导致模型收敛速度偏慢，需要更长的时间训练。通常lr取值...

2018-10-23 19:57:09 543

转载教你透彻了解红黑树

教你透彻了解红黑树原文：https://github.com/julycoding/The-Art-Of-Programming-By-July/blob/master/ebook/zh/03.01.md二叉查找树由于红黑树本质上就是一棵二叉查找树，所以在了解红黑树之前，咱们先来看下二叉查找树。二叉查找树（Binary Search Tree），也称有序二叉树（ordered bi...

2018-10-09 19:31:39 166

转载手撕SVM

支撑向量机 SVM1. 支撑向量机 SVM1. 什么是SVMSupport Vector Machine解决的是线性可分问题 Hard Margin SVM Soft Margin SVM2. SVM背后的最优化问题点到直线的距离支撑向量机我们也可以将两个式子变成一个最优化目标这是一个有条件的最优化问题3. Soft Margin SVM...

2018-08-14 11:12:50 601

原创 C++基础：

什么是多态：（哑巴了吧，你知道你倒是说呀），所谓多态也就是一个接口的多种实现方式。多态包括：虚函数，纯虚函数，覆盖，模板（重载与多态没有关系）虚函数：虚函数是带有virtual关键字的函数，定义一个函数为虚函数，定义他为虚函数是为了允许用基类的指针来调用子类的这个函数。纯虚函数是类似 virtual void hanShu(int B)=0;这样的函数。带有纯虚函数的类是抽象类，必须实例...

2018-07-27 17:22:02 178

转载进程与线程

进程与线程的理解：（1）调度：在传统的操作系统中，CPU调度和分派的基本单位是进程。而在引入线程的操作系统中，则把线程作为CPU调度和分派的基本单位，进程则作为资源拥有的基本单位，从而使传统进程的两个属性分开，线程编程轻装运行，这样可以显著地提高系统的并发性。同一进程中线程的切换不会引起进程切换，从而避免了昂贵的系统调用，但是在由一个进程中的线程切换到另一进程中的线程，依然会...

2018-07-24 10:57:43 195

翻译详解卡尔曼滤波

轻松一下看一个例子：一片绿油油的草地上有一条曲折的小径，通向一棵大树。一个要求被提出：从起点沿着小径走到树下。“很简单。” A说，于是他丝毫不差地沿着小径走到了树下。现在，难度被增加了：蒙上眼。“也不难，我当过特种兵。” B说，于是他歪歪扭扭地走到了树 ………. 旁。“唉，好久不练，生疏了。”“看我的，我有 DIY 的 GPS！” C说，于是他像个醉汉似地走到了树………. 旁。“唉，这...

2018-07-18 13:52:08 16959

原创稀疏自编码器栈式自编码器深度学习预训练

https://www.zhihu.com/question/41490383/answer/103006793

2017-10-08 15:03:38 2074

转载正则化方法：L1和L2 regularization、数据集扩增、dropout

正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却效果变得越来越差。为了防止overfitting，可以用的方法

2017-06-11 11:58:33 497 1

转载深度学习之减少过拟合的可能性

原文地址：一只鸟的天空，http://blog.csdn.net/heyongluoyao8/article/details/49429629防止过拟合的处理方法过拟合我们都知道，在进行数据挖掘或者机器学习模型建立的时候，因为在统计学习中，假设数据满足独立同分布（i.i.d，independently and identically distributed），即当前已产生的数...

2017-04-22 17:13:17 11284

转载神经网络优化（初始化权重）

使隐藏层饱和了, 跟之前我们说的输出层饱和问题相似, 对于输出层,我们用改进的cost函数,比如cross-entropy, 但是对于隐藏层, 我们无法通过cost函数来改进更好的方法来初始化权重?因为传统的初始化权重问题是用标准正态分布（均值为0，方差为1）随机初始化的，这其实是存在不合理的部分。标准正态分布：可以看出真实数据的

2017-04-22 16:07:16 680

转载简单易学的机器学习算法——Softmax Regression

Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 vs. k 个二元分类器7 中英文对照8 中文译者简介在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标

2017-04-20 18:36:27 1056

转载一文弄懂神经网络中的反向传播法——BackPropagation

最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果

2017-04-20 17:32:49 899

转载交叉熵代价函数（cross-entropy cost function）

1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。在训练神经网络过程中，我们通过梯度下降算法来更新w和b，因此需要计算代价函数对w和b的导数：然后更新w、b：

2017-04-19 22:00:13 1046

转载贝叶斯分类器

0、写在前面的话我个人一直很喜欢算法一类的东西，在我看来算法是人类智慧的精华，其中蕴含着无与伦比的美感。而每次将学过的算法应用到实际中，并解决了实际问题后，那种快感更是我在其它地方体会不到的。一直想写关于算法的博文，也曾写过零散的两篇，但也许是相比于工程性文章来说太小众，并没有引起大家的兴趣。最近面临毕业找工作，为了能给自己增加筹码，决定再次复习算法方面的知

2017-03-31 10:44:11 800

原创集成学习 (AdaBoost、Bagging、随机森林 ) python 预测

首先明确一下回归与分类的区别：分类和回归的区别在于输出变量的类型。定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。举个例子：预测明天的气温是多少度，这是一个回归任务；预测明天是阴、晴还是雨，就是一个分类任务；决策树三种算法特性对比：ID3特点:（1）节点优先选取采用信息增益作为标准。（2）容易造

2017-03-26 11:30:34 6968

转载决策树与随机森林

首先，在了解树模型之前，自然想到树模型和线性模型有什么区别呢？其中最重要的是，树形模型是一个一个特征进行处理，之前线性模型是所有特征给予权重相加得到一个新的值。决策树与逻辑回归的分类区别也在于此，逻辑回归是将所有特征变换为概率后，通过大于某一概率阈值的划分为一类，小于某一概率阈值的为另一类；而决策树是对每一个特征做一个划分。另外逻辑回归只能找到线性分割（输入特征x与logit之间是线

2017-03-22 20:24:46 994

转载决策树

算法原理决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。如何预测先看看下面的数据表格：ID拥有房产（是

2017-03-14 10:50:58 1435 3

转载数据挖掘而之数据清洗

数据清洗，是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗，相关的书籍也不少。　　　　(美亚搜data cleaning的结果，可以看到这书还挺贵)　　我将在这篇文章中，尝试非常浅层次的梳理一下数据清洗过程，供各位参考。　　照例，先上图：

2017-03-14 09:28:48 1234

转载曼哈顿距离，欧式距离，余弦距离

1.曼哈顿距离曼哈顿距离，叫出租车距离的。具见上图黄线，应该就能明白。计算距离最简单的方法是曼哈顿距离。假设，先考虑二维情况，只有两个乐队 x 和 y，用户A的评价为(x1,y1)，用户B的评价为(x2,y2)，那么，它们之间的曼哈顿距离为2.欧式距离欧式距离又称欧几里得距离或欧几里得度量（Euclidean Metric），以空间为基准的两点之...

2017-03-13 16:11:56 29724 2

翻译 Hadoop之MapReduce

MapReduce基本概念及工作过程：http://www.cnblogs.com/edisonchou/p/4287784.htmlShuffler过程http://langyu.iteye.com/blog/992916数据倾斜与shuffle类性能调优http://blog.csdn.net/pengych_321/article/details/52260361

2016-12-25 20:40:19 498

翻译 Logistic 回归详解交叉验证概念

目录(?)[+]有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0, 则每个样本包含n+1维特征：

2016-12-16 12:28:52 7809 1

翻译感知机（percetron）

[+] 感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1. 感知机模型感知机模型如下：f(x)= sign(w*x+b) 其中，

2016-12-16 11:04:33 449

翻译 SVM-支持向量机算法概述

原文地址：http://blog.csdn.net/passball/article/details/7661887（一）SVM的背景简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建

2016-12-06 21:16:50 483

翻译支持向量机通俗导论（理解SVM的三层境界）

原文：http://blog.csdn.net/v_july_v/article/details/7624837作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。声明：本文于2012年便早已附上所有参考链接，并注明是篇“学习笔记

2016-12-04 17:21:31 348

翻译朴素贝叶斯

本文主要描述了朴素贝叶斯分类方法，包括模型导出和学习描述。实例部分总结了《machine learning in action》一书中展示的一个该方法用于句子感情色彩分类的程序。1方法概述学习（参数估计）实现：朴素贝叶斯下的文本分类模型概述朴素贝叶斯方法，是指朴素：特征条件独立贝叶斯：基于贝叶斯定理根据贝叶斯定理，对一个分类问题，给定样本特征x，样本属于

2016-12-04 17:11:38 371

翻译伯努利分布、泊松分布

1. 伯努利分布伯努利分布(Bernoulli distribution)又名两点分布或0-1分布，介绍伯努利分布前首先需要引入伯努利试验（Bernoulli trial）。伯努利试验是只有两种可能结果的单次随机试验，即对于一个随机变量X而言：伯努利试验都可以表达为“是或否”的问题。例如，抛一次硬币是正面向上吗？刚出生的小孩是个女孩吗？等等如果试

2016-12-03 20:28:19 10838

翻译傻瓜式Hadoop 集群部署

傻瓜式Hadoop集群部署（资料来自网上并经过本人整理）Hadoop编译篇：一.Hadoop下载1.在Hadoop官网上下载hadoop-2.7.2的源码包，下载地址：http://mirrors.noc.im/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz 2. 把下载下来的源码包，上传到linux上，在这里我放

2016-11-30 11:51:38 376

翻译最小二乘法与最大似然估计

看似最小二乘估计与最大似然估计在推导得到的结果很相似，但是其前提条件必须引起大家的注意！！！对于最小二乘估计，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小，其推导过程如下所示。其中Q表示误差，Yi表示估计值，Yi'表示观测值。对于最大似然法，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大，也就是概

2016-11-28 21:05:29 4193

翻译牛顿法

平时经常看到牛顿法怎样怎样，一直不得要领，今天下午查了一下维基百科，写写我的认识，很多地方是直观理解，并没有严谨的证明。在我看来，牛顿法至少有两个应用方向，1、求方程的根，2、最优化。牛顿法涉及到方程求导，下面的讨论均是在连续可微的前提下讨论。 1、求解方程。并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。原理是利用泰勒公式，在x0处展开，

2016-11-25 22:28:29 505

翻译梯度下降算法

前言:上次写过一篇关于贝叶斯概率论的数学，最近时间比较紧，coding的任务比较重，不过还是抽空看了一些机器学习的书和视频，其中很推荐两个：一个是 stanford的machine learning公开课，在verycd可下载，可惜没有翻译。不过还是可以看。另外一个是prml-pattern recognition and machine learning, Bishop的一部反响不错的书

2016-11-25 21:00:33 722

原创 FragmentActivity和Activity的区别

FragmentActivity is a special activity provided in the Support Library to handle fragments on system versions older than API level 11. If the lowest system version you support is API level 11 or h

2016-03-04 09:51:38 599