Jay_Sherry-CSDN博客

原创基于Hadoop的分布并行加法的实现

1、搭建好Hadoop环境，包括JDK的安装、Hadoop的安装及文件配置、SSH通信的配置、eclipse Java开发环境的配置（具体安装见最后附件Hadoop安装配置）。2、本环境配置是在ubuntu下建立了三台虚拟机，一台为master，另两台为slave。打开三台虚拟机，在master上启动Hadoop：使用jps命令查看结点启动情况，如下表明Hadoop启动成功：

2015-10-30 10:16:38 1030

原创逻辑回归分类器(Logistic Regression Classifier)

Logistic regression （逻辑回归）是当前业界比较常用的机器学习方法，用于估计某种事物的可能性，也用来进行分类。在分类的情形下，经过学习之后的LR分类器其实就是一组权值w0,w1,...,wm. 当输入测试样本集中的测试数据时，这一组权值按照与测试数据线性加和的方式，求出一个z值：z = w0+w1*x1+w2*x2+...+wm*xm。 ① （其中x1,x2,...,

2015-07-14 10:46:30 19211

原创 Spark简介

详细内容参照Spark官网：http://spark.apache.org/Spark相关项目：Spark SQL 、Spark Streaming 、Machine Learning 、GraphX1、Spark SQL ：用Spark编写的混合SQL查询，能在分布式数据集中查询结构化数据，使得复杂分析算法的查询更容易。2、Spark Streaming ：Spark Strea

2015-07-14 10:22:51 2265

原创牛顿迭代法及最小二乘法

1、牛顿迭代法牛顿迭代法法是一种计算近似根算法，对于给定的复杂函数f(x)，常用来求该函数在给定初始值x0附近的近似根。该算法很简单，就是一个迭代的过程：迭代终止条件可设为：matlab代码实现：function y=mulNewton(a,n,x0,eps1) x(1)=x0; b=1; i=1; while(norm(b)>e

2015-07-13 10:25:17 10611

原创 BP神经网络及其在教学质量评价中的应用

本文学习笔记是自己的理解，如有错误的地方，请大家指正批评，共同进步，谢谢！之前的教学质量评价，只是通过对教学指标的简单处理，如求平均值或人为的给出各指标的权值来加权求和，其评价结果带有很大主观性。利用BP神经网络建立教学质量评价系统的模型,通过调查分析得到教学评价指标，将其标量化成确定的数据作为其输入,用BP神经网络训练后作为实际输出，将之前得到的教学效果作为期望输出。比较期望输出与实际输

2015-07-13 10:11:51 6302 10

原创卷积神经网络(CNN)的训练及代码实现

本文部分内容来自zouxy09的博客，谢谢！http://blog.csdn.net/zouxy09/article/details/9993371以及斯坦福大学深度学习教程：http://ufldl.stanford.edu/wiki/index.php/UFLDL教程CNN结构的连接比权值多很多，因为权值共享。CNN通过数据驱动的方式学习得到一些滤波器，作为提取输入的特征的一种方法

2015-07-12 10:31:06 10447

原创查找之散列查找（哈希表）

本学习笔记部分内容来自网易云课堂浙江大学数据结构课程，谢谢！1、散列表（哈希表）已知的几种查找方法：顺序查找 O(N)二分查找（静态查找） O(logN)二叉搜索树 O(h) h为二叉树高度（动态查找：有插入有删除有查找）平衡二叉树 O(logN)查找的本质：已知对象找位置1、有序安排对象:全序或半序；2、直接算出对象位置

2015-07-11 15:01:58 3087

原创卷积神经网络CNN

本文学习笔记的部分内容参考zouxy09的博客，谢谢！http://blog.csdn.net/zouxy09/article/details/8775360什么是卷积卷积如果改名为“加权平均积”，就会很好理解了。卷积的离散形式就是常用的加权平均，而连续形式则可理解为对连续函数的加权平均。假如我们观测或计算出一组数据，但数据由于受噪音的污染并不光滑，我们希望对其进行人工处理。那么，

2015-07-11 10:28:50 4968

原创排序之表排序、基数排序及所有排序算法比较

本学习笔记部分内容来自浙江大学网易云课堂，谢谢！1、表排序定义一个指针数组做为表。排序的时候，数组位置上的数值不变，改变的是指针的指向。如该图，初始数值：f d c a g b h e 开始时，比较f>d，则指针0指向d，指针1指向f。之后比较f>c，d>c，则指针0指向c,指针1指向d，指针2指向f。以此类推，最终指针0指向a的位置(即table[0]=3，A[3]那个位

2015-07-10 18:55:17 1259

原创排序之选择排序、堆排序、归并排序、快速排序

本学习笔记内容部分来自网易云课堂浙江大学数据结构视频，及海子的博客：http://www.cnblogs.com/dolphin0520/archive/2011/10/06/2199741.html以及~大器晚成~的博客http://www.cnblogs.com/luchen927/archive/2012/02/29/2368070.html1、选择排序基本思想：在一个长度为N的无序

2015-07-08 14:02:21 1180

原创图像稀疏编码表示

注：本文学习自CVPR《Linear Spatial Pyramid Matching Using Sparse Codingfor Image Classification》、《Image classification Vy non-negative sparse coding, low-rank and sparse decomposition》及《基于稀疏编码的图像视觉特征提取及应用》

2015-07-08 09:55:14 6421 2

原创排序之冒泡排序、插入排序及希尔排序

1、冒泡排序基本思想：对于每一趟的排序，从第一个数开始，依次比较前一个数与后一个数的大小。如果前一个数比后一个数大，则进行交换。这样一轮过后，最大的数将会出现在最末位的位置。第二轮则去掉最后一个数，对前n-1个数再按照上面的步骤找出最大数，该数将出现在倒数第二的位置。n-1轮过后，就完成了排序。,举例：冒泡排序1，5，2，3，9,8,6,第一趟：,12，交换1 2 5,

2015-07-07 14:12:29 796

原创空间金字塔方法表示图像

注：本学习笔记是自己的理解，如有错误的地方，请大家指正，共同学习进步。本文学习自CVPR论文《Discriminative Spatial Pyramid》、《Discriminative Spatial Saliency for Image Classification》及《Beyond Bags of Features: Spatial Pyramid Matchingfor Reco

2015-07-07 10:36:35 4460 1

原创图之Prim算法、kruskal算法和拓扑排序

本文内容部分来源于网易云课堂浙江大学数据结构视频教程，谢谢！！！1、最小生成树a、先是一棵树：无回路，v个顶点一定有v-1条边；b、是生成树：包含全部顶点，v-1条边全在图里；（向生成树中任加一条边都会形成回路）c、边的权重和最小。最小生成树一定是连通的，连通图中也一定能找到一棵最小生成树。贪心算法：贪，每一步都要权重最小。约束条件：1、只能用图里的边，2、只能正好

2015-07-06 17:06:47 933

原创《Fisher Kernels on Visual Vocabularies for Image Categorization》学习笔记

论文原文：来自2007年的CVPR http://www.cvpapers.com/cvpr2007.htmlFisher Kernels on Visual Vocabularies for Image Categorization费舍尔核的视觉词袋图像分类摘要在模式识别领域，Fisher核可以有效的结合有生产力和识别力的方法的优点。Fisher核用源于生产概率模

2015-07-06 10:58:00 1842

原创图之Dijkstra算法、Floyd算法(最小路径问题）

本文内容部分来源于网易云课堂浙江大学数据结构视频教程和华山大师兄的博客http://www.cnblogs.com/biyeymyhjob/archive/2012/07/31/2615833.html，谢谢！！！最小路径问题在网络（带权重的图）中，求两个不同顶点之间的所有路径中，边的权重之和最小的那一条路径——最短路径，第一个顶点为源点，最后一个顶点为终点。单源最短路径问题：

2015-07-05 18:24:31 1407

原创图之表示和遍历

学习笔记！！！！！一、什么是图（Graphy）？表示“多对多”的关系，包含一组顶点（V表示顶点集合）和一组边（E表示边的集合）。边是顶点对：(v,w)属于E，其中v,w属于V有向边表示从v指向w的边,不考虑重边和自回路。图的数据对象集：G(V,E)由一个非空的有限顶点集合v和一个有限边集合E组成。注意，图可以没有边，但至少会有一个顶点。使用邻接矩阵表示图：

2015-07-03 13:57:20 1059

原创梯度下降法

梯度下降法是一种最优化算法，常用来优化参数，通常也称为最速下降法。梯度下降法是一般分为如下两步：1）首先对参数θ赋值，这个值可以是随机的，也可以让θ是一个全零的向量；2）改变θ的值，使得J(θ)按梯度下降的方向进行减少。以一个线性回归问题为例，应用libsvm包里的数据heart_scale.mat数据做测试。假设要学习这么一个函数：那么损失函数可以定义成：其中

2015-07-03 10:50:41 1215

原创 Hadoop全分布环境配置过程

一、安装Linux操作系统安装过程略，安装完后对系统做一下更新：$sudo apt-get update二、修改机器名,并与IP地址绑定每当Ubuntu安装成功时，我们的机器名都默认为：ubuntu ，但为了以后集群中能够容易分辨各台服务器，需要给每台机器取个不同的名字。机器名由 /etc/hostname文件决定。步骤如下：1、$ sudo gedit /etc/hostname

2015-07-03 10:32:01 711

原创 VS2010配置opencv

一、安装好VS2010，网上下载opencv2.4.3;二、设置用户环境变量：计算机>属性>高级系统设置>环境变量>系统变量，变量名：Path，变量值：;D:\opencv\build\x86\vc10\bin（我的电脑是32位，vs2010版本，opencv安装到D盘下）三、再VS中设置编译路径：（此方法可以解决一次配置后，之后新建任何项目都不需要再配置了）打开VS201

2015-07-02 09:08:48 777

原创 Hadoop简介

古代，人们用牛来拉重物，当一头牛拉不动一根圆木时，他们不曾想过培育更大更壮的牛，而是使用多头牛。同样，我们也不需要尝试开发超级计算机，而应试着结合使用更多计算机系统。一、什么是Hadoop大数据目前很火！是的，当今我们正处于大数据时代，但是我们应如何存储和分析这些数据，如何从海量数据中取出有价值的信息，例如搜索引擎中如何快速查找出有用信息，淘宝网如何快速根据你的之前浏览页面给出你可能需

2015-07-01 10:46:30 591

原创双摄像头三维重建

2014-07-02 19:31:15 8866 1

原创 HelloWorld

刚开通自己的博客，希望大家多多来逛，多多支持！作为一名IT技术宅男，初次编程时学习的就是在屏幕输出“Hello World!”，所以我的第一篇博客也决定使用Hello World作为题目。我的博客中主要更新一些我最近的学习成果，供大家借鉴学习，并希望大家提出宝贵意见，我们共同进步。我的很多文章可能也借鉴了别人的研究成果，如有雷同的，还请大家原谅！另外大家如果转载我的文章的话，请注明

2014-07-02 19:29:49 466

qustqustjay的专栏