jianjian1992-CSDN博客

原创 sklearn.feature_extraction.text文本特征实验

sklearn.feature_extraction.text提供了4种文本特征提取方法：CountVectorizer HashingVectorizer TfidfTransformer TfidfVectorizer 因为TfidfVectorizer等价于CountVectorizer->TfidfTransformer，所以实质上就是两种特征，一种是HashingVector，另

2016-08-09 00:00:42 7183 1

原创 opencv颜色过滤--------如何选择需要的颜色呢？

在日常生活中我们表示颜色的时候都喜欢用RGB模型进行表示，RGB分别代表了三原色：红色Red，绿色Green，蓝色Blue。但是当我们想要从图片中选取某种颜色的时候，比如说红色，用RGB该怎么做？很难啊。所以当涉及到颜色的时候我们通常都会将图片转化到hsv空间进行表示。这个模型中颜色的参数分别是：色调（H），饱和度（S），明度（V）。那么该如何选择我们需要的颜色呢？比如说红色，是否就只需要选择一个

2016-06-06 15:21:26 38538 8

原创 window使用内存泄漏检测工具Leakdiag记录

Leakdiag安装windows下内存泄漏查找工具Leakdiag使用起来还是蛮方便的。 Leakdiag下载之后按照默认设置安装，否则好像是会出问题的。默认安装是直接装在C盘下。那它是如何来检测内存泄漏的呢？下图所示是Leakdiag目录，Logs文件夹里边存储的就是记录的日志，我们则是通过启动leakdiag应用程序进行检测。第一次试验首先测试一下常见的new和malloc作为练

2016-06-05 13:50:04 16594

原创 caffe使用记录

版本说明： caffe为windows版本，vs对应的是2012版本，我是用生成exe+windows批处理的方式来使用caffe的。已经配置好的caffe可见http://pan.baidu.com/s/1gf0iTKB 使用的并不是最新版的caffe，不过在windows下算是很新的啦。数据生成首先生成训练和测试目录，我是以人脸的CMU数据库为例进行说明。下面的名字可以根据自己需要进行修

2016-06-02 20:44:50 3890

原创轮廓查找问题小记

opencv中使用Mat进行轮廓查找的函数如下： void findContours(InputOutputArray image, OutputArrayOfArrays contours, int mode, int method, Point offset=Point()) opencv文档地址这个函数看起来挺简单的，我们输入一张图像，它就给我们返回相应的轮廓，但是一张图像经过不同处理

2016-04-28 15:24:48 2825

原创 scikit安装

首先把Python的环境变量加到Path上，也就是Python的安装目录！接着是安装easy_install，参照如下方式安装：http://jingyan.baidu.com/article/b907e627e78fe146e7891c25.htmleasy_install安装好之后，似乎是可以用easy_install numpy来安装库了，可是出错了卡在这一步了诶，所以我

2016-02-20 23:11:20 829

原创压缩感知KL1p库CompressedSensingExample例子解读

KL1P库是个可以求稀疏表示的库，比如说要求y=w∗xy=w*x,用x来表示y，求系数w，一般来说思路是最小化||y−wx||||y-wx||，这个用梯度下降之类的方法就可以求解。但是如果希望w是稀疏的，比如w是100维，其中只有10维是不为0，其余90维都及其接近于0，那我们就需要添加稀疏性条件，autoencoder和sparse autoencoder便是类似的关系。 KL1P库地

2015-11-09 11:10:17 1780

原创我遇到的kinect for windows2 USB不识别情况

硬件需求可见https://dev.windows.com/en-us/kinect/hardware-setup我的电脑是Intel的USB3.0，在设备管理器可以看到的：当我下好SDK，安装完毕，然后把kinect插入电脑之后，提示我无法识别的USB设备。我来说下我犯的错误吧：USB3.0是个蓝色的USB插口，而USB插口是不只机箱前面的这两个的！！！正确的插入部位是插

2015-11-04 19:52:52 9902

原创 opencv由Mat相乘想到的几个问题

最近在做一个实验，需要对X∗XTX*X^T求取特征值，所以需要进行矩阵相乘操作。我的Mat是以灰度方式读取图片得来。数据获取的代码如下： vector<Mat> images; vector<int> labels; string imgPath; for (int i = 1; i <= 15; i++) for (int j = 1; j <=

2015-11-03 16:21:20 3185 1

原创 ufldl.PCA-2D实现

Step 0: Load data用文本方式打开pcaData.txt，看到的就是两行数据，每行有45个值。不加’-ascii’,直接写出x=load(‘pcaData.txt’)也是ok 的！ figure(1)表明建立第一幅图像，在需要显示很多图像的时候就需要用到这一句了。 scatter则是画图函数，这里的x轴数据为x的第一行数据x(1,:),y轴数据为x的第二行数据x(2,:)。

2015-10-31 15:22:38 534

原创 vs错误：使用简体中文GB2312 编码加载文件时，有些字节已用unicode替换字符替换

这个问题出现的上下文我描述一下：因为有一些重复性的工作，所以我把代码复制到了记事本里边，然后使用记事本里边的替换功能，接着把记事本里的代码复制粘贴回了visual studio里边。（我真是傻缺，居然不会用visual studio里边的替换功能）这样就导致了编码的问题，调试的时候就会出现错误。修改其实很简单的，首先要定位到是哪一句代码出的问题。出错的地方会有青色的箭头

2015-10-22 17:03:47 14306 3

原创 _pFirstBlock == pHead错误

先说明下应用的上下文环境：vs2012 c++我有个工程需要用到SRC(Sparse Representation Classification),所以使用了KL1P库。因为要做图像处理，所以使用了opencv库，我用opencv的Hog特征提取出了上面问题。关于这个问题，1.库目录设置错误stackoverflow里边给出了个1个解答，是库目录设置错了，因为vs2012需

2015-10-20 16:15:50 6519 6

原创 opencv中Mat的使用与存取

特征存取是机器学习过程中的一步，因为数据量很大的话，如果直接对数据提取特征然后进行训练需要花很多时间，如果中途出了点问题那运行这么久就白做了。所以把提取的特征进行保存就是很重要的一个步骤啦。我打算使用opencv的Mat进行数据的保存，那么Mat如何构造，如何保存，如何读取呢？Mat的构造如下是创建一个Mat的方式，Size里边先填列数，再填行数！！这点和一般习惯有些不同，要记住哦

2015-10-20 16:14:36 12498 2

原创 softMax(2)---predict实现

softMax的cost写好之后，模型也就可以正式开始进行训练了。首先要把softMaxExercise里边的Debug赋值为false，可以看到，梯度检验这一步在正式训练过程中是完全不需要做的。softMax模型softMax的模型是什么样的呢？假设一共有k个类，那么对于样本x(i)x^{(i)}，预测它属于第j类的概率如下 p(y=j|x(i))=eθTj∗x(i)∑kl=1θTl∗x

2015-10-18 11:29:27 1173

原创 softmaxCost实现

本次练习是按照ufldl SoftMax进行实现的。关于代价函数的由来可以看看《统计学习方法》里边的logistic回归那一章，因为logistic模型是概率模型，所以会使用似然函数，优化也就是最大化似然函数，代价便是-log似然函数，最后的目标也就是最小化代价函数了。不过由代价函数到它的导数这一部分的推导我开始没想明白，所以下面对此做个记录，看看到底是如何求导的。推导 J(θ)=−1m[

2015-10-16 21:25:09 1095 1

原创机器学习岗位找工作记录帖-百度，大众点评offer到手

一件很不好的事情我收到百度offer之后，有个同学来问了些问题，接着就开始人身攻击，说我这么水，百度招我就该完蛋了。找工作确实很累，不断被拒，没有offer的郁闷心情我能体会。我也经历过实习一直被拒的悲惨经历，之后我痛定思痛，认真确定自己的方向，阅读mahout源码开阔自己的思维，推导各种机器学习算法，并且仔细回顾整个研究生阶段做的事情，认真修改简历，我也是认真努力之后才拿到offer的。

2015-10-01 10:46:43 9569 5

原创 hiho一下第六十五周HighWay--也属于动态规划吧

HighWay这一题描述如下：给定一条高速公路，在时间点为0时公路上停了N辆车，每辆车起始位置都不同，首先输入一个整数N，2 接着输入N行，每一行格式为3个整数：X, Y and L，分别是一辆车的起始位置，离开位置以及速度。 0 因为高速公路只有一条车道，所以规定行驶在后面的车子不能超过行驶在它前面的车。链接：http://hihocoder.com/contes

2015-09-30 21:30:50 520

原创阿里云服务器windows版本的使用以及安全策略的添加

远程桌面的安全策略刚开始使用阿里云服务器没几天，就有黑客不断跑进来，分析了一下不可能是因为服务器网页的漏洞，因为黑客接触不到我们的app，所以肯定就是远程桌面的问题了。

2015-09-26 10:45:03 4341

原创 hadoop编程----寻找社交网络图中的三角关系

实验背景图的三角形计数问题是一个基本的图计算问题，是很多复杂网络分析（比如社交网络分析）的基础。目前图的三角形计数问题已经成为了Spark 系统中GraphX 图计算库所提供的一个算法级API。本次实验任务就是要在Hadoop 系统上实现Twitter 社交网络图的三角形计数任务。有向图转化为无向图如下图所示，社交网络中的关注关系一般为有向图，这里需要转化为无向图。转化思路为：如果IF (A->B)

2015-09-20 20:21:17 4058

原创 shell--文件操作1

1.遍历目录，查找其中所有文件，并统计每个文件的行数定义一个函数detect，这是为了可以递归往子目录中操作接着一个循环遍历`ls $1`的结果，$1是第一个输入参数，也即查找路径在循环中，首先判断文件是否是目录文件，如果是，则递归进入里边，否则用wc命令得到文件中行的数目，并用cut命令得到wc结果中的行数，最后把结果保存到/home/user/shell/reslt.txt里边

2015-09-08 20:43:04 978

原创脚本文件基础记录case

Hello，world写一个hello，world吧。要注意的地方使脚本具有执行功能#！解释器变量定义

2015-09-04 16:17:16 665

原创 mahout的并行随机森林是怎样创建的

我挺好奇mahout是怎样分布式建立一个随机森林的，所以特意看看它的BuildForest源码，看看里边的mapreduce是怎样实现的。还有个问题也挺让我好奇的，就是随机森林是怎么保存的呢？我看的是0.9版本的mahout。

2015-09-02 21:26:48 2286

原创 Mahout的BreimanExample例子分析

Mahout的BreimanExample例子执行了 Leo Breiman: Random Forests. Machine Learning 45(1): 5-32 (2001)这篇论文的测试。对它的分析我分为3个部分 - 森林生成的Iteration部分 - BreimanExample的测试执行部分 - 命令行执行部分Iteration部分迭代函数如下，对于训练数据集

2015-08-29 16:23:12 1339

原创 Mahout推荐系统引擎RecommenderEvaluator源码解析

在http://blog.csdn.net/jianjian1992/article/details/47304337里边有关于推荐系统的完整代码，其中有一个评价器RecommenderEvaluatorRecommenderEvaluator evalutor = new AverageAbsoluteDifferenceRecommenderEvaluator();System.out.

2015-08-11 20:30:32 2065

原创 Mahout推荐系统引擎UserCF中的IRStats部分源码解析

Mahout提供推荐系统引擎是模块化的，分为5个主要部分组成： 1. 数据模型 2. 相似度算法 3. 近邻算法 4. 推荐算法 5. 算法评分器今天好好看了看关于推荐算法以及算法评分部分的源码。以http://blog.csdn.net/jianjian1992/article/details/46582713 里边数据的为例进行实验。整体流程的代码如下，依

2015-08-07 11:55:27 2642

原创 Mahout安装与第一次使用--用户协同过滤

记录mahout的安装与使用，并用单机mahout的UserCF进行了详细说明来熟悉mahout编程。

2015-08-05 17:04:58 1351 1

原创 MapReduce--倒排索引

文档倒排算法简介Inverted Index(倒排索引)是目前几乎所有支持全文检索的搜索引擎都要依赖的一个数据结构。基于索引结构，给出一个词(term)，能取得含有这个term的文档列表(the list of documents) Web Search中的问题主要分为三部分：crawling(gathering web content) ,网页爬虫，收集数据indexing(construc

2015-08-04 10:59:47 4776 1

原创 MapRed编程自定义Partitioner

接着 mapreduce–使用自定义类做value 继续做实验，这次试一试Partitioner的效果。根据之前实验的数据，key值是数据中第二列的电话号码，我想把它们根据运营商不同分到不同的组，也即以13,15,18，以及其他开头的号码分别分到一组中。那么我应该加一个Partitioner控制shuffle阶段的分组过程。MyPartitioner扩展Partitioner类 Par

2015-08-01 10:46:08 508

原创 mapreduce--使用自定义类做value

在mapreduce编程中，有挺多实现了Comparable, Writable接口的内置变量类型，比如 Text， IntWritable，LongWritable等等。这次我要自己定义一个类，将它用作设计自定义类MyData按照需求，这个类应该有4个变量，分别记录手机号，上行流量，下行流量以及总流量。这个类需要实现Writable接口，所以需要实现两个函数：write函数，将MyD

2015-07-30 21:32:55 1786

原创 hibernate自动建表的问题

hibernate.cfg.xml如下：<!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN" "http://hibernate.sourceforge.net/hibernate-configuration-3.0.dtd

2015-07-29 10:23:56 541

原创 hdfs shell命令记录

hdfs的shell命令

2015-07-25 20:46:38 1518

原创 Maven+Eclipse+Hadoop第一个WordCount

之前一直都是在windows下的Eclipse写hadoop，这次打算在Ubuntu下写一次，采用Maven来创建和管理工程。Maven是一种挺方便的工程管理插件吧，通过写依赖项属性便可以自动加入需要的各个依赖库文件，也让Hadoop程序能够直接在Console这里运行，不需要导出jar包到命令行中去，方便调试代码啦！真是一段辛苦的经历呀，碰到了各种各样的问题，记录一下啦！

2015-07-19 20:15:37 5812

原创如何在struts2的action返回结果之后再来进行费时的数据库操作呢？

action里边有些操作执行要花很长时间，这样就会影响服务器与前台的交互速度，所以问题就来了，能不能在action返回一个json结果之后再来进行这些耗时的操作呢？

2015-07-16 21:18:36 847

原创使用JNI的struts2项目在tomcat遇到的问题

写了一个struts2项目，里边用到了JNI，在MyEclipse下顺利地运行了，可是deploy到tomcat之后遇到了N多错误，让我头疼不已，特此记录一下遇到的错误！

2015-07-09 21:49:28 1547

原创准备面试可以关注的问题------胡老师给的金玉良言

今天和胡老师聊天，胡老师给我说了一些挺棒的建议，特地分享一下，希望大家面试都能有好结果呀

2015-07-07 21:19:46 1332

原创 JNI使用---如果我的cpp里边要使用opencv该怎么办呢？

本次需求与问题我用javah生成.h头文件之后，要生成相应的cpp文件来实现头文件里边定义的方法。看到的很多示例都是在Java工程下边用命令行的方式来生成cpp的dll。比如说http://blog.csdn.net/jianjian1992/article/details/46724043 那问题就来了，如果只是简单地使用c++来实现，那就在这个cpp里边写就好了，可是如果我要用到其它的库，

2015-07-07 13:08:20 916

原创 Hibernate--CirclesOfImage应用

本次目的：需求是为一幅图像寻找里边的所有圆，并将这些圆保存到数据库中。所以数据库的设计为，对于一幅图像，保存它的图片名（图片统一保存在某个目录下，所以只需要保存图片名）保存它里边的所有圆的信息，因为每幅图像中圆个数未知，所以采用List保存所有圆圆为自定义类型，包括圆心(x,y)以及半径radius自定义类型Circle如下图所示，我将Circle存在包c里边。圆里边有变量x,y记

2015-07-06 19:35:15 640

原创 php使用face++实现一个简单的人脸识别系统

php使用face++实现一个简单的人脸识别系统流程可以分为两部分，一部分是训练，一部分是测试。

2015-07-03 19:25:48 13478 1

原创 JNI初次使用---在C++中得到一系列圆并返回ArrayList

整个流程可以简单地描述为：对一幅图片，对它进行某种操作，然后得到一系列的圆作为返回结果。这里的问题便是，某种操作是在C++中实现的，而我的主要代码部分是在Java中，所以就涉及到了在Java中调用C++的混合编程了。解决办法是使用JNI的方式，在Java设计的函数应该有如下形式public ArrayList<Circle> getCircles(String imgUrl)也就是传入图片url给C++，C++中对图像进行处理，得到很多圆作为结果，然后创建一个ArrayList保存这些圆，并返回这个

2015-07-02 11:13:27 6284

原创 Hibernate第一次配置与使用（图文）

Hibernate第一次配置与使用（图文）

2015-07-01 14:59:26 566

php使用face++实现一个简单的人脸识别系统

struts基本工程

Hadoop系统安装运行与程序开发

空空如也