雨落-CSDN博客

原创 hadoop2.2.0 eclipse 运行

在本地或者远程安装部署hadoop2.2.0,然后

2014-05-21 16:00:50 561

转载 PMI（point wise mutual information)笔记

文出自 “Never Stop Sharing” 博客，请务必保留此出处http://loma1990.blog.51cto.com/6082839/1

2014-05-06 16:28:50 3567

转载 linux centos6调整根目录挂载分区容量大小

本文是将centos上home分区下的空间，gua

2014-04-25 14:22:22 1737 1

原创 2014新浪微博Java客户端使用方法！

首先，需要下载新浪微博的SDK，这里附上地址：https://weibo4j.googlecode.com/files/weibo4j-oauth2-beta2.1.1.zip下载完了之后解压，然后打开eclipse（ADT），新建项目，再把刚才解压出来的Import到项目中。如图所示：下面需要做的是在sina平台（http://open.weibo.com/）上申请一

2014-04-02 15:46:05 602

转载 java web service 上传下载文件

转自：1、新建动态web工程youmeFileServer，新建包com，里面新建类FileProgresspackage com;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.sql.Date;impor

2013-11-30 10:58:16 730

转载 webservice文件上传下载（byte[] 实现方式）

转自：http://huangqiqing123.iteye.com/blog/1454819测试环境：axis2-1.6.1、6.0.20、jdk1.5 说明：本方式仅适用于文件小于10M的场景（否则会出现内存溢出），大文件的上传下载应另选其他方式。 1、创建要发布成webservice的java类。import java.io.FileI

2013-11-30 10:45:41 955

转载 Deep learning：一(基础知识_1)

转子：http://www.cnblogs.com/tornadomeet/archive/2013/03/14/2959138.html　前言:　　最近打算稍微系统的学习下deep learing的一些理论知识，打算采用Andrew Ng的网页教程UFLDL Tutorial，据说这个教程写得浅显易懂，也不太长。不过在这这之前还是复习下machine learning的基础知

2013-05-06 14:24:40 668 1

转载 TF-IDF与余弦相似性的应用（三）：自动摘要

转自：http://www.ruanyifeng.com/blog/2013/03/automatic_summarization.html有时候，很简单的数学方法，就可以完成很复杂的任务。这个系列的前两部分就是很好的例子。仅仅依靠统计词频，就能找出关键词和相似文章。虽然它们算不上效果最好的方法，但肯定是最简便易行的方法。今天，依然继续这个主题。讨论如何通过词频

2013-04-02 10:48:45 766

转载文本自动摘要的方法研究

转自：http://bbs.itqy8.com/topic/300文本自动摘要经历几十年的研究,主要采用以下四种方法:基于统计的自动摘要、基于理解的自动摘要、基于信息抽取的自动摘要和基于结构的自动摘要。4.1基于统计的自动摘要基于统计的自动摘要也称为自动摘录,是将文本视为句子的线性序列,将句子视为词的线性序列。包括以下步骤:(1)原始文本处理:按照计算机能够识别的形式输

2013-04-02 10:21:15 745

转载画了个Android——Canvas类的使用

转自：http://blog.sina.com.cn/s/blog_61ef49250100qw9x.html画了个Android 今晚瞎折腾，闲着没事画了个机器人——android，浪费了一个晚上的时间。画这丫还真不容易，为那些坐标，差点砸了键盘，好在最后画出个有模有样的，心稍安。下面来看看画这么个机器人需要些什么东西：主要是Canvas类

2012-09-20 16:32:05 967 1

原创 Android 新建工程 Your project contains error(s)，please fix them before running your application错误

1.当安装好android后,新建的工程运行时，弹出对话框“Your project contains error(s)，please fix them before running your application ”，下面出现“Manifest attribute 'minSdkVersion' is set to '***'.Integer is expected.”的错误提示？ (

2012-09-08 10:01:54 1400

原创机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用

2012-08-27 16:52:38 874

转载 Google Dremel 原理 - 如何能3秒分析1PB

转自：http://www.yankay.com/google-dremel-rationale/简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce的发起人，Google开发了Dremel将处理时间缩短到秒级，作为MapReduce的有力补

2012-08-24 10:39:26 840

转载查询利器-bloom-filter详解

转自：http://www.yankay.com/%E6%9F%A5%E8%AF%A2%E5%88%A9%E5%99%A8-bloom-filter%E8%AF%A6%E8%A7%A3/布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远

2012-08-24 10:33:57 684

转载图片存储架构学习：缓存，架构师的美丽小三（一）

2012-08-21 14:20:54 5944

转载 HDFS小文件问题及解决方案

转自：http://dongxicheng.org/mapreduce/hdfs-small-files-solution/1、概述小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 00

2012-08-21 10:55:03 1177

转载 c++ hash_map 详细介绍

转自：http://yujiawei.iteye.com/blog/409774为什么需要hash_map 用过map吧？map提供一个很常用的功能，那就是提供key-value的存储和查找功能。例如，我要记录一个人名和相应的存储，而且随时增加，要快速查找和修改：岳不群－华山派掌门人，人称君子剑张三丰－武当掌门人，太极拳创始人东方不败－第一高手，葵花宝典 ...

2012-08-19 16:24:30 507

转载海量数据面试题整理

1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。s 遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的大约为3

2012-08-16 22:58:46 495

转载 Trie树|字典树的简介及实现

Trie,又称字典树、单词查找树,是一种树形结构，用于保存大量的字符串。它的优点是：利用字符串的公共前缀来节约存储空间。相对来说,Trie树是一种比较简单的数据结构.理解起来比较简单,正所谓简单的东西也得付出代价.故Trie树也有它的缺点,Trie树的内存消耗非常大.当然,或许用左儿子右兄弟的方法建树的话,可能会好点.其基本性质可以归纳为：1. 根节点不包含字符，除根节点外每一个节

2012-08-16 19:05:16 644

转载 MapReduce 编程模型在日志分析方面的应用

转自：http://www.ibm.com/developerworks/cn/java/java-lo-mapreduce/#简介：日志分析往往是商业智能的基础，而日益增长的日志信息条目使得大规模数据处理平台的出现成为必然。MapReduce 处理数据的有效性为日志分析提供了可靠的后盾。本文将以对访问网页用户的日志进行分析，进而挖掘出用户兴趣点这一完整流程为例，详尽解释 Map

2012-08-08 13:55:11 1006

转载 Yahoo持续的Pig/Hadoop(MapReduce)工作流

最近在Sigmod2011年大会上，Yahoo公司publish了一篇文章叫做Nova:Continuous Pig/Hadoop Workflows.由于小弟之前一直关注MapReduce工作流的优化，而且毕业开题的方向也和这篇文章的Motivation有些相近，就抽时间研读了一下。Nova这篇文章是Christopher在Yahoo研究院做的一项工作，Chris长期钻研MapReduc

2012-06-04 22:14:57 995

转载从决策树学习谈到贝叶斯分类算法

转自：http://blog.csdn.net/v_july_v/article/details/7577684第一篇：从决策树学习谈到贝叶斯分类算法引言最近在面试中，除了基础 & 算法 & 项目之外，经常被问到或被要求介绍和描述下自己所知道的几种分类或

2012-05-19 02:10:12 2926

转载基于云计算平台的并行数据挖掘

转自：http://bbs.sciencenet.cn/home.php?mod=space&uid=425672&do=blog&id=321016采用云计算技术，实现海量数据的存储、分析、处理、挖掘，提供高可靠性、高性能的数据挖掘分析。从系统架构来讲，基于云计算的并行数据挖掘工具平台包括三个层次，依下而上为分布式计算层；数据挖掘平台层；业务应用层（1）分布式计算

2012-04-06 21:31:32 510

转载输入法程序[ime]的调试方法

输入法程序[ime]的调试方法以自由拼音(freepy3.1)为例第一步：安装freepy3.1第二步：a)如果是VC6.0 打开freepy3.1工程，打开vc主菜单的Project/settings的Link属性页下的output file name 下输入 c:\\winnt\\system32\\freepy.ime, 这是win2000,如果是xp则可能

2012-03-17 11:31:34 588

转载 Java过滤特殊字符的正则表达式

转自：http://www.iteye.com/topic/350789在网上找了好久也没找到个合适的正则表达式以过滤特殊字符；自己学习了下，写了两个，实现要求。// 过滤特殊字符 public static String StringFilter(String str) throws PatternSyntaxException {

2012-03-16 14:08:59 373

转载手把手教你把Vim改装成一个IDE编程环境(图文)

转自：http://blog.csdn.net/wooin/article/details/1858917手把手教你把Vim改装成一个IDE编程环境(图文)By:吴垠Date:2007-09-07Version:0.5Email:lazy.fox.wu#gmail.comHomepage:http:

2012-03-08 16:18:26 268

转载使用 Nginx 配置jsp服务器

转自：http://hi.baidu.com/guolibo/blog/item/62f958df58f3bc1a495403f9.htmlNginx 简介Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的

2012-03-07 09:43:49 475

转载 FreeType编译及使用心得

转自：http://www.cnblogs.com/shtianhai/archive/2010/09/02/1816235.htmlFreeType是一款字体服务库，它支持多种字体，并且提供高效，高质量的文字。freetype相关介绍见：http://blog.csdn.net/ganxingming/archive/2006/06/05/774796.aspx

2012-03-01 19:18:06 369

转载简单解读linux的/proc下的statm、maps、memmap 内存信息文件分析

转自：http://hi.baidu.com/deep_pro/blog/item/5a9d5b9487b23314d31b7079.htmlhttp://blog.chinaunix.net/space.php?uid=13889805几乎看什么内核漏洞分析之类的文章，第一眼都是被 cat /proc/{pid}/maps产生的一堆奇怪的信息唬住了，都不敢往下看居然没

2012-03-01 16:24:05 234

转载浅谈内存分析

转自：http://blog.csdn.net/yingjiebohe/article/details/7293906算是在前人的基础上改动的吧。只知其表，不知其理。这是我们衡量一个人专业知识是否有深度的基本法则？作为初来乍到的程序猿来说，内存分析是我们编写速度快、效率高的代码必不可少的知识。如果自己编写的代码在内存的分配一无所知，我想这样的程序让你去优化，应该是无从下手的。

2012-03-01 15:46:50 309

原创 Freetype笔记-配置文件

参考网站：http://blog.goggb.com/?post=220目标是学习如何使用freetype，如何编译以及如何裁剪和读取部分源码。在这里跟大家分享一下。（1）建议看看源代码中docs/CUSTOMIZE 这个文件，来指导你如何定制编译freetype功能。特别注意的是，你可以通过更改include/freetype/config/ftoption.h 这个文件里的

2012-03-01 09:14:00 300

转载 Freetype学习笔记

转自：http://blog.csdn.net/absurd/article/details/1354499GTK+(基于DirectFB)的字体绘制是通过pango+freetype+fontconfig三者协作来完成的，其中，fontconfig负责字体的管理和配置，freetype负责单个字符的绘制，pango则完成对文字的排版布局。而我对这一部分的了解，基本上是空白的。这两

2012-02-28 14:07:56 340

转载 Hbase技术介绍

转自：http://www.searchtb.com/2011/01/understanding-hbase.html这个网站还不错有很多淘宝的技术文章，建议大家多看看HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

2012-02-24 17:06:05 541

原创 Android Application 创建全局变量

以前都是建立一个ConstData的类来保存全局用的变量，但是有时候确实是有点小问题。所以研究了一下使用Application来建立全局变量，下面就是代码，主要分为四个文件：（1）是MyApplication类，保存全局变量以及变量的查询和修改（2）TestAndroid 类也是主类（3）otherActivity 另外一个类调用全局变量试试是不是被主类改变了（4）manif

2012-02-23 16:51:13 4160 1

原创 Android获取GPS坐标

package an.android.application;import java.util.Iterator;import android.app.Activity;import android.content.Intent;import android.location.GpsSatellite;import android.location.GpsStatus;impo

2012-02-15 21:07:44 1338

转载 mahout in action 1 初识Mahout

http://running.iteye.com/blog/914775本章内容： .什么是mahout .初识推荐引擎，聚类，分类在现实生活 .建立mahout 你们可能已经从标题中猜出,这本书是关于一个特定的工具Mahout,在现实生活中使用。那么什么是mahout？ Mahout是一个Apache的开源机器学习项目。该算法属于广阔的 “机器学习

2012-01-20 10:23:25 707

转载 Hadoop平台优化综述

1. 概述随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：（1） Namenode/jobtracker单点故障（一般使用zookeeper来做

2012-01-19 17:51:11 1038

转载 HDFS小文件问题及解决方案

参考：http://dongxicheng.org/mapreduce/hdfs-small-files-solution/HDFS上每个文件都要在namenode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用namenode的内存空间，另一方面就是索引文件过大是的索引速度变慢，解决的方式（1）Hadoop本身提供了

2012-01-19 15:56:15 527

原创 Hadoop pipes编程

1. Hadoop pipes编程介绍Hadoop pipes允许C++程序员编写mapreduce程序，它允许用户混用C++和Java的RecordReader， Mapper， Partitioner，Rducer和RecordWriter等五个组件。关于Hadoop pipes的设计思想，可参见我这篇文章：Hadoop Pipes设计原理。本文介绍了Hadoop pipes编程的基本方法

2012-01-19 11:13:08 714

转载 Hadoop Streaming 编程

1、概述Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-stre

2012-01-18 15:31:04 510