houmou-CSDN博客

原创每次进步一点点——linux expect 使用

介绍expect是建立在tcl基础上的一个工具，它可以让一些需要交互的任务自动化地完成。相当于模拟了我们和命令行的交互操作。一个具体的场景：远程登陆服务器，并执行命令

2016-11-09 17:19:04 28195 2

Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）.宽依赖与窄依赖窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应

2016-09-13 23:54:54 31368 4

原创每次进步一点点——spark中cache和persist的区别

昨天面试被问到了cache和persist区别，当时只记得是其中一个调用了另一个，但没有回答出二者的不同，所以回来后重新看了源码，算是弄清楚它们的区别了。cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间。

2016-09-09 23:35:34 42210 4

原创 Hadoop/Spark平台搭建

包括Hadoop/Spark大多数组件的搭建过程，作为记录

2016-09-04 15:35:10 2265

转载数据融合（data fusion）原理与方法

转载地址：http://www.cppblog.com/COOOOOOOOL/archive/2010/03/16/109832.html数据融合（data fusion）最早被应用于军事领域。现在数据融合的主要应用领域有：多源影像复合、机器人和智能仪器系统、战场和无人驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别等等。在遥感中，数据融合属于一种属性融合，它是将同一地区的多源遥感影像数

2016-04-27 12:52:55 47235 2

原创 linux 下的文件编码格式转换

使用场景：在 linux 平台上对文件格式进行转换，比如将GBK格式的文件转换为UTF8格式转换方法 1. 使用 iconv 2. 使用enca

2016-04-05 14:32:09 2844

原创 Linux 基本命令不能用的解决方法

问题描述最近某次，新建一个ssh客户端后，发现好多命令都不能用了比如：ls, vi, cat等，提示：-bash: XX: No such file or directory但在其它还未关闭的ssh终端中可以使用

2016-03-31 00:24:00 20643

原创 Oracle ORA-01033: 错误解决办法

Oracle ORA-01033: ORACLE initialization or shutdown in progress 错误解决办法

2016-03-28 15:17:07 19746 1

原创运行python版本的Spark程序

使用 spark-submit 解释执行python脚本使用 python 解释执行python脚本引入pyspark和py4j这两个模块

2016-03-18 17:59:42 11374

原创 SVN 无法连接的解决方法：网络代理

可以通过网页访问，但不能通过TortoiseSVN访问，出现如下错误信息： Unable to connect to a repository at URL ‘https://IP/svn/XXX’ Error running context: 在其上下文中，该请求的地址无效

2016-03-15 11:36:00 11444 1

转载 CentOS挂载U盘、移动硬盘以及文件拷贝、备份

CentOS挂载U盘、移动硬盘

2016-02-26 22:12:04 11279

原创 Spark平台上的JavaWordCount示例

Spark平台上的JavaWordCount示例

2016-01-17 21:33:40 6456

原创 lambda演算

由简入深，适时复习，温故知新。λ演算基于最简单的定义函数的思想：一为函数抽象λx.E，由λ说明的x在函数体E中出现均为形参变元。E是一个λ表达式。一为函数应用(λx.E)(a),即E中的x均由a置换变成E(a)。

2015-11-03 15:50:40 2417

原创使用sLDA

说明LDA是一个文本主题分类模型，sLDA是有监督的LDA。LDA的具体讲解请参考博客通俗理解LDA主题模型。在 https://www.cs.princeton.edu/~blei/topicmodeling.html 上有LDA的多种语言编写的程序。由于实验需要，我用的是C++版本的 sLDA ，上面有算法、说明以及实验数据。使用方法只介绍在Linux系统上的使用方法，我的系统是CentOS

2015-10-31 14:13:06 6165 3

原创群体智能利用：验证码识别

今天听师兄说了在日本听到的一件事，真正把验证码识别利用起来了。策略是这样的，在用户提交表单（登录，注册等）时，会同时出现两个验证码，你需要输入这两个验证码的内容。后台只知道其中一个验证码的答案，另一个不知道；同时，用户也不知道后台知道哪一个。当用户点击提交后，后台会继续以下操作：判断已知的那张验证码，是否正确，若正确，则提交成功，并执行第2步（不耽误用户其后的操作）；否则，判断为不正确，结束。

2015-10-22 20:36:40 1475

原创 atoi-字符串转Int的实现

atoi-字符串转Int的实现要考虑的问题-忽略前导空白（空格和Tab）-溢出关于INT_MIN的定义

2015-10-22 19:56:14 704

原创 MySQL数据库的一些操作

MySQL数据库的一些操作 : 用户管理以及数据库，数据表操作

2015-09-07 12:52:34 569 1

原创 Java 调用 matlab 程序

将matlab程序打包成jar包，然后供java程序调用

2015-09-07 12:05:01 1088

原创 Eclipse中打印内容写入文件

用Eclipse中编写程序，当程序比较大，打印（System.out.println()）的东西比较多时，在控制台中查看打印内容不是很方便，想把打印内容同时输入到文件中，这样既能方便的查看，又能保存结果。如果直接将System.out.println()的内容用文件写操作再写一遍，会比较费时费力，特别是对于有很多打印语句的工程，这将会非常繁琐。其实我们只需要在eclipse中做一些设置，便可实现

2015-08-12 13:30:23 2730

原创在Django 模板中使用session

在Django 模板中使用session需求实现权限管理：登录网站后，需要在页面上显示用户名，以及根据用户的角色（也存在于session中）显示不同的菜单。

2015-07-20 18:47:30 6190

原创 JavaScript 函数返回值

JavaScript定义带返回值的函数有两种方法：1. 用var function_name = function(){}方式定义，示例如下: // 这种方式需要将var getCurrentTime定义在调用之前var getCurrentTime = function(){ var now = new Date(); var timeStr = now.getHours()

2014-12-24 22:33:47 14619

原创初识Prolog

对Prolog的初步了解刚接触Prolog，对其能做的事甚感兴趣。严格来说，我不认为这是程序，因为它执行哪一步不是由人来确定的，好像是有了初级的“智能”。你定义一些规则，然后提出一个问题，它就会按这些规则来找答案。比如有如下规则： father(X,Y). % X是Y的father %X是Z的grandfather的条件是：X是Y的fath

2014-12-10 14:20:15 8804 2

原创两道λ演算作业

简单介绍λ演算的三个规则，后面附上两道题目

2014-12-03 20:15:38 2017 4

winx64 Oracle12c安装步骤

winx64 Oracle12c安装步骤，里面有图文说明

2016-03-30

Prolog编程工具—SWI Prolog

命令行交互方式编程使用请参考http://blog.csdn.net/houmou/article/details/41845595

2014-12-12

贪吃蛇(MFC)

自己编的，可播放背景音乐，画面不好也不坏，以资源共享为目的。

2013-03-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

housir的专栏