andyelvis-CSDN博客

原创 Hadoop ClassPath

编写实际生产用的hadoop mapreduce程序的时候，通常都会引用第三方库，也就会碰到ClassPath的问题，主要是两种情况：找不到类ClassNotFound库的加载顺序不对，就是第三库引用了一个比较通用的库，比如jackson-core-asl，而hadoop包含了这个库，但是版本稍低，默认情况下hadoop会优先加载自身包含的库，这样就会造成引用库的版本不对，从而出现找不到类会类中

2016-04-09 11:14:22 16055 3

原创 Hadoop Lzo

hadoop lzo解压lzo1x_decompress_safe returned错误解决方法

2016-03-08 00:22:05 1873

原创 MPI_Cart_shift函数详解

int MPI_Cart_shift(MPI_Comm comm, int direction, int disp, int *rank_source,int *rank_dest)在具有笛卡尔拓扑结构的通信器中，给定一个数据平移的维度和步长，返回数据平移的源进程号和目的进程号。

2015-01-13 14:48:55 5091

转载极大似然估计和贝叶斯估计

转载于http://blog.sciencenet.cn/blog-520608-703219.html极大似然估计和贝叶斯估计分别代表了频率派和贝叶斯派的观点。频率派认为，参数是客观存在的，只是未知而矣。因此，频率派最关心极大似然函数，只要参数求出来了，给定自变量X，Y也就固定了，极大似然估计如下所示:D表示训练数据集，是模型参数相反的，贝叶斯派认为参数也是随机的，和一般

2015-01-05 15:04:06 21164 2

原创 Hadoop源码浅析——Job提交相关

Configuration类是用来访问hadoop的配置参数的。Configuration类首先会通过静态代码段加载hadoop的配置文件core-default.xml和和core-site.xml，相关代码如下：static{ //print deprecation warning if hadoop-site.xml is found in classpath C

2012-07-01 10:16:10 10119 2

原创 Ant脚本文件build.xml模版

init... compile source code make jar file compile test source code

2012-03-09 16:31:05 1727

翻译 Protocol Buffers Encoding

本文档介绍了protocol buffer消息的二进制格式。在你的应用程序中使用protocol buffers的时候，你不需要理解这些，但是对于你想知道不同的protocol buffer格式如何影响你的消息编码的大小是非常有用的。一个简单的消息假设你有如下的一个简单的消息定义：message Test1 { required int32 a = 1;} 在一个应用程

2012-03-03 17:13:32 2556

翻译 SCons用户指南第八章：自动将命令行选项赋值给Construction变量

1、将选项合并到环境中：MergeFlags函数SCons的construction环境有一个MergeFlags方法，此方法将一个值的字典合并到construction环境中。MergeFlags将字典中的每个值看做一个选项列表。如果一个选项已经在construction环境变量中存在了，MergeFlags将不会重复设置这个选项。当合并选项到任何一个名字在PATH中的变量的时候，Mer

2012-02-29 23:46:37 4499 1

原创 Hadoop中一些采样器的实现

Hadoop中采样是由org.apache.hadoop.mapred.lib.InputSampler类来实现的。InputSampler类实现了三种采样方法：SplitSampler、RandomSampler和IntervalSampler。SplitSampler、RandomSampler和IntervalSampler都是InputSampler的静态内部类，它们都实现

2012-02-26 08:54:03 5854

翻译 scons用户指南第七章：环境

一个环境就是能够影响一个程序如何执行的值的集合。SCons里面有三种不同类型的环境：External Environment（外部环境）：外部环境指的是在用户运行SCons的时候，用户环境中的变量的集合。这些变量在SConscript文件中通过Python的os.environ字典可以获得。Construction Environment（构造环境）：一个构造环境是

2012-02-18 11:27:04 9932 1

翻译 scons用户指南第六章：依赖性

到目录为止，我们已经看到了SCons是如何一次性编译的。但是SCons这样的编译工具的一个主要的功能就是当源文件改变的时候，只需要重新编译那些修改的文件，而不会浪费时间去重新编译那些不需要重新编译的东西。如下所示：% scons -Qcc -o hello.o -c hello.ccc -o hello hello.o% scons -Qscons: '.' is up to

2012-01-03 22:34:20 7107 1

翻译 scons用户指南第五章：节点对象

1、编译方法返回目标节点列表所有编译方法会返回一个节点对象列表，这些节点对象标识了那些将要被编译的目标文件。这些返回出来的节点可以作为参数传递给其他的编译方法。例如，假设我们想编译两个目标文件，这两个目标有不同的编译选项，并且最终组成一个完整的程序。这意味着对每一个目标文件调用Object编译方法，如下所示：Object('hello.c', CCFLAGS='-DHELLO')O

2011-12-19 15:02:53 3977

翻译 scons用户指南第四章：编译和链接库文件

1、编译库文件你可以使用Library方法来编译库文件：Library('foo', ['f1.c', 'f2.c', 'f3.c'])SCons会根据你的系统使用合适的库前缀和后缀。所以在POSIX系统里，上面的例子会如下编译：% scons -Qcc -o f1.o -c f1.ccc -o f2.o -c f2.ccc -o f3.o -c f3.car rc

2011-12-16 11:07:05 10691 2

翻译 scons用户指南第三章：编译相关的一些事情

1、指定目标文件的名字当你调用Program编译方法的的时候，它编译出来的程序名字是和源文件名是一样的。下面的从hello.c源文件编译一个可执行程序的调用将会在POSIX系统里编译出一个名为hello的可执行程序，在windows系统里会编译出一个名为hello.exe的可执行程序。Program('hello.c')如果你想编译出来的程序的名字与源文件名字不一样，你只需要在源文件名

2011-12-15 14:56:21 5535

翻译 scons用户指南第二章：简单编译

1、编译简单的C/C++程序这是一个用C语言编写的著名的"Hello,World!"程序：int main(){ printf("Hello, World!\n");}用SCons编译它，需要在一个名为SConstruct的文件中输入如下命令：Program('hello.c')这个短小的配置文件给了SCons两条信息：你想编译什么（一个可执行程序）

2011-12-11 11:17:41 9667

翻译 scons用户指南第一章：编译和安装SCons

1、安装Python因为SCons是用Python编写的，所以你必须在使用SCons之前安装好Python。你在安装Python之前，应该注意查看Python是否在你的系统里已经可用了（在系统的命令行中运行python -V或python --version）。$python -VPython 2.5.1在一个Windows系统里，C:\>python -VPython 2

2011-12-08 23:45:25 37287 5

原创 HTTP协议

HTTP协议是一个基于请求/响应模式的、无状态的协议。HTTP是应用层的协议，其下层是利用TCP协议来完成的。在HTTP1.0中，当连接建立后，客户端（浏览器）发送一个请求，服务器回应一个消息，之后，连接就被关闭了。在HTTP1.1中，给出了一个持续连接的机制，客户端（浏览器）在建立一个连接之后，发送请求得到回应，然后可以继续发送请求并再次得到回应。HTTP请求由三部分组成：请求行、消息报头和

2011-10-29 17:49:14 1328

原创 hadoop-*-streaming.jar源码浅析

Main-Class为HadoopStreaming，主函数：public static void main(String[] args) throws Exception { int returnStatus = 0; StreamJob job =

2011-09-18 17:53:38 3479 1

翻译代理模式

目标：1、为另一个对象提供一个代理去控制对它的访问2、使用一种间接的方式来支持分布式的、受控制的或者智能的访问3、增加一个包装器和委托来避免给实际的组件带来过多的复杂性问题：你需要支持资源消耗严重的对象，但是你又不想实例化这样的对象，除非the cli

2011-08-28 18:36:56 893

翻译理解Tomcat的Classpath-常见问题以及如何解决

在很多Apache Tomcat用户论坛，一个问题经常被提出，那就是如何配置Tomcat的classpath，使得一个web应用程序能够找到类或者jar文件，从而可以正常工作。就像许多困扰Tomcat新用户的问题一样，这个问题也很容易解决。在这篇文章中，我们将会介绍Tomcat是

2011-08-25 22:49:28 19285

原创 Weka的包管理器实现机制

Weka里的包由jar文件、文档、元数据或者源代码组成。每个包里面有一个Description.props说明文件，这个说明文件说明了包的一些属性：PackageName、Version、Depends、PackageURL、MessageToDisplayOnInstallat

2011-08-20 08:38:14 1847

转载 while(cin>>str)结束的问题

转自http://dreamerate.blogbus.com/logs/4743427.html 有网友问我她写的while(cin>>str)...为何无论如何总是无法结束？其实在你输入完字符串后，键下回车后，再ctrl+Z（windows环境下是ctrl+z，而linux/unix下是ctrl+d）就OK了！至于原因如下：cin是终端输入，也被称之为标准输入(standard i

2009-09-08 00:06:00 6555 1

大家在实际工作学习C#的时候，可能会问：为什么我们要为一些已经存在的功能（比如Windows中的一些功能，C++中已经编写好的一些方法）要重新编写代码，C#有没有方法可以直接都用这些原本已经存在的功能呢？答案是肯定的，大家可以通过C#中的DllImport直接调用这些功能。DllImport所在的名字空间 using System.Runtime.InteropServices;MSDN中对Dll

2009-08-11 21:08:00 910

原创 map按值排序

在STL中，map是按键来排序的，但很多时候需要按值来排序。一种方法是将map转化为vector，然后排序。 tool.h#ifndef TOOL_H#define TOOL_H#include #include #include #include #include using namespace std;void sortMapByValue(map&

2009-07-19 20:29:00 5292 2

转载 VS找不到MFC90d.dll错误

VS 2005/VS 2008在生成可执行文件时使用了一种新的技术，该技术生成的可执行文件会伴随生成一个清单文件（manifest file）（.manifest后缀文件）（其本质上是XML文档，你可以用文本编辑器打开看看），并在链接完成后将该清单文件嵌入到exe文件中（默认情况下）。而在FAT32文件系统中，在处理清单文件阶段，当增量链接时不能完成清单文件的更新（默认情况下），于是造成清单文件嵌

2009-07-11 23:58:00 4646 7

原创读取Nutch爬取的网页内容

进入nutch的安装目录，运行命令： bin/nutch readseg -dump db/segments/20090525140014 segdb -nocontent -nofetch -nogenerate -noparse -noparsedata db/segments/20090525140014为一个segments文件夹，segdb为存放转换后的内容的文件夹

2009-05-25 15:53:00 4692

转载 How-to：Linux入门之阅读man手册页

Table of Contents1 什么是man手册2 从man手册中获取有用的信息3 man手册页的操作3.1 退出man3.2 查找3.3 打印1 什么是man手册首先，man是manual的简称，中文说法可以是手册。在Linux世界中，许多新手请教某条命令的用法时，好多不耐心的老手通常会用一条命令来回答这位无助的新手，而这条命

2009-04-02 23:02:00 4792 3

原创无法从"const char [11]"转换为"LPCWSTR"等问题

在visual studio2008中要创建进程或线程、执行ShellExecuteEx等函数的时候，一般要去执行一个可执行程序命令，如何我们执行"xxx.exe"作为参数传进去，就会出现标题中的错误。产生这个的原因是：这个VS2008默认使用的是Unicode的！就是宽字符集！解决方法：将"xxx.exe"换成L"xxx.exe"即可。

2009-03-24 21:39:00 4849 2

转载关于VC2008下提示找不到MSVCP90D.dll的解决办法

2009-03-24 19:52:00 1531

原创 Linux下安装mplayer

1.下载安装文件下载源代码Subversion snapshot下载编解码器包Linux x86 20071007下载皮肤Abyss 2.安装编解码器包tar -jxvf essential-20071007.tar.bz2 //解压编解码器包然后将解压后的所有文件移动到/usr/local/lib/codecs目录下 3.编译安装mplaye

2009-03-11 10:43:00 1449

转载动态库与静态库的原理介绍

在UNIX的应用开发中，静态库和动态库都是我们经常用到的技术，有必要对这两个概念及其原理做一些介绍。静态库静态库是一些目标文件的集合，通常为后缀为.o的文件，通过ar工具打包而成，命名格式为libxxx.a，其中xxx为给定的静态库文件名，如libm.a，为数学函数库，用户也可以命名自己的库。在创建可执行程序的过程中，静态库同时被链接到程序代码，被主程序调用

2009-03-06 14:11:00 5366 2

原创 grub进入windows和linux

装了windows和linux双系统，突然开机后没有出现启动菜单，而是出现了[ Minimal BASH-like line editing is supported. For the first word, TABlists possible command completions. Anywhere else TAB lists thepossible completions

2009-02-28 18:09:00 4260 3

原创 Fedora关闭SELinux正确的方法

方法如下：修改/etc/selinux/config文件中的SELINUX="" 为 disabled，然后重启。

2009-02-27 22:08:00 8790

原创 Fedora10下Mysql的安装与启动

1. 切换至root用户[AndyJiang@AndyJiang ~]$ su密码： [root@AndyJiang AndyJiang]# 2. 安装Mysql[root@AndyJiang AndyJiang]# yum install mysql mysql-server mysql-libs 如果出现“恭喜你!成功完成！”，表示安

2009-02-22 09:02:00 1571 1

原创 Tomcat在Fedora10下的安装

前提是安装好jdk，并配好环境变量首先下载tomcat，将其解压缩到一个目录接下来就是设置环境变量，su密码#vi /etc/profile把下面的东西加入到最后#------------tomcat---------------------------CATALINA_BASE=tomcat解压缩目录CATALINA_HOME=tomcat解压缩目录

2009-02-17 20:33:00 936

原创 Oracle10g安装过程解决网络配置检测

在安装ORACLE 10G前系统会检测安装的一些前提条件是否满足，往往会提示说：将Microsoft LoopBack Adapter配置为系统的主网络适配器。如果你没有这样配置，且你不希望安装过程由于这个而出错，那么过程如下：(1)停掉当前的网络连接；(2) 控制面板-->添加硬件-->下一步-->是，我已经连接了此硬件-->添加新硬件-->安装我手动从列表选择的硬件-->网络适配器-->mic

2008-12-10 00:55:00 2120

转载 Fedora is not in the sudoers file

解决方案：首需要切换到root身份$su -(注意有- ，这和su是不同的，在用命令"su"的时候只是切换到root，但没有把root的环境变量传过去，还是当前用户的环境变量，用"su -"命令将环境变量也一起带过去，就象和root登录一样)然后$visudo //切记，此处没有vi和sudo之间没有空格1、移动光标，到最后一行2、按a，进入append模式3、输入your_user_na

2008-11-27 22:54:00 3293

原创 Windows下硬盘安装Fedora10

弄了一下午终于从硬盘安装Fedora10成功了。安装之前参考了很多网友的方法，他们说的大多是安装10之前的版本。从硬盘安装Fedora10和安装之前的版本绝不部分步骤是一致的，但有几步有些不同，开始没意识到，才弄了一下午，现在我把完整过程整理一下。我机器的操作系统是WindowsXP，C盘是NTFS格式的，D到F盘是FAT32格式的。安装步骤：1.用PartitionMag

2008-11-27 18:13:00 5320

原创 Apache Web Server和PHP安装配置

Apache Web Server的安装 1 点击apahce安装包 2 接受协议 3 下面3项随便填即可 apache 监听80 端口.如果iis用了80端口,修改iis端口或者apache端口,以免冲突 4 这里默认的是 typical,建议选custom,点击next. 5 这里可用修改安装路径,注意安装路径不能含中文. 6 点击install开始安装 7 安

2008-11-17 18:42:00 4279

转载 SQL Server 2008 安装过程中遇到“性能计数器注册表配置单元一致性”检查失败问题的解决方法

原文出自：http://www.cnblogs.com/bigboo/archive/2008/09/30/1302483.html 在Windows Server 2003 、Windows XP或者Windows 2000中安装 SQL SERVER 2008 开发版和企业版时，会遇到“性能计数器注册表配置单元一致性”检查失败的问题（Windows Server 2008 由于暂时没

2008-11-08 11:04:00 20643 4

Developing Enterprise Web Services:An Architecut's Guide

sybase数据库命令指南

sybase在linux下安装指南

sybase在windows下安装指南

Java2教程

DB2 SQL Reference

wincvs从入门到精通

CVS中文指南

空空如也