deqingguo-CSDN博客

原创 python使用urllib2抓取网页

1、使用python的库urllib2，用到urlopen和Request方法。2、方法urlopen原形urllib2.urlopen(url[, data][, timeout])其中：url表示目标网页地址，可以是字符串，也可以是请求对象Requestdata表示post方式提交给目标服务器的参数timeout表示超时时间设置改方法返回一个类似文件

2012-08-09 22:45:00 20764

原创在Hadoop的streaming中使用自定义的inputformat和outputformat

在Hadoop的streaming中有一个选项是指定输入输出格式化的-inputformat TextInputFormat(default)|SequenceFileAsTextInputFormat|JavaClassName Optional.-outputformat TextOutputFormat(default)|JavaClassName Optional.

2012-03-31 11:31:28 5383

原创 Hadoop Counters

Hadoop Counters是用于计数的，我们可以定义一些计数器，用于执行过程的计数，在执行完任务，会将计数器的值打印在控制台，也可以通过WEB查看，方便调试，因为在执行MapReduce的过程中，不能打印信息：定义格式如下：HadoopPipes::TaskContext::Counter*mapCounter;注册：mapCounter = context.getCounte

2011-12-01 17:04:10 4607

原创 Hadoop通过C的API访问HDFS

在通过Hadoop的C的API 访问HDFS的时候，编译和运行出现了不少问题，在这边，做个总结吧：系统：Ubuntu11.04，Hadoop-0.20.203.0样例代码就是参考官方文档中提供到：#include "hdfs.h" int main(int argc, char **argv) { hdfsFS fs = hdfsConnect("defaul

2011-11-23 17:34:52 8949

原创 excel文件中的多个工作表按名称排序

使用excel时，有时会碰到一个表格里面很多的sheet，比如sheet11，sheet23。。。当这些sheet是无序的时候，查找一个sheet很疼，所有想按sheet来排序下，但是excel本身又不提供按sheet排序的方法，所有就上网找了下解决方法，发现得通过excel的VB编程模式，随便右击一个sheet名称，选择“查看代码”，在弹出的界面中加入以下代码：Sub Sort_S

2011-11-03 20:08:42 26930 1

ajax给了我们很多方便，不用页面跳来跳去，也让页面的功能越来越强大，用ajax可以实现输入框的自动匹配、用户注册验证用户名是否存在、登录验证其密码是否正确等。但是昨天，做一个搜索地图模块时，纠结了一个下午加今天一个早上，就因为不懂ajax的基本原理，导致一直调试，同样的值，在一个地方alert两次，前面为空，后面可以。通过查阅相关资料，发现其根本原因就是ajax的异步特点。在你调用的服务器还未响

2011-10-26 15:41:28 8487 1

原创 Spring连接数据库MySQL

参考spring官方指导：https://spring.io/guides/gs/accessing-data-mysql/准备环境：1）安装MySQL，可以直接官网下载一个免安装版的，可以参考这篇文章，在启动mysql服务（net start mysql）的过程中有碰到启动不起来，报错：服务没有响应控制功能，这个是因为少了VC的运行库，可以到微软官网（https://support.microsoft.com/en-us/help/2977003/the-latest-supported-visu

2021-05-14 16:27:10 1018

原创 Spring的第一个Demo

------来自Spring官网指导的Spring Quickstart Guide需要环境：1）JDK安装好，目前官方建议的版本是jdk8-112）开发环境（IDE），现在用比较多的是IDEA，我安装的也是IDEA。早期在校期间用的Eclipse。1、用start.spring.io创建一个Demo：2、用IDEA打开下载下来的项目，编辑这个文件：src/main/java/com/example/demo的DemoApplication.javapackage com.e

2021-05-14 11:09:53 192

原创 ubuntu安装jdk7小记

ubuntu版本12.04 64位安装过程：1、下载jdk-7u15-linux-x64.tar.gz下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html要注意系统版本的选择，32位的机子选择jdk-7u15-linux-i586.tar.gz2、解压

2013-04-13 11:15:01 1011

原创 Ubuntu图形界面最常见的图形化登录管理器

1、安装基本Ubuntu图形界面：apt-get install xorg gdm ssh 2、安装Gnome桌面:apt-get install gnome-session gnome-menus gnome-panel metacity nautilus 如果你想完全使用Gnome作为桌面的话你还需要安装：apt-get install gnome-applets gnom

2013-04-13 10:55:39 1870

原创关于C语言中的未初始化变量的值

我们在刚学C编程的时候经常碰到“烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫烫”，这是为什么呢？先从上次某公司笔试说起，当时有一题是考到了关于变量初始化的问题。在主函数外面（全局）和里面（局部）个定义一个int类型数值。然后没有赋值，直接打印出来，问输出什么。那会只知道全局默认是0，局部是一个负的挺大的数，还以为是最小整数。回来后试了下，局部的int默认的是-858993460，即0

2013-01-24 20:16:35 16593

原创 Makefile的automake生成（升级版）

环境：Ubuntu 12.04.1 LTSAutoconf 2.65Automake 1.10.2文件目录结构：././include./include/test/Test.h./src./src/test/Test.cpp./app./app/test/main.cpp注：其中include目录放置头文件，src放置cpp文件，app放置要生成的可执行

2012-11-16 10:49:33 3126

转载 linux不需要磁盘碎片整理！

以下内容转载自：http://forum.ubuntu.org.cn/viewtopic.php?t=27451产生碎片整理想法的主要在两类朋友中，一类是受windows思想影响的朋友，还有一类是对操作系统原理有一定程度了解的朋友。　　我在这里先简单地说明一些问题。　　所有地操作系统都会产生磁盘碎片，这正是某些朋友产生疑虑的原因。这个碎片在上面地官方资料中称为内部碎片。

2012-10-15 11:16:17 1090

原创 Hadoop Streaming 常见错误（不断更新ing）

1、streaming默认的情况下，mapper和reducer的返回值不是0，被认为异常任务，将被再次执行，默认尝试4次都不是0，整个job都将失败java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1 at org.apache.hadoop.streamin

2012-09-20 20:16:51 12619 4

转载 C/C++函数调用约定

C/C++函数调用约定关于 C/C++ 函数调用约定，大多数时候并不会影响程序逻辑，但遇到跨语言编程时，了解一下还是有好处的。VC 中默认调用是 __cdecl 方式，Windows API 使用 __stdcall 调用方式，在 DLL 导出函数中，为了跟 Windows API 保持一致，建议使用 __stdcall 方式。调用约定跟堆栈清除密切相关。如果写一个汇编函数，给 C/C

2012-09-18 19:05:58 907

原创 Ubuntu上安装google拼音输入法

1.下载需要下载libgooglepinyin-0.1.1.tar.bz2 和ibus-googlepinyin-0.1.1.tar.bz2 。2.解压tar -xvf libgooglepinyin-0.1.1.tar.bz2 tar -xvf ibus-googlepinyin-0.1.1.tar.bz23.编译安装先编译安装libgoog

2012-07-25 17:22:26 800

原创关于C语言中的volatile变量

volatile的解释：是一个类型修饰符（const也是一个类型修饰符），它是被设计用来修饰被不同线程访问和修改的变量。volatile的作用：作为指令关键字，确保本条指令不会因编译器的优化而省略，且要求每次直接读值。简单地说就是防止编译器对代码进行优化。volatile的例子：并行设备的硬件寄存器（如：状态寄存器

2012-07-24 11:03:47 871

转载 Linux操作系统多线程同步互斥Mutex的使用

1. 初始化在Linux下, 线程的互斥量数据类型是pthread_mutex_t. 在使用前, 要对它进行初始化：对于静态分配的互斥量, 可以把它设置为PTHREAD_MUTEX_INITIALIZER, 或者调用pthread_mutex_init。对于动态分配的互斥量, 在申请内存(malloc)之后, 通过pthread_mutex_init进行初始化, 并且在释放内

2012-07-23 16:29:16 827

原创 Hadoop集群安装

Hadoop的单节点安装见：http://blog.csdn.net/deqingguo/article/details/6907372在单节点的基础上做一些小的改动，集群就ok了～假如有两台机器，59.77.132.34和59.77.132.155，前者做master，后者作为slave：1、可以修改/etc/hosts，对ip进行映射，方便管理。比如在其中添加：59

2012-04-09 09:33:21 675

原创 C语言中的信号处理

程序经常会异常终止（比如段错误），或者认为终止（比如按下了CTRL+C），这时可能一些动态申请的资源就得不到释放，或者程序有些其他需要处理的操作（如保存）。C语言的标准库中提供了一些用于处理处理程序运行期间的异常的功能，如处理来源于外部的中断信号或程序执行期间出现的错误等事件。#include void (*signal(int sig, void (*handler)(int)))(

2012-03-18 11:18:58 2400

原创纠结我好几个礼拜的段错误

被一个段错误纠结了好多天，一直不懂问题出在哪里。因为写了一个函数去调用FirteX2的增量索引接口，然后一直去纠结FirteX2的源码，始终不行，后面把我写的类在调用的地方以传参的形式传过去就莫名其妙的好了。我是在调用的地方（非主函数）的全局那里实例了一个类（不是用new实例），后面改为在主函数那用new去实例，就可以了。猜想可能是因为FirteX2那有用到多线程，然后再调用的地方实例，资源被先释

2012-03-18 11:03:07 726

原创 C语言中的可变参数

1、需要头文件#include 2、函数定义void logcmd(int arg0,...)void logcmd(char *arg0,...)3、解析i、数字类型void logcmd(int n,...){ va_list ap; int i = 0; va_start(ap,n);//使ap指向开始参数 for(;n;n--)//检索参数

2012-03-11 22:47:25 571

原创编码转换之iconv批量转换

将WINDDB文件夹下的文件从GBK编码转为UTF-8编码，结果存到WINDDB_UTF8肿，保持其下的文件目录不变：find WINDDB -type d -exec mkdir -p WINDDB_UTF8/{} \;find WINDDB -type f -exec iconv -f GBK -t UTF-8 {} -o WINDDB_UTF8/{} \;

2012-03-03 11:05:27 5186

原创 Ubuntu下图形界面SVN客户端-RabbitVCS的安装

1.首先添加源：sudo gedit /etc/apt/sources.list加入：##rabbitvcsdeb http://ppa.launchpad.net/rabbitvcs/ppa/ubuntu lucid main2.更新源sudo apt-get update3.安装RabbitVCSsudo apt-get install rabbit

2012-02-22 10:37:38 1910

原创 Makefile的automake生成（HelloWorld）

环境：Ubuntu 11.04Autoconf 2.67Automake 1.11.11、新建目录HelloWorld2、进入该目录，编写HelloWorld.cint main(int argc,char** argv){ printf("Hello World!\n"); return 0;}3、生成configurea、使用autoscan来根据目录

2012-02-09 17:25:03 881

原创本科论文致谢

在完成本论文期间，不少人给了我很大的支持与帮助，在此，请允许我一一致谢！首先，真诚的感谢我的导师***老师，不断的给予我鼓励和建议。从开始的课题选择，材料搜集，知识准备以及后续试验中遇到的种种难题，*老师都给予了我很大的帮助。他有自己的一套非常有效的指导学生的方法，特别是这种偶尔会偷懒的同学非常奏效。相信在接下去的三年里，在*老师孜孜不倦、勤恳严谨的指导下，我将和课题组不断成长

2011-12-01 17:10:07 3639

原创 Hadoop Streaming

Hadoop版本：Hadoop-0.20.204Hadoop的Streaming框架允许任何程序语言实现的可执行程序或者脚本在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java接口获取key/value对输入，创建一个新的进程启动包装的用户程

2011-12-01 10:46:55 1476

原创 c语言的字符串分解——strtok函数和strsep函数

今天才知道原来C语言也有类似java的split的函数，按特定字符对字符串进行分解：strtok的解释和示例：strtokSyntax:#include char *strtok( char *str1, const char *str2 );The strtok() function returns a pointer to the next "token"

2011-11-29 09:45:40 1272

转载 GNU make中文手册（mark）

2011-11-10 18:53:37 713

原创 MyEclipse8.5安装SVN插件

哎，就简简单单的一个插件安装，纠结了我一个晚上，上网搜了N中方法，都不行~~现在分享下，为了避免其他人少走弯路：1、Help->MyEclipse Configuration Center 这个打开不是一般的慢呀~~2、选择图片的右下角位置的：add site3、4、点击ok将图片中的：SVNKit Library、JNA Library等右击，选择Add To P

2011-11-06 18:55:21 779

转载 Ubuntu防火墙 - Ufw

Ufw 是为了使linux防火墙更易于使用和管理，通常已默认安装。ufw与其它linux类防火墙一样，使用iptable作为后台。 1、安装方法：sudo apt-get install ufw 2、启动和简单配置（一般用户足矣）sudo ufw enable sudo ufw default deny命令

2011-11-03 10:37:21 2863

原创分而治之

★ 问题描述：小 D 最近很无聊 , 于是他拿来 N 个大小不一的球 , 然后他将球摆成一条直线 , 用 A1 …… An 表示球的体积大小。然后小 D 发现会有 Ai 和 Aj 之间的所有小球 Ak(i★ 实验任务：给出 Ai …… .Aj 的序列，要你找到满足对于 (i★ 数据输入：输入数据第一行包含一个整数 N 表示有 N ★ 结果输出：输出满足条件的 i

2011-11-02 15:59:28 679

转载 Hadoop中国2011云计算大会

一年一度的Hadoop中国2011云计算大会（Hadoop in China 2011，HiC2011）将于12月2日至3日在北京召开，这将是Hadoop in China社区的一次年度技术盛会！大会将联合国际和国内Hadoop及云计算技术应用的成功企业，并引入国际研究界对于云计算及DISC（Data Intensive SuperComputing）研究方向的学术观点。通过技术应用和科

2011-11-01 18:33:45 794

原创 firtex2-0.4.1到编译安装

平台Ubuntu11.04gcc version 4.4.5automake (GNU automake) 1.11.1bison (GNU Bison) 2.4.1flex 2.5.35libtool 2.2.6b步骤1：从http://www.sourceforge.net/projects/firtex获取最新发布源代码2：plugins死活编译不过，就先

2011-10-30 11:25:45 1548

原创 Python的文件操作

一、open的用法：open(文件名,读写模式) 读写模式:r只读,r+读写,w新建(会覆盖原有文件),a追加,b二进制文件.如:'rb','wb','r+b'等等二、常用的函数file.write("hello world...") 写入内容file.close() 关闭文件str = file.readline() 读一行内容str = fi

2011-10-29 20:17:15 1002

原创 Python的模式匹配

一、用法：import rematch(pattern,string,flags=0)第一个参数是正则表达式，如果匹配成功，则返回一个Match，否则返回一个None；第二个参数表示待匹配的字符串；第三个参数是标致位，用于控制正则表达式的匹配方式，如：是否区分大小写等。二、例子match = re.match('Hello[\t]*(.*)wor

2011-10-29 01:11:54 8650

原创 Linux下SVN学习笔记

安装：sudo apt-get install subversion创建仓库：mkdir /home/guoguo/svnrootsvnadmin create /home/guoguo/svnroot导入项目：svn import -m "importin Sesame project" file:///home/guoguo/svnroot/sesame/t

2011-10-26 15:42:20 641

原创 Ubuntu10.04 上安装 samba

1、安装（默认系统自己已经安装）: apt-get install samba apt-get install smbfs2、配置 samba配置文件：/etc/samba/smb.conf 可以修改配置文件来设置samba共享和用户，具体配置和之前centos上面的配置一样。但是好像没有那个hosts all

2011-10-26 15:38:22 707

原创 NullPointerException at org.apache.nutch.fetcher.FetcherOutputFormat.checkOutputSpecs

坑爹呀，这个错误，纠结了我好几天，终于解决了，我觉的很有必要单独拿出来与大家分享下：原因就是这个是Nutch1.3在与Hadoop0.20.203.0整合的时候的一个bug，在官网上有做出了相应的修改：修改方法就是得修改两个文件：加号表示添加，减号表示删除~~修改的第一个文件是：src/java/org/apache/nutch/parse/ParseOutputF

2011-10-26 15:37:39 1055

原创 Nutch1.3和Hadoop0.20.203.0的整合

一、Hadoop的安装。 http://blog.csdn.net/deqingguo/article/details/6907372二、Nutch1.3的下载安装 svn co http://svn.apache.org/repos/asf/nutch/branches/branch-1.3/ ~/nutc

2011-10-26 15:35:24 1167