- 博客(108)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 How to Think Like a Data Scientist
How to Think Like a Data ScientistA lot of the answers here focus on the learning the skills and techniques of a data scientist. To complement those, I wrote this post to talk about how non data s...
2014-06-21 21:48:20
355
kvm虚拟化之路 --虚拟机双网卡（外网and内网）
宿主机层面： 需要分别从两块网卡建立两个网桥：eth0->br0, eth1->br1从libvirt层面：需要配置两个网桥<interface type='bridge'><mac address='54:52:00:**:**:**'/><source bridge='br0'/><target dev='vnet7'/>...
2012-02-02 10:11:05
1292
原创 基于KVM的虚拟化之路 -- 虚拟机自动创建
1、虚拟机资源配置（cpu、内存、磁盘空间、等的分配）2、虚拟机访问、监控（ip地址，用户名密码，自动加入到监控系统）3、虚拟机安全针对这三个大的方面 ， 做出了以下解决方案： 首先需要一个镜像池（可以是远程机器，也可以是共享文件系统），用来存放标准的系统镜像（已安装好了的），当然镜像中已经包含了一些公用性的配置。 还有一个标准的libvirt样本配置文件。 ...
2012-02-02 10:05:09
198
原创 kvm 移植
应用场景：我公司做文档转换的机器应付不过来日益增长的上传量了。条件：做转换的机器都是用kvm虚拟化出来的。--- 做法：幸好以前准备好两个img文件 ： 一个为转换机器的系统img文件 ，一个为转换分区所挂载的img文件。把这两个文件都scp 到新的宿主机（切记，这里最好把挂载的img文件也复制过来。如果创建新的img文件的话，则在虚拟系统格式化这个磁盘需要很长时间。而且如果两个文件都复制的话，也...
2011-09-20 15:58:57
185
原创 查看linux 线程
3中方法：1. cat /proc/${pid}/status2. pstree -p ${pid}3. top -p ${pid} 再按H 或者直接输入 top -bH -d 3 -p ${pid} 查看进程工作strace -p ${pid}开启iptables日志iptables -t raw -I PREROUTI...
2011-08-18 20:38:39
144
原创 HashTable 详解
Hashtables提供了一个很有用的方法可以使应用程序的性能达到最佳。 Hashtables（哈希表）在计算机领域中已不是一个新概念了。它们是用来加快计算机的处理速度的，用当今的标准来处理，速度非常慢，而它们可以让你在查询许多数据条目时，很快地找到一个特殊的条目。尽管现代的机器速度已快了几千倍，但是为了得到应用程序的最佳性能，hashtables仍然是个很有用的方法。 ...
2011-07-23 15:06:00
126
原创 MySQL性能优化教程
一、这是一篇MySQL性能优化的教程，来着某公司的DBA，原是为了培训公司员工用，现在转载出来供大家一起学习提高。背景及目标● 用于员工培训和分享。● 针对用户群为已经使用过mysql环境，并有一定开发经验的工程师● 针对高并发，海量数据的互联网环境。● 本文语言为口语，非学术标准用语。● 以实战和解决具体问题为主要目标，非应试，非常规教育。友情提醒，...
2011-05-08 15:27:31
120
原创 Linux的五个查找命令：find,locate,whereis,which,type
在Linux中，有很多方法可以做到这一点。国外网站LinuxHaxor总结了五条命令，你可以看看自己知道几条。大多数程序员，可能经常使用其中的2到3条，对这5条命令都很熟悉的人应该是不多的。ndfind是最常见和最强大的查找命令，你可以用它找到任何你想找的文件。find的使用格式如下： $ find <指定目录> <指定条件> <指定动作&g...
2011-03-10 19:50:16
89
原创 HBase 架构101 –预写日志系统 (WAL)
原文：http://www.larsgeorge.com/2010/01/hbase-architecture-101-write-ahead-log.html什么是预写日志WAL? 之前的文章我们简单介绍了HBase的存储结构。其中提到了预写日志。这里，我们要介绍它的实现细节，所有的描述都基于HBase 0.20.3.WAL最重要的作用是灾难恢复。和MySQL 的BIN lo...
2011-02-21 11:22:34
175
原创 hbase 简介
我的废话1: 任何一项新技术并非救命稻草，一抹一擦立马药到病除的百宝箱，并非使用Spring或者NOSQL的产品就神乎其神+五光十色，如果那样基本是扯淡。同类 型产品中不管那种技术最终要达到的目的是一样的，通过新的技术手段你往往可能避讳了当前你所需要面对的问题，但过后新的问题又来了。也许回过头来看看还不 如在原来的基础上多动动脑筋 想想办法 做些改良可以得到更高的回报。 ...
2011-02-16 17:59:10
125
原创 微博feed系统的push和pull模式和时间分区拉模式架构探
sns系统，微博系统都应用到了feed（每条微博或者sns里的新鲜事等我们称作feed）系统，不管是twitter.com或者国内的新浪微博，人人网等，在各种技术社区，技术大会上都在分享自己的feed架构，也就是推拉模式（timyang上次也分享了新浪微薄的模式）。下面我们就微博的feed推拉(push,pull)模式做一下探讨，并提出新的时间分区拉模式。众所周知，在微博中，当你发表一篇微...
2011-02-15 13:58:06
103
原创 cloudera 的hbase集群搭建简录 （centos5）
官方dochttps://wiki.cloudera.com/display/DOC/HBase+Installation 首先升级yum：在 /etc/yum.repos.d/ 下创建cloudera-cdh3.repo 然后把 [cloudera-cdh3]name=Cloudera's Distribution for Hadoop, Version 3mir...
2011-02-10 18:51:16
130
zookeeper Have smaller server identifier
zookeeper 的一个节点启动时候报错：2011-02-10 15:16:24,128 - INFO [QuorumPeer:/0:0:0:0:0:0:0:0:2188:FastLeaderElection@683] - Notification time out: 600002011-02-10 15:16:24,128 - INFO [QuorumPeer:/0:0:0:...
2011-02-10 15:33:55
1953
hdfs 的容灾
dfs.name.dir (namenode的路径) 可以配置多个路径（也就是说可以多磁盘）但这些目录中的文件都是一样的 （可以防止某磁盘挂掉，做备份）dfs.data.dir (datanode的路径) 也可配置多个。但数据时不一样的也就是利用多块磁盘来存储数据。至于datanode 的容灾措施， hdfs 会默认把datanode数据copy三份 一个放在本地机架的节点，一个放在同...
2011-01-20 10:18:25
745
原创 hdfs 配置（namenode ，datanode 如何使用多硬盘）
fs.default.nameTo run HDFS, you need to designate (指派)one machine as a namenode. In this case, theproperty fs.default.name is a HDFS filesystem URI, whose host is the namenode’shostname or IP a...
2011-01-20 09:47:07
566
原创 Eclipse没有提示解决办法
Eclipse没有提示解决办法 window->Preferences->Java->Editor->Content Assist->Advanced 上面的选项卡Select the proposal kinds contained in the 'default' content assist list: 中把 Other Java Proposals 选项打上...
2011-01-18 20:38:26
240
后台运行python程序 遇到缓冲区问题
环境：linux 一段执行时间很长的程序（用python做hive客户端执行mapreduce） 在linux后台执行，把结果输出到某文件： python xxx.py > log.log& 遇到的问题，程序没报错，文件里却什么都没有，没有输入进去。为什么呢？于是我首先尝试用： nohup python xxx.py > lo...
2011-01-10 17:24:59
232
原创 java 获得客户端真是ip地址
/** * ip校验 * @param s * @return 格式是否正确 */ public Boolean isIpAddress(String s){ String regex = "(((2[0-4]\\d)|(25[0-5]))|(1\\d{2})|([1-9]\\d)|(\\d))[.](((2[0...
2010-12-28 15:46:04
90
原创 网站用户行为分析在用户市场领域的应用
【导言】在全球范围内，网站用户行为分析仍然是一门新兴发展的科学，其方法和实践是在近几年才系统理论化的。在实际应用中，网站用户行为分析博得了很多的好奇，但好奇背后，人们也为她注入了各种想象：网站用户行为分析能带来哪些商业价值？哪些用户行为是值得关注的？网站用户行为分析是如何辅助产品运营和营销分析的？她能给我们何种启示？本文结合研究院用户行为实验室在现网运营的门户网站中的实践经验，提炼一些主题...
2010-12-13 16:06:47
228
云计算实战 （海量日志管理）hive -- hive + hiveclient (hive 客户端)
五个节点的hadoop服务器集群搭建完成后，得想办法提高开发效率，mapreduce 我不是高手，写起来有点麻烦，公司业务不等人，还是决定上hive。 话说想玩好hadoop 还得学精mapreduce ，或许我把这个任务往后放放。 废话不多说，接下来介绍下hive 的安装和实际应用。 hive 安装： 本人hadoop 用的就是...
2010-12-03 15:39:06
304
kvm 虚拟机系统挂接外部硬盘(img 文件)
前面文章讲了如何在linux 上创建基于kvm 的虚拟化系统。 安装虚拟机的意义就是充分利用资源，做云计算集群。 既然做集群，就涉及到虚拟机的copy（kvm 的安装那篇文章最后提到过），若把虚拟机的img 创建几百G，在一个集群中copy 可有的受了。 而且直接把虚拟机创建这么大也不建议。于是想到，先创建个较小的虚拟机img 然后再在虚拟系统挂载主机存储。 这样既避免...
2010-11-26 16:41:01
503
原创 Hadoop Name node is in safe mode
运行hadoop程序时，有时候会报以下错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧（至少我运行的时候是这样的） 那我们来分析下这个错误，从字面上来理解： Name node is in safe mode 说明...
2010-11-19 13:39:20
66
linux 虚拟化实战 --kvm （基于内核的虚拟机）
环境： CentOS5.5 桌面环境：CentOS5.5（可以为Ubuntu桌面）2安装 KVMCentOS 5.2 KVM主机：运行system-config-securitylevel并且开启SELinux（如果你的SELinux被禁用，virt-install将不会正常工作）。然后检查CPU是否支持硬件虚拟化-运行命令egrep ‘(vmx|svm...
2010-11-18 13:06:27
298
原创 linux 国内高速源（中国科技大学）
中国科技大学：http://centos.ustc.edu.cn/centos/ （推荐，比较快）1.以root用户进入CentOS系统。[root@xuxy ~]# cd /etc/yum.repos.d2.备份repo[root@xuxy yum.repos.d]# mv CentOS-Base.repo CentOS-Base.repo.bak3.建立新的CentOS-Base.re...
2010-11-12 14:50:29
686
原创 Temporary failure in name resolution 错误解决方法
是centos5，想使用wget下载一个文件出现了如下问题："Resolving www.xxxx-xxxx.com... failed: Temporary failure in name resolution."从字面上理解意思是，在解析这个URL的时候发生了失败；首先我从另外一个windows的IE里访问了那个URL，发现是可到达的猜测可能是该机器的网络配置有问题，检查了eth0的配置，无误...
2010-11-12 14:46:45
6536
原创 云计算实战 （海量日志管理）hadoop + scribe -- scribe配置详解
Scribe can be configured with:the file specified in the -c command line optionthe file at DEFAULT_CONF_FILE_LOCATION in env_default.hGlobal Configuration Variablesport: assigned to v...
2010-11-04 11:36:31
237
电脑鼠标指针自己动
电脑型号： dell D620 带有touchpad （触摸板） 和 trackpoint （键盘中间的绿点--可操作鼠标指针） 的。出现的问题： 鼠标指针一开机就会自己躲到屏幕一角，怎么召唤也不出来。换鼠标、拔掉鼠标都不管用曾经尝试： 杀毒，重装系统，重装驱动，等。。。 均徒劳。后来推断： 可能是哪个TrackPoint 要么就是touc...
2010-11-03 09:31:30
638
云计算实战 （海量日志管理）hadoop + scribe -- log4j 客户端写入scribe
上一篇文章已经安装完scribe，下面我们用java端，通过log4j 把日志写入scribe 日志系统。 一、生成scribe客户端生成 java客户端api A. 修改配置文件scribe.thrift cd /usr/local/scribeInstall/scribe/if vi scribe.thrift 修改...
2010-11-02 09:04:27
160
云计算实战 （海量日志管理）hadoop + scribe -- scribe 介绍和安装
scribe 介绍: scribe 是facebook 开源的分布式日志系统 。 可以用java 借助log4j 向分布式scribe 写入日志。 安装环境： centos5.2 所需软件： 安装过程：一、输入gcc –v 检查gcc版本是否>3.3.5 是，则继续下一步。否，则安装gcc 。二、安装ruby 和python ...
2010-10-28 17:50:57
183
maven3 依赖的升级 （强制）
[WARNING] Missing POM for org.apache.mahout.hadoop:hadoop-core:jar:0.20.2[WARNING] An error occurred during dependency resolution. Failed to retrieve org.apache.mahout.hadoop:hadoop-core-0.2...
2010-10-20 10:52:28
324
linux 操作手记
-- linux 所有命令都command not found 是不是在配置java环境变量时这么写的：PATH=$JAVA_HOME/bin 这样写会导致path 把系统的环境变量覆盖应该这样写：PATH=$PATH:$JAVA_HOME/bin 关闭redhat 防火墙方法（一）/etc/rc.d/init.d/iptables stop...
2010-10-19 15:52:27
70
java.lang.NoSuchMethodError: antlr.collections.AST.getLine()I
请把antlr 的jar 换成你所下载的hibernate 自带的antlr 我的是antlr-2.7.6
2010-10-19 12:56:21
63
找不到 org/springframework/dao/support/PersistenceExceptionTranslator
如果用的spring2 则原因是缺少spring-dao.jar 如果用的是spring3（我就栽这儿了） 则原因是缺少org.springframework.transaction-3.0.4.RELEASE.jar （我这里是3.0.4） 总之是吧dao 放到transaction 中去了。...
2010-10-18 17:10:56
376
原创 eclipse 伽利略 卸载插件
最近才知道原来Eclipse还可以自己卸载已经安装的插件，方法是点击菜单“Help”，“Install New Software...”，在弹出的对话框中选择那个非常隐蔽的“already installed”链接：然后就显示已经安装的插件：现在就可以选择要卸载的插件，然后点“Uninstall...”把它卸载掉。这个方法对Eclipse Galileo (3...
2010-10-11 16:58:50
128
Error deploying artifact: Failed to transfer file:XXXXX Return co de is: 401
原文出处: http://www.javatang.com/archives/2010/01/23/4518375.html ---有些小改动作者: Jet Mah from Java堂声明: 可以非商业性任意转载, 转载时请务必以超链接形式标明文章原始出处、作者信息及此声明！体怎样使用deploy命令部署构件到nexus服务器上可以参考经典的《Maven Definitive Guid...
2010-10-11 11:09:04
530
原创 警告：xxxx 是 Sun 的专用 API，可能会在未来版本中删除
[ERROR] BUILD FAILURE[INFO] ------------------------------------------------------------------------[INFO] Compilation failureD:\workspace\AdminProjectOfMaven\src\main\java\com\wonibo\proje...
2010-10-09 13:43:32
320
人人网 paoding 旗下 rose 项目实现服务器端 portal
“portal”一词中文翻译为“门户”，所谓门户是指各种信息的集成。 rose portal基于rose框架，是rose的一个插件。这个技术不是基于JavaEE的portlet规范，您只需要使用标准的servlet容器即可实现，而且更简单。 本示例示范如何使用rose portal (基于servlet规范)，在一个门户可以显示两个独立的“信息”创建控制器1个是Portal主控，另...
2010-10-05 14:40:47
251
url 传参 (location.href 或 firame的src 等) 乱码的解决方案（屡试不爽）
String xxxxx = new String(request.getParameter("[your-param-name]").getBytes("iso8859-1"),"UTF-8");或String xxxxx = new String(request.getParameter("[your-param-name]").getBytes("GBK"),"ISO8859-1&q
2010-09-26 15:23:31
166
maven archetype:generate 的进一步理解
可以说纠结了不少时间了用mvn archetyoe:generate 时总是会出现以下的情况： 正常的应该是 $ mvn archetype:generate[INFO] Scanning for projects...[INFO] Searching repository for plugin with prefix: 'archetype'.[INFO] -...
2010-09-24 16:52:29
127
空空如也
关于虚拟机垃圾回收问题
2009-04-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人