- 博客(66)
- 资源 (32)
- 收藏
- 关注
RSS订阅原创 GlusterFS集群自动编译安装配置脚本
工作需要搭建GlusterFS集群，简单写了一个自动化安装配置脚本，只需指出所有节点的ip地址列表以及需要配置的卷信息即可通过一台机器编译、安装、部署整个集群，远程操作通过sshpass完成。
2014-04-11 22:03:05
2210
原创 MongoDB故障排查记录 [rsHealthPoll] couldn't connect to server
一直在用一个五台机器组成的MongoDB集群（192.168.40.80 ~ 84），5个shard，分了3个分片。之前一直运行正常，最近一段时间发现服务很不稳定，show db老提示说shard 4 error，并且有时候有机器会因为负载过高而宕机。今日偶然查看MongoDB日志，发现跟shard 4相关的几台机器都在报同样地错误：[rsHealthPoll] couldn't conn
2014-03-26 15:06:59
3374
原创 Python实现Windows监控agent(下)
上文提到如何使用Python通过WMI获取Windows系统信息，而本文将演示如何通过Windows服务框架包装监控数据轮询及数据发布任务。在《利用Linux守护进程机制完成一个简单系统监控demo》这篇博文中，我提到希望目标监控agent满足易用性、扩展性、稳定性以及可控性四大特点，其中稳定性是重中之重，它保证agent能够在不过多占用系统资源的情况下忠实可靠地完成轮询任务。
2014-03-25 08:29:31
7497
原创 Python实现Windows监控agent(上)
前面的文章《利用Linux守护进程机制完成一个简单系统监控demo》中提到在Linux中如何利用Python读取procfs中的信息，并构建基于守护进程的系统运行状况监控程序。但目前云平台中Windows虚拟机的数量还是占大多数，虽然可以利用libvirt提供的API获取虚拟机的运行信息，不过对于Windows虚拟机来说，获取到的大部分系统信息都不准确，甚至是错误的。因此，一种解决方法是在Windows虚拟机中定制一个监控agent，通过agent实时获取系统信息并发布。
2014-03-24 08:54:36
13577
原创 libvirtd初始化异常(/usr/local/sbin/libvirtd: initialization failed)解决
今天在一台通过apt-get安装过老版本libvirt(0.9.8)的机器上安装OpenStack，由于老版本的libvirt有Bug，故通过源码编译安装1.2.0版本。编译安装一切正常，不过在启动nova-compute服务时出现错误：Traceback (most recent call last): File "/usr/local/lib/python2.7/dist-
2014-03-08 09:34:42
13733
原创 Google对EB级别数据的备份恢复分享
Raymond Blum领导着一个由网站可靠性工程师所组成的团队负责维护Google神秘的数据资源。尽管Google从来没有透露过这些数据的量到底有多大，不过据消息称，虽然没有达到令人咋舌的YB级别，不过也达到了几个EB。光是GMail的数据就差不多达到了EB级别。这个演讲是关于Google怎么做到EB级别数据的备份及恢复。
2014-02-10 16:27:45
3631
翻译 Python技巧：元类（Metaclasses）和利用Type构建的动态类（Dynamic Classes）
原文链接：Improve Your Python: Metaclasses and Dynamic Classes With Type`metaclass`和`type`关键字在Python代码中较少被使用（也正因如此，它们的作用也没有很好的被理解）。在这篇文章中，我们将探究`type()`的类型（types）和跟`metaclasses`相关的`type`的用法。
2014-01-29 13:18:11
10005
1
原创 利用Linux守护进程机制完成一个简单系统监控demo
根据前篇《Linux守护进程设计规范及Python实现》，我们给出了一个基于Python的守护进程框架，想要使用此框架构建自己的守护进程，只需要继承Daemon类并实现run方法即可。在本文中，我们将按照此思路设计一个linux系统状况监控程序。目前，社区中有很多开源的系统监控软件，例如Ganglia、Zabbix等，这些软件以其优异的性能以及丰富的功能赢得了很多运维工程师的青睐，但是很多时候
2014-01-14 10:55:48
7539
原创 Linux守护进程设计规范及python实现
由于需要为OpenStack中的虚拟机设计监控Agent，因此需要一个稳妥、可靠并简单的守护进程实现作为基础框架，故研究了一下Linux系统中的守护进程。首先，守护进程是一类在后台执行，生命周期较长的进程，它一般随系统启动运行，在系统关闭的时候停止。
2014-01-13 14:01:58
10536
1
原创 OpenStack iptables(NAT)学习笔记
对照IBM的OpenStack iptables资料学习NAT表中加入的相关规则。1 root@eccp-compute-01:~# iptables-save -t nat2 # Generated by iptables-save v1.4.12 on Sat Jan 4 20:16:24 20143 *nat4 :PREROUTING ACCEPT [7378:91938
2014-01-04 21:46:20
3784
原创 Openstack Cinder创建卷错误排错过程
由于项目中使用的OpenStack一直停留在F版本，因此在操作系统（Ubuntu 12.04 LTS）不断更新的情况下，难免会出现各种莫名其妙的问题。安装完Openstack，各子模块均运行正常，开始功能测试，发现cinder创建volume命令发起之后后台报错
2014-01-04 10:05:27
11730
原创 OpenStack环境下Hadoop2.2.0环境搭建
OpenStack目前已经成为众多云计算厂商搭建私有云的首选，众多学术机构也使用OpenStack搭建小规模测试环境供学生实验，在此分享使用OpenStack虚拟机搭建Hadoop2.2.0环境的过程。1.VM环境准备OpenStack版本：Folsoma. 发起三台测试虚拟机，操作系统为 Ubuntu-12.04.2-x86_64b. 配置IP地址，因为在F版本的Open
2013-12-22 17:58:36
4467
原创 python 中的 filter, lambda, map, reduce 内置函数
1. lambda 匿名函数>>> lambda_a = lambda a : a + 1>>> lambda_a(2)3构建一个函数lambda_a，不需要显示指定函数名，冒号之前是参数，此功能可以跟filter共同使用。2. filter(func, seq) 用func过滤seq中的每个成员，并把func返回为True的成员构成一个新的seq>>> la = l
2013-12-19 11:50:24
1195
原创 glusterfs简单安装配置
OS: Ubuntu-12.04-LTS10.0.0.54 yarn-server-0110.0.0.48 hd-server-0110.0.0.60 hd-server-03安装：#!/bin/bashfilepath="/opt/software"echo "Install glusterfs ..."apt-get -y --
2013-12-03 17:49:20
2664
原创 OpenStack监控组件Ceilometer与Folsom结合部署心得
之前项目一直在使用OpenStack的Folsom版本进行二次开发，对nova等模块都有着不小的改动，因此当新版本的OpenStack(Grizzly)发布之后，一些新的功能模块不能够很快的移植到新开发的项目之中。由于之前版本的OpenStack的系统监控功能相对较薄弱，所以一直采用kanyun + ganglia再加上openstack提供的简单监控功能进行系统监控，颇为山寨，因此在G版本发布带
2013-06-03 22:00:46
5503
8
原创 Openstack Swift Quotas初探（Grizzly）
Swift组件是Openstack的对象存储(Object Storage)解决方案。在早期的版本中，swift对于配额是没有限制的，不能够对不同用户所使用的空间进行限制。后来出现了开源的中间件 swquota(https://github.com/cschwede/swquota)可以对swift做出配额的限制，如今在2013年4月发布的Grizzly版本Openstack中，swift(1.8
2013-05-17 20:48:51
2190
原创 PyMongo游标超时问题
问题描述：用PyMongo连接Mongodb数据库进行查询操作时，当查询的数据集比较大，需要维持一个时间较长的连接，如果不做设置，就会造成crusor time out。解决方法：import pymongo, datetimedef readInstance(): print 'Read instances ...' global conn_mongo
2013-05-12 21:26:57
5549
原创 使用PyMongo允许collection分片的代码
我们通常有将大文本数据存入mongodb的需求，当做了sharding之后，最好的存储方式是允许db分片并指定collection的分片方式(shard key)。这个操作使用mongodb shell能够很方便的完成，但当我们使用python进行数据导入操作的时候，就必须通过pymongo进行，以下是pymongo允许分片的例子。#!/bin/env pythonimport
2013-05-04 16:27:14
2012
原创 Swift与Keystone认证问题，Permission denied: '/root/keystone-signing'
问题描述：在安装完swift集群之后，使用swift stat查看状态，发现一直没有响应，初步判断是由于swift同keystone的认证环节出现问题，查看/opt/stack/data/swift/logs/proxy.error日志文件发现如下错误：UNCAUGHT EXCEPTION#012Traceback (most recent call last):#012 File
2013-04-30 20:18:31
1905
原创 screen nohup 初步学习
任务：需要在终端关闭之后继续运行linux命令区别：nohup可以忽略SIGHUP信号，避免终端退出造成的执行结束，不过不能够在打开新窗口后观察程序的运行状况screen则可以继续观察程序执行的状况使用方式：nohup：nohup command &加不加&区别在于是否会打印出程序的执行状况screen：screen -S scree
2013-04-27 15:18:05
823
原创 Mongodb2.4.3集群安装笔记
机器：192.168.40.80 -> mongodb01192.168.40.81 -> mongodb02192.168.40.82 -> mongodb03192.168.40.83 -> mongodb04192.168.40.84 -> mongodb05sharding架构设置mongodb01shard1
2013-04-26 17:22:10
2319
转载 openstack中 虚拟机实例的备份 与 恢复
转自：http://blog.csdn.net/weiyuanke/article/details/7639742#openstack中，虚拟机实例一般是放在nova/instances目录底下.该目录的典型结构如下所示：root@node77:~# ls /opt/stack/nova/instances/_base instance-0000001a
2013-01-24 09:18:38
6440
原创 MongoDB Shell学习
//mongodb copy:db.copyDatabase("dbname_src","dbname_dst","host_src:port");
2012-07-16 10:46:53
675
原创 Mongodb连接方法学习
项目中需要用到mongodb，据介绍mongodb的连接采用连接池的思路，可以仅保持一个实例，参考http://blog.csdn.net/sheismylife/article/details/7090526的代码完成自己的mongodb连接池控制类。package cn.cnic.jingshao.mongodbapp.util;import java.net.Unkn
2012-06-26 20:19:50
3985
原创 Fedora14环境克隆多台虚拟机实践
宿主机环境：Fedora14虚拟机：Virtual Machine Manager 0.8.7虚拟机环境：Fedora14任务：将目标机器test96克隆三份成为test97,test98,test99，ip地址分别为：test96:192.168.138.96test97:192.168.138.97test98:192.168.138.98t
2012-03-07 16:28:28
795
转载 [转]关于Regression的一篇资料
http://www.cs.colorado.edu/~grudic/teaching/CSCI5622_2004/Regression_1.pdf
2012-02-17 14:20:14
402
转载 SVD分解和LSA的两篇学习资料
SVD 分解http://foreveralbum.yo2.cn/articles/singular-value-decomposition-svd.htmlLSAhttp://foreveralbum.yo2.cn/articles/latent-semantic-analysis-note.html
2012-02-15 15:23:09
743
转载 机器学习中的相似性度量
转自：http://www.cnblogs.com/heaad/archive/2011/03/08/1977733.html在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。 本文的目的就是对常用的
2012-01-06 18:16:22
544
转载 RPM应用——查询（已安装包和未安装包）
原文转自：http://www.cnblogs.com/fyfblog/archive/2011/06/04/2097140.html查询功能命令格式 rpm {-q|--query} [select-options] [query-options] RPM的查询功能是极为强大，是极为重要的功能之一；举几个常用的例子，更为详细的具体的，请参考#man rpm1、对
2011-12-31 09:59:07
589
转载 Exercise 4: Logistic Regressionand Newton's Method
Raw page: http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex4/ex4.htmlExercise 4: L
2011-10-16 12:43:43
1420
转载 SVM学习中文资料
Support Vector Machine (SVM) 中文学习资料:转自：http://tech.ddvip.com/2009-02/1234595359108775.htmlhttp://www.360doc.com/content/09/0
2011-10-04 14:09:17
773
原创 CRF&HMM的Matlab代码
Kevin Murphy,CRF:http://www.cs.ubc.ca/~murphyk/Software/CRF/crfGeneralOld.htmlhttp://www.cs.ubc.ca/~murphyk/Software/CRF/crf.htm
2011-09-11 10:55:09
2983
1
转载 转一个HMM的学习资料
http://www.comp.leeds.ac.uk/roger/HiddenMarkovModels/html_dev/gen_patterns/s2_pg4.html利用浅显易懂的例子介绍Hidden Markov Model
2011-09-10 13:32:54
555
原创 Fedora14下 mysql更改密码
不知为什么，fedora14下用yum安装mysql后配置挺麻烦，现将更改密码的方法记录一下。报错问题：[root@myfedora mysql]# mysqladmin -u root password 123456mysqladmin: Can't tur
2011-08-22 19:08:54
1271
转载 Regression with Gradient Descent in Low-level Matlab
<br />from: http://www.csrdu.org/nauman/2010/06/25/regression-with-gradient-descent-in-low-level-matlab/<br /> <br />I just finished writing my first machine learning algorithm in Matlab. The algorithm is based on gradient descent search for estimating
2011-05-28 22:08:00
1074
转载 转-机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)
<br />文章转自http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html<br /> <br />版权声明：<br /> 本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。<br />
2011-05-13 16:25:00
819
转载 用GDAL对影像重采样的一些要点
用GDAL对影像重采样的一些要点1、RasterIO只能使用最临近插值法做影像金字塔时，开始用的GDALDataSet的RasterIO通过控制行列宽度来抽层，代码写起来很简洁，奇怪一直没见设置重采样参数的地方，急于实现功能，没有怎么深究，基本功能全都做好后发现分层质量很差。文档里边没找到资料介绍这些，查了很久在Maillist上发现RasterIO() level resampling should all be "nearest neighbour", and sonot intro
2010-12-17 15:32:00
3128
原创 Fedora14添加上海交大，网易的更新源
<br />/etc/yum.repos.d/下添加：<br /> <br />上海交大，新建sjtu.repo<br /> <br />[Fedora-ftp.sjtu.edu.cn]<br />name=Fedora 14 – i386<br />baseurl=http://ftp.sjtu.edu.cn/fedora/linux/releases/14/Fedora/i386/os/<br />enabled=1<br />gpgcheck=0<br />gp
2010-11-22 16:34:00
3844
原创 Markov学习资料
<br />http://baike.baidu.com/view/3053716.htm<br />http://wiki.mbalib.com/wiki/%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E9%93%BE%E6%A8%A1%E5%9E%8B<br />http://hi.baidu.com/ming_roady/blog/item/3487a0cf7093be36b600c8db.html<br />http://en.wikipedia.org/wiki/Mar
2010-11-10 21:48:00
649
原创 GDAL读取栅格文件小例
<br />前提是将机器上的gdal先配置好<br /> <br />C++东拉西扯弄出一份代码：<br /> <br />#include "stdafx.h"#include "include//gdal_priv.h"#include "include//cpl_string.h"#include "include//ogr_spatialref.h"#include "include//gdalwarper.h"#include "include//gdal_pam.h"
2010-11-04 20:04:00
3917
1
MySQL-server-community-5.1.28-0.rhel3.i386.rpm
2010-10-12
MySQL-client-community-5.1.28-0.rhel3.i386.rpm
2010-10-12
StyleWriter v3.92包含破解文件
2010-05-31
MySQLDriverCS-n-EasyQueryTools-4.0.1-DotNet2.0
2010-04-12
[2007计算机Bible红版系列图书].JavaScript.Examples.Bible
2010-04-06
PowerDesigner15破解
2010-03-26
数字图像处理编程入门
2009-12-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人