- 博客(414)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 部署与管理ZooKeeper(转)
本文以ZooKeeper3.4.3版本的官方指南为基础：http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html，补充一些作者运维实践中的要点，围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门，关于这方面，可以查看《ZooKeeper快速搭建》。1.部署本章节主要讲述如何部署ZooKe...
2014-07-01 09:07:47
192
原创 ZooKeeper学习之配置【7】ensemble配置
quorum这个概念深深嵌入了ZooKeeper的设计中，尤其是当处理请求和在replicate模式中进行选举leader时尤为相关。如果ZooKeeper的各个server的quorum起来(up)时，ensemble才能继续(make progress)。[b]Majority Rules[/b]当一个ensemble有足够的Zookeeper server时，便能够开始处理请求，...
2014-07-01 08:54:17
381
原创 ZooKeeper学习之Observer模式及其配置
除了leader和follow模式之外，还有第三种模式：observer模式。observer和follower在一些方面是一样的。详细点来讲，他们都向leader提交proposal。但与follower不同，observer不参与投票的过程。它简单的通过接收leader发过来的INFORM消息来learn已经commit的proposal。因为leader都会给follower和observe...
2014-07-01 08:47:57
546
原创 Windows下编译和部署Solr
这里我进行编译的是Solr 4.1，可以从这里http://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/4.1.0/ 下载到。要下载的是Src那个。 下载完毕，有几个东西是需要满足的。首先，我们使用的是JDK 6，在命令行窗口输入java -version 看看你的环境变量设置的是否是JDK 6. 然后需要安装Ant，Ant是用来...
2014-05-20 15:57:01
178
原创 hadoop生态环境
1、Redhat linux下fluentd+fluentd 实现桥接 http://www.it165.net/os/html/201209/3499.html2、日志收集系统 Fluentd http://www.linuxdiyf.com/viewarticle.php?id=3713183、 3-1、SaikuSaiku是一个模块化的分析套件，它提供了一个RESTful服...
2014-03-18 11:06:53
275
原创 RedHat Enterprise Linux5 配置Samba服务器（国嵌）
配置redhat的IP地址，确保redhat可以PING通XP的IP地址。 redhat的IP地址最好采用静态配置的方式，这样它的IP不会经常改变，IP地址的设置参考本机系统的IP地址。我的机子的IP是： IP Address. . . . . . . . . . . . : 192.168.5.159 Subnet Mask . . ...
2013-03-07 23:47:49
144
原创 让google重新收录
http://www.google.com.hk/ggblog/googlewebmaster-cn/2008/05/google.html
2012-09-20 12:57:53
140
原创 10个工具让你的 shell 脚本更强大
from http://www.oschina.net/question/28_39527虫虫 发表于 2-27 22:45 昨天(22:45), 12回/1959阅, 最后回答: 16分钟前 ( 69人收藏此话题, 我要收藏 |举报) 讨论区 » 技术分享 顶 0 踩 很多人误以为shell脚本只能在命令行下使用。其实shell也可以调用一些GUI组件，例如菜单，警告框，进度条...
2012-02-28 09:52:35
287
原创 Bash Socket 编程
[code="java"]Bash Socket 编程 你可以在bash中开启一个socket链接，并且传输数据。Bash有两个特殊的设备文件： • /dev/tcp/host/port - 如果hostname，和port是合法的话，bash会尝试开启一个TCP连接。• /dev/udp/host/port - 如果hostname和port是合法的话，bash会开启一个UD...
2012-02-28 09:50:27
337
原创 很好_zookeeper使用原理探究
from http://apps.hi.baidu.com/share/detail/32587499zookeeper使用原理探究 转自：http://buliedian.javaeye.com/blog/852088zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实...
2012-02-20 16:58:34
144
原创 linux中shell变量$#,$@,$0,$1,$2,$!的含义解释
请参看http://tldp.org/LDP/abs/html/zeros.html 这个是高级bash脚本编程指南.pdf英文，有最新版linux中shell变量$#,$@,$0,$1,$2的含义解释2010年12月20日 星期一 11:32linux中shell变量$#,$@,$0,$1,$2的含义解释: 变量说明: $$ Shell本身的PID（ProcessID） ...
2012-02-20 10:46:53
175
原创 CentOS 下管理自定义 PHP 计划任务代码的守护进程脚本
from http://micate.me/centos-php-crontab-script-manage-shell.note« javascript dialog 对话框的问题总结MySQL的表分区 »CentOS 下管理自定义 PHP 计划任务代码的守护进程脚本 Version: 2011-12-05 Print Published at 02:45 in 技术. 2 Comm...
2012-02-17 15:32:10
315
原创 CentOS 6 架設 apache + php + mysql
1.Download Centos 6 Minimail CD 2.安裝時分割 / 10G /var 20G 其餘給 /home (是狀況而定)3.安裝後調整 fstab/tmp tmpfs , noexec , nodev , nosuid /var nodev , nosuid4.更新系統yum update -y5.安裝 sudo / crondyum ...
2012-02-17 15:29:02
86
原创 centos6.2下禁止ping请求
根据业务的特殊需求，有些服务器可能禁止外部ping请求。可以使用以下命令来快速实现：1.关闭ping请求1 sysctl -w net.ipv4.icmp_echo_ignore_all=12 sysctl -p2.开启ping请求1 sysctl -w net.ipv4.icmp_echo_ignore_all=02 sysctl -p ...
2012-02-17 15:25:50
389
原创 新_CentOS 6下搭建Apache+MySQL+PHP+SSL
CentOS 6下搭建Apache+MySQL+PHP+SSL 网上的一些文章都已经比较老了，现在版本高了之后，其实配置是很省力的（不考虑什么负载的话）分享全过程，出了文中提到的安装epel rpmfushion 源指令不同外，其他的过程也适用与Centos 51.安装CentOS 6 ,可以选择最小安装，也可以安装桌面2.升级系统?yum update ...
2012-02-17 15:22:25
101
原创 CentOS 5.5+Apache+PHP+MySQL 5部署笔记（更新）
[日期：2011-05-06] 来源：Linux社区 作者：fuying163 Centos5.5(32bit)所需软件包：gd-2.0.35.tar.gzlibxml2-2.7.7.tar.gzlibmcrypt-2.5.8.tar.bz2cronolog-1.6.2.tar.gzhttpd-2.2.8.tar.gzmysql-5.1.44.t...
2012-02-17 14:54:43
121
原创 ZooKeeper 使用场景
ZooKeeper 使用场景 ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得zookeeper能够应用于很多场景。网上对zk的使用场景也有不少介绍，本文将结合作者身边的项目例子，系统的对zk的使用场景进行归类介绍。 值得注意的是，zk并不是生来就为这些场景设计，都是后来众多开发...
2012-02-15 14:59:12
135
原创 ZooKeeper权限控制
原文链接：http://code.taobao.org/p/taokeeper/wiki/index 目前在公司内部使用ZooKeeper的地方越来越多，应用大多喜欢自己部署一套ZK集群来使用。考虑到ZK的高可用，并且一套ZK集群至少3台机器， 那么每个应用，尤其是一些非核心应用都自己去部署一套的话，对资源利用率很低。另外，随着ZK容灾的提出，单套ZK集群使用的机器量会更大，运维人员开始 ...
2012-02-15 14:34:30
151
原创 ZooKeeper使用常见问
from http://code.taobao.org/p/taokeeper/wiki/index/faq/ZooKeeper使用常见问题 返回TaoKeeper客户端1. 客户端对ServerList的轮询机制是什么随机，客户端在初始化( new ZooKeeper(String connectString, int sessionTimeout, Watcher watc...
2012-02-15 14:29:54
91
原创 如何安装Node.js
[code="java"]2011-02-13 @ 09:34:54 · 作者 Volcano · 归类于 javascript 你可能会感兴趣的内容yepnope.js – 异步加载资源文件如何在jquery mobile中加载google map apicode-prettify — wordpress语法高亮插件mac下的tree命令图片预加载效果的实现下面分...
2012-02-15 14:16:54
111
原创 通过JVM获取相关的服务器信息 .
[code="java"]分类： j2ee 2009-05-12 16:12 1034人阅读 评论(0) 收藏 举报 在我们想监控我们的JVM状态的时候，除了可以通过JMX这类jvm提供的接口服务，还是可以自己通过程序来编写一些接口来获取服务器状态信息。以下代码我在jdk1.5.10版本上测试通过。 [java] view plaincopyprint?01.impor...
2012-02-02 14:24:31
91
原创 服务器MySQL server has gone away错误解读
[quote]对MySQL server has gone away错误最常见的原因是服务器超时了并且关闭了连接。缺省地，如果没有事情发生，服务器在 8个小时后关闭连接。你可在启动mysqld时通过设置wait_timeout变量改变时间限制。 你可以通过执行mysqladmin version并且检验正常运行的时间来检查MySQL还没死掉。 如果你有一个脚本，你只须再发出查询让客...
2012-02-01 16:00:58
247
原创 hadoop 索引相关记录
hadoop 分布式索引升级包https://issues.apache.org/jira/browse/MAPREDUCE-1722http://lucene.472066.n3.nabble.com/Hadoop-Index-Contrib-td732764.htmlhttp://lucene.472066.n3.nabble.com/Hadoop-Index-Contrib-td...
2012-01-10 17:21:08
91
原创 hadoop初步使用笔记
%SystemRoot%\system32;%SystemRoot%;%SystemRoot%\System32\Wbem;%SYSTEMROOT%\System32\WindowsPowerShell\v1.0\;D:\Program Files\Microsoft SQL Server\90\Tools\binn\;D:\Java\jdk1.6.0\bin;K:\cygwinnew\bin;D...
2012-01-05 17:22:27
106
原创 可以实现_(zz)Debugging Hadoop applications using your Eclipse
经过多次测试，如下方法可以成功 hadoop 0.20.2 调式脚本启动(运行如下脚本后，在eclipse调试同一个程序，并使用远程调试方式（可配置）) ./bin/hddebug jar hadoop-0.20.2-examples.jar wordcount input/input output-di[b]1、先在win7下配置好hadoop一般可使用2、然后...
2011-12-31 17:27:45
80
原创 windows hadoop 调试环境
eclipse 3.3 hadoop 0.20.2 中的hadoop-0.20.2-eclipse-plugin.jar
2011-12-31 13:45:43
65
原创 用strace排除Linux服务器故障
[quote]用strace排除Linux服务器故障 Linuxeden Q Q 群:165854196欢迎加入strace是一个有用的小工具 – 大多数Linux系统默认已经安装 – 可以通过跟踪系统调用来让你知道一个程序在后台所做的事情。Strace是一个基础的调试工具；但是即便你不是在跟踪一个问题的时候它也是一个极好的软件。它能告诉你很多关于一个Linux程序怎样工作的信息。一...
2011-12-30 16:54:22
117
原创 随记yii
系统管理1、文件同步备份 a、磁盘分配情况 b、同步方案 c、巨大数量的文件复制 Linux(CentOS)挂载移动硬盘，实现文件拷贝、备份 d、linux系统挂载移动硬盘，用来备份数据2、cron2-1、远程执行程序(通过脚本)3、防火墙，（命令行配置）4、端口更改 ssh ftp 桌面5、远程...
2011-12-30 16:53:48
427
原创 hadoop job提交完成的整个过程介绍 zz
2009-11-17 11:16http://blog.chinaunix.net/u3/94300/showart_1902760.html由于大量的使用interface，reflection，rpc proxy，所以当我们提交job给hadoop的时候，他到底是如何一步步运行的确实不太容易看明白，今天费了将近一天的功夫终于将其大概整理了出俩，为以后继续深入仔细阅读源码打下基础。...
2011-12-30 16:52:55
139
原创 Hadoop中常出现的错误以及解决方法zz
[quote]2009-11-18 15:421：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。 /etc/se...
2011-12-30 16:52:09
83
原创 服务器端脚本很有用_几个常用的服务器监控shell脚本z
from http://hi.baidu.com/surendaxiao/blog/item/69ca2f8e39db27e4f01f36d4.html[code="sh"]2009-11-16 14:07From:http://hi.baidu.com/liugl0808/blog/item/f27ec996119b5e6755fb96a1.html 1、查看主机网卡流量...
2011-12-30 16:49:41
238
原创 怎么让nginx支持.htaccess文件
在网上查到的资料很多人都说nginx目前不支持.htaccess文件，简直是扯淡... nginx完全可以支持.htaccess文件，请按如下操作： 1、新建一个.htaccess文件，在里面输入规则，如本站的规则： # nginx rewrite rule rewrite ^(.*?)/article/.*?-(\d+)...
2011-12-23 16:45:08
693
原创 创建静态HTML文件的类和方法提议
[code="php"]不知道在Yii中有没有自动生成静态HTML文件的方法。这在大型门户网站内容发布中经常使用到。如果没有，建议qiang整合之，有很好的价值，比缓存还好使一些。如果有，请告示如何使用。静态文件生成，一般通常有两种机制，一种是后台触发生成，一种是前台访问，如果没有则调用静态文件生成。这些生成的文件最好可以存储在指定的Apache文件目录或者Nginx服务目录下，使之可以用...
2011-12-23 16:39:55
95
原创 关于shell命令的定向输出 2>&1 .
分类： 脚本与批处理 2006-08-23 15:13 3473人阅读 评论(0) 收藏 举报 mycommand >mylog.txt 2>&1 应该是最经典的用法了。命令的结果可以通过“%>”的形式来定向输出，%表示文件描述符：1为标准输出stdout、2为标准错误stderr。系统默认%值是1，也就是“1>”，而1>可以简写为>，也就是默认为>。stdout的默认目标是终端，st...
2011-12-23 15:29:04
105
原创 于/dev/null及用途
关于/dev/null及用途2007-11-19 17:56把/dev/null看作"黑洞". 它非常等价于一个只写文件. 所有写入它的内容都会永远丢失. 而尝试从它那儿读取内容则什么也读不到. 然而, /dev/null对命令行和脚本都非常的有用.禁止标准输出. 1 cat $filename >/dev/null 2 # 文件内容丢失，而不会输出到标准输出. 禁...
2011-12-23 15:22:18
79
原创 cookie完全跨域
Posted on 2010-12-16 15:43 蜗牛向上爬 阅读(1081) 评论(0) 编辑 收藏 cookie是用来在某一个域下使用的，比如在.baidu.com这个域下种一个cookie，那么.google.com这个域就不能使用它；这是浏览器出于对用户隐私保护的考虑。要实现跨域的一个思路就是：客户端浏览器对某些html标签(比如script、iframe)的src没...
2011-12-23 14:58:46
211
原创 Nginx/Lighttpd反向代理服务器安装
[code="java"]减小字体 增大字体 作者：99uc.net 来源：本站整理 发布时间：2009-11-20 22:41:17反向代理服务已经越来越广泛的应用于高负载的Web站点中，常用来作为ReverseProxy的有Squid、Apache、Lighttpd、Nginx等，后两个轻量级的应用因为其优秀的表现已迅速占领了大量市场，本文只讨论后两者的简单应用（用proxy处理静态文...
2011-12-22 11:48:59
214
YY后台编程入门小小小指南
2018-09-25
lammp截图详解
2018-05-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人