- 博客(61)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Archlinux sshd服务启动优化；
默认配置下，网络服务启动30s不到完成，但是sshd要在90 - 110s才可用； 不懂原理，尝试折腾了下，修改文件：/usr/lib/systemd/system/sshd.service将其中的After=network.target这一行注释掉（行首加#）。sshd的启动就飞快了，基本上能ping通，就能ssh上了。 猜想原理：系统启动sshd服务
2015-05-03 23:45:48
568
原创 创建数据库，赋予权限
create database xxdb;GRANT ALL PRIVILEGES ON xxdb.* TO 'username'@'%' IDENTIFIED BY 'passwd' WITH GRANT OPTION;
2013-09-05 13:32:33
239
原创 python安装是 -fPIC问题的解决
尼玛真是头疼。在安装好numpy、scipy、theano后。在python代码中，敲入：import theano，报错如下：[code="error"]Problem occurred during compilation with the command line below:g++ -shared -g -m64 -fPIC -I/usr/local/l...
2013-03-09 21:52:24
935
原创 安装Theano
参考：http://deeplearning.net/software/theano/install.html为了安装python软件方便，先安装pip。安装方法，见google安装Theano的先决条件：1，python 2.6以上；2，BLAS3，numpy（依赖BLAS，虽然没有亦可以安装，但是无法使用BLAS的加速）4，SciPy（依赖BLAS）...
2013-03-06 03:07:57
204
原创 oozie 与jdk 版本
用的oozie-3.1.3jdk从1.6 升级到1.7 就无法启动了。报错如下：2012-11-22 11:13:06,686 INFO HadoopAccessorService:539 - USER[-] GROUP[-] NAME_NODE_WHITELIST :[ ], Total entries :02012-11-22 11:13:06,778 FATAL Servi...
2012-11-22 11:30:43
197
原创 hadoop “no xxxxNode to stop” 问题解决
在使用stop-dfs.sh、stop-mapred.sh、stop-all.sh、hadoop-deame.sh脚本关闭某个服务时，经常汇报：“no xxxxNode to stop”以下是解答http://nourlcn.ownlinux.net/2012/06/no-namenode-to-stop-error-in-hadoop.html[quote]为什么会这...
2012-11-20 10:27:01
299
原创 linux查询网卡相关信息
ethtool ethX查询详细的网卡、网络信息；推荐[quote]Ethtool是用于查询及设置网卡参数的命令。概要：ethtool ethX //查询ethX网口基本设置ethtool –h //显示ethtool的命令帮助(help)ethtool –i ethX //查询ethX网口的相关信息ethtool –d eth...
2012-11-19 14:23:37
141
原创 lvm中物理卷的删除
1，umount相应分区：umount /xxx/xxx/xx2，删除相应的逻辑卷（lv） 可以通过 lvdiplay 命令查看所有逻辑卷信息，然后找到要删除的逻辑卷； 通过 lvremove 逻辑卷名称 来删除逻辑卷。3，将要删除的物理卷对应的PV从VG中移除。 命令是vgreduce vg名称 pv名称 可以通过vgdisplay -v 查看信息。...
2012-10-17 10:09:45
944
原创 安装 alfresco
1，官网下载安装文件：http://wiki.alfresco.com/wiki/Download_and_Install_Alfresco2，然后在linux下运行，[code="shell"]./alfresco-community-4.0.e-installer-linux-x64.bin ---mode text[/code]3，安装过程中，选择高级安装，并不要安装Postgr...
2012-10-10 00:20:25
241
原创 hadoop 2.0.1-alpha上部署 oozie-3.2.0
不知道为什么bin/addwar.sh里面说只支持0.20.x，于是修改这个文件，addhadoopjar函数里面添加内容，修改后的函数为：[code="shell"]#get the list of hadoop jars that will be injected based on the hadoop versionfunction getHadoopJars() {...
2012-09-21 12:33:39
65
原创 pig 部署在hadoop 23上
pig-0.10.0版本是支持hadoop 23的。但是需要重新编译pig；编译命令如下：[code="shell"]ant -Dhadoopversion=23[/code]编译好之后，把原来的pig的jar包删了就行。当然了，hadoop的几个环境变量还是要配置的：HADOOP_HOME参考资料：http://hortonworks.com/blog...
2012-09-16 10:32:44
84
原创 yarn执行mr出现的 内存问题
反正就是各种报错，超出内存什么的。涉及到两个配置文件：yarn-site.xml 和 mapred-site.xml；yarn-site.xml主要涉及这两个参数：[code="xml"] yarn.nodemanager.resource.memory-mb 1536 yarn.scheduler.maximum-alloca...
2012-09-15 01:14:54
296
原创 hive在YARN下执行mr任务问题
错误和解决方案都可以参加该链接：http://grokbase.com/p/cloudera/cdh-user/126wqvfwyt/hive-refuses-to-work-with-yarn现象就是，当hive启动mr任务是报错如下：[quote]Error during job, obtaining debugging information...Examinin...
2012-09-15 01:11:19
1185
原创 linux用户的uid相关内容
在linux中，用户有用户名，也有uid。uid是一个数字，用来唯一确定某个用户的身份。linux系统中的文件权限实际上是与uid绑定的，而不是表面上看上去的用户名。创建用户时指定uid的方法：[code="shell"]useradd [usernamen] -u [uid][/code]uid必须是数字，必须没有被占用，必须大于等于500，（500以下的uid由...
2012-09-14 17:32:38
894
原创 hadoop 2.0.1 HA配置部署
今天折腾HA，那叫一个顺利啊，我原本准备花一周时间来折腾的，结果今天一天基本搞定，没遇到什么大问题。要写总结，我也不知道写啥了。大致流程罗列一下吧。主要分三步，第一步，弄清楚HA原理架构，这个参考官方文档，说的很清楚。http://hadoop.apache.org/docs/r2.0.0-alpha/hadoop-yarn/hadoop-yarn-site/HDFSH...
2012-09-12 22:26:12
145
原创 编译hbase
在apache上下载的hbase，默认的编译版本是根据hadoop-1.0.3的。需要用其他版本的hadoop的，要对hbase进行重新编译。编译并不难，但是第一次，还是出了很多很多状况。PS：HBase版本：hbase-0.94.1 hadoop版本 2.0.11，下载maven。（hbase是用maven编译的，hadoop用ant）2，hbase的p...
2012-09-07 10:20:07
148
原创 zookeeper 相关纪要
zookeeper安装很简单：1，解压；2，配置zoo.cfg3，设置myid然后就是启动了。具体内容，网上很多，也没什么特别的。需要注意的是：1，myid就是zoo.cfg里面的server.x=ip：A：B中的x。2，如果hbase不管理zookeeper情况下，需要设置hbase-env.sh里面的export HBASE_MANAGES_ZK设置为fal...
2012-08-30 22:53:31
76
原创 fuse=dfs 安装
其实不是那么难，但是各种小问题搞了我一天。1，确认你的机器安装了以下工具，可以通过yum安装：yum install xxxxx[quote]automakeautoconflibtool[/quote]这些工具，是编译hadoop源码是需要用到的。这一点狠狠很重要2，下载，安装ant下载：apache-ant-1.8.4-bin.tar.gz...
2012-08-28 22:34:57
139
原创 hadoop 2.0.1 使用distcp问题解决
幸幸苦苦安装好了新版hadoop，然后辛辛苦苦调通，可以跑mr了。然后用distcp从1.0.3的集群拷数据到2.0.1的集群中。首先是由于版本不同，不能用hdfs协议直接考，需要用http协议。即不能用 distcp hdfs://src:54310/foo hdfs://dst:54310/而要用 distcp hftp://src:50070/foo hdfs://d...
2012-08-26 12:55:28
561
原创 hadoop 2.0.1配置纪要
折腾了一天一夜。到运行mr任务时卡住了，一直报错，说找不到hadoop的Congfiguration类。我尝试把hadoop包也打到运行的jar里面，尝试，有报错找不到其他的类。反正问题就是，application运行时，找不到相应的jar包。折腾了整整一晚上，最后搞定，说实话，我都不知道是改了哪里搞定的。注意一点，系统环境变量/etc/profile，hado...
2012-08-26 12:55:14
67
原创 折腾 elephant-bird
https://github.com/kevinweil/elephant-bird在hadoop集群上配lzo压缩。然后想在pig中应用，搜了一圈，发现需要安装elephant-bird。好吧，继续折腾。等等，貌似不需要折腾elephant-bird，http://code.google.com/p/hadoop-gpl-packing/这个网页，using ...
2012-08-26 12:54:58
86
原创 oozie运行hive以及hive的udf
一，执行hiveAction除了需要配置oozie.hive.defaults外，还需要配置几个hive的参数。这点我不是很理解，以为只要在hive-site.xml里面配置了，就完事了，结果不行，还需要单独配置，而且oozie.hive.defaults不配置还不行。配置如下：[code="conf"] oozie.hive.defaults my-h...
2012-06-12 22:09:57
197
原创 用oozie执行pigAction与hiveAction的问题
===============================问题分析：oozie执行action时锁涉及到的jar包，都是用的oozie.libpath指定的sharelib路径中的jar包。而pig和hive都依赖了antlr-x.x.x.jar。最要命的是，他们两个还依赖的是不同版本的antlr。我用的是pig-0.10.0和hive-0.8.1。pig的...
2012-06-12 22:01:09
100
原创 oozie 调用sqoop导入hive表错误处理
这个问题，搞了整整三天。都想骂娘了。由于是尼玛oozie调用mapreduce调用sqoop然后调用hive，关系比较复杂。所以错误定位搞了好久。症状描述：用oozie调用sqoop，将数据表从mysql直接导入到hive的过程中。全部过程都能执行完毕，数据也导进去了。但是，那个oozie的job的结果显示是killed的。当然咯，那个action节点的结果也显示是...
2012-06-07 02:29:14
343
原创 oozie 扩展与配置相关
折腾了好久好久好久的oozie，现在暂时算是能够用起来了。主要讲两点吧：一，部署相关二，运行相关-----------------------------一，部署相关oozie用的版本是oozie-3.1.3-incubating，不知道为什么，从3.0起，oozie不支持sqoopAction和HiveAction了。为了能够执行这两种Action，对他的...
2012-06-05 17:26:49
110
原创 hive中应用lzo
在建表的时候，进行两个设置：STORED AS INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat"然后，基本上就是透明操作hive了。http://bl...
2012-05-18 18:25:30
169
原创 pig用上lzo的相关配置
转载：http://stackoverflow.com/questions/7277621/how-to-get-pig-to-work-with-lzo-files还没有试过。----------------------I recently got this to work and wrote up a wiki on it for my coworkers. Here's an...
2012-05-17 21:13:10
92
原创 oozie安装问题
在cdh3u3版本上安装后，按照官方文档的配置方法，轻松搞定。http://incubator.apache.org/oozie/QuickStart.html其中，要注意以下几点：1，运行命令：bin/oozie-setup.sh -hadoop 0.20.2 ${HADOOP_HOME} -extjs /tmp/ext-2.2.zip时，首先版本号用的是0.20.2。...
2012-05-14 20:37:02
119
hadoop lzo配置
这个东西，看来很复杂，网上一搜很多资料。总的来说就是一，需要编译hadoop lzo部分的代码，然后添加到hadoop lib里面。二，然后在core-site.xml、mapred-site.xml、hadoop-env.sh里面加几个参数，三，重启集群就ok了。虽然看上去就三步，不过编译hadoop lzo部分的代码还是有点小麻烦的。现在主要记录下这块把。...
2012-05-13 23:27:59
91
原创 尝试bigtop
无意中在cloudera网站上看到的bigtop介绍：http://www.cloudera.com/blog/2012/04/apache-bigtop-0-3-0-incubating-has-been-released/Apache Bigtop 0.3.0 (incubating) is now available. This is the first fully integr...
2012-04-14 20:47:11
261
原创 rpm 常用命令
rpm -qpl xxxxxx.rpm1.如何安装rpm软件包rmp软件包的安装可以使用程序rpm来完成。执行下面的命令rpm -i your-package.rpm其中your-package.rpm是你要安装的rpm包的文件名，一般置于当前目录下。安装过程中可能出现下面的警告或者提示：... conflict with ... 可能是要安装的包里有一些文件可能会覆盖现有...
2012-04-13 17:49:08
71
原创 zz hadoop常见问题
http://www.hadoopor.com/thread-71-1-1.htmlHadoop技术论坛注册 登录 论坛 导航 RSSHadoop技术论坛 » Hadoop综合 » Hadoop使用常见问题以及解决方法 123下一页返回列表 发帖版主Rank: 7Rank: 7Rank: 7十级勋章 ...
2012-04-12 21:30:24
146
原创 mysql 数据表修复
由于断电原因，mysql数据表损坏，运气比较好，损坏的并不严重，通过简单修复 （myisamchk -r -q）就解决啦。主要参照链接：http://www.chinahtml.com/0610/mysql-11619183797660.html教你用Myisamchk进行崩溃恢复MySQL发表时间:2006-10-27内容来源:网页教学网作者:佚名...
2012-03-27 12:41:43
75
原创 linux 下ssh无法登录解决
现象就是在root下 ssh host1 一直卡住没反应，然后用ssh的debug模式查看ssh -v host1,显示如下：OpenSSH_4.3p2, OpenSSL 0.9.8e-fips-rhel5 01 Jul 2008debug1: Reading configuration data /etc/ssh/ssh_configdebug1: Applying opti...
2012-03-04 21:11:48
1311
1
原创 hadoop 0.23 配置（启动、跑mapRedcue、web UI）
启动有几个部分：1，hdfs；其中包括、namenode、datanode、secondaryNamenode、backupNode在namenode上执行：./start-dfs.sh 即可启动nn、dn、snn，backupNode需要在backupNode上去执行：nohup ./hdfs namenode -backup > backupNode.out &2，...
2012-03-04 20:24:59
101
原创 hadoop 0.23 配置、安装、升级（YARN 与 log路径 ）
yarn的配置比hdfs那几个点点简单多了，网上随便找个教程应该都可以搞定。遇到的几个问题，记录以下。1，尼玛yarn-env.sh 与 hadoop-env.sh，启动dfs的时候只会读取hadoop-env.sh， 启动yarn时，运行./start-yarn.sh，会先执行hadoop-env.sh再执行yarn-env.sh，也就是说后者级别高，会覆盖前者。...
2012-03-04 12:30:26
103
原创 hadoop 0.23 配置、安装、升级（HDFS篇）
折腾了一天，装0.23的hdfs。版本是0.23.1官方文档写的这个是alpha，折腾了一下午，这个尼玛果然是alpha，一堆东西有问题。废话少说，直入主题。首先是下载官网上的安装包。官网上也推荐把hdfs、mapred、yarn三个帐号分开。配置ssh这里就不说了。0.23的目录结构跟0.20.2比改动很大，这里大概说明下：1，首先所有...
2012-03-03 19:53:03
78
原创 ganglia 安装
hadoop 配置文件配置hadoop-metrics.properties修改如下： # Configuration of the "dfs" context for ganglia # Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter) # dfs.class=org.apache.hado...
2012-02-21 18:39:55
64
JFreeChart DemoCode 例子
2010-05-20
SCJP Exam for J2SE 5 APRESS~3
2009-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人