- 博客(112)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 spark运行在yarn上的一个异常
主机配置内存不足，导致在yarn上运行job异常，下面是spark运行在yarn上的一个异常：17/05/03 17:58:02 ERROR client.TransportClient: Failed to send RPC 7785784597803174149 to /172.26.159.91:56630: java.nio.channels.ClosedChannelExcept...
2017-05-03 18:08:43
1287
原创 idea 2016.1 注册码 license
43B4A73YYJ-eyJsaWNlbnNlSWQiOiI0M0I0QTczWVlKIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGlvbiI6IkZvciBlZHVjYXRpb25hbCB1c2Ugb25seSIsImNoZWNr...
2016-08-09 18:13:27
365
原创 tensorflow 安装过程总结
tensorflow 安装过程总结：1.mac 按照官网的# Mac OS X$ sudo easy_install pip$ sudo easy_install --upgrade six $ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/tensorflow-0.9.0rc0-...
2016-06-21 17:07:20
249
原创 drill1.0配置hive storage plugin及测试
drill1.0配置hive storage plugin及测试drill,hive截止到目前本博客发布前，apache drill最新发布版本是1.0.0，对与此版本的数据源支持和文件格式的支持：avroparquethivehbasecsv tsv psvFile system 对于目前我的需求：snappy+sequencefile 的hdfs存储...
2015-08-06 10:18:31
393
原创 tez ui 安装测试
tez ui 安装测试标签（空格分隔）： 未分类环境：hadoop-2.7.1，tez-0.7.0，tomcat 7将编译后的tez-ui.xxx.war文件复制到tomcat的webapps目录中修改tez-ui的war解压后的文件scripts/configs.js文件App.setConfigs({/* Environment configuration...
2015-08-04 17:03:07
276
原创 编译tez 0.7
tez自己编译0.7 版本,为了测试hadoop2.7.1 是否运行顺畅,编译:mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true编译过程一直到tez-ui模块异常编译不通过:bower ESUDO Cannot be run with sudo,需要编辑tez-ui中的pom.xml文件,添加红色部...
2015-07-29 16:30:09
224
原创 hive on tez详细配置和运行测试
hive on tez详细配置和运行测试标签（空格分隔）： tez hadoop hive hdfs yarn环境: hadoop-2.5.2 hive-0.14 tez-0.5.3 hive on tez 的方式有两种安装配置方式:在hadoop中配置在hive中配置 比较: 第二种方式:当已经有了稳定的hadoop集群,而不想动这个集群时,可以考虑采用第二种方式配置,第二种方式配置
2015-06-03 17:50:43
11422
2
原创 pig on tez测试
pig on tez测试 pig tez hadoop hdfs 测试环境pig-0.14.0hadoop-2.5.2 ()1+2)hive on tez 测试后,很好奇,pig是否可以在tez上运行呢?从官网上可以看到pig on tez的描述,就想应该是可以pig on tez的.pig安装过程略过…准备数据集[...
2015-06-02 14:16:24
195
原创 hive 小记
hive 小记 hive hadoop hdfs 测试环境centos6.5 64bithadoop-2.5.2hive-0.14udf引入第三方lib包将第三方的jar统一存放到一个目录中:/usr/local/hivelib/ 并设置变量: export HIVE_AUX_JARS_PATH="/usr/loc...
2015-06-02 11:41:02
142
原创 ambari 安装配置
测试环境centos6.5 64bitambari-2.0.1作用ambari安装hadoop时默认是从官网在线下载安装包,安装包要3Gb左右大小,在线安装屡屡请求超时而失败,况且正式环境中hadoop集群主机多数是不能链接外网的,因此,配置一个本地数据源是多么的迫切和明智的,下面参考本地数据配置过程.ambari安装过程略过.安装ambari...
2015-06-02 11:28:59
371
原创 hive on tez hive运行在tez之上 安装测试
hive on tez详细配置和运行测试tez hadoop hive hdfs yarn环境: hadoop-2.5.2 hive-0.14 tez-0.5.3 hive on tez 的方式有两种安装配置方式:在hadoop中配置在hive中配置比较: 第二种方式:当已经有了稳定的hadoop集群,而不想动这个集群时,可以考虑采用第二种方式配置...
2015-05-26 18:53:32
1248
1
原创 hadoop2.5.2配置httpfs服务
hadoop2.5.2配置httpfs服务 httpfs hadoop hdfs 测试环境ubuntu 14.04 单机hadoop2.5.2 伪分布式jdk1.7作用通过HttpFs你可以在浏览器里面管理HDFS上的文件，功能同hadoop shell相似HttpFs还提供了一套REST 风格的API可以用来管理HDFS...
2015-05-08 12:58:55
540
原创 ubuntu安装NFS及测试
ubuntu安装NFS及测试测试环境ubuntu 14.04 单机安装nfs-kernel-serverapt-get install nfs-kernel-server创建共享目录mkdir /opt/nfs #建立一个nfs服务的专有的文件夹;修改 exportsroot@localhost:~...
2015-05-08 09:37:17
885
原创 NFS挂载hdfs到本地
NFS挂载hdfs到本地 nfs hdfs nfs hdfs hdfs挂载： hdfs是分布式系统，要想访问hdfs上的文件，可以用java api 或者hadoop shell等工具，如果想操作hdfs文件系统就像操作本地文件系统一样的便捷，可以将hdfs文件系统挂载到本地的一个目录上，那么挂载的方式有两种：fuse 挂载：需要另外安装fuse工具，详细请参考： ...
2015-05-07 18:34:42
1741
原创 apache drill 0.8.0 单机/分布式安装测试
apache drill 0.8.0 安装测试 apache drill0.8.0 drill 0.8.0 单机模式 分布式 环境 apache-drill-0.8.0 apache-hadoop-2.5.2 jdk1.7 写在前面 看到社区发表的文章显示,apache drill 在PB级数据面前在数秒内即可查询返回结果,这个测试报告很吸引人,但是没有描述用了多少个节...
2015-04-16 16:57:56
595
原创 测试hbase预设分区
测试hbase预设分区 phonex-4.3 hbase-0.98.10 环境 hbase-0.98.10,hadoop-2.5.2 预设分区使用hbase为了在写入阶段避免个别节点过热,通过数据的分布图,在创建表的时候预设表的分区:create 'test_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS ...
2015-04-07 20:06:22
282
原创 Phoenix设置时间戳
Phoenix设置时间戳 phonex-4.3 hbase-0.98.10 环境 phonex-4.3,hbase-0.98.10,hadoop-2.5.2 设置时间戳 使用hbase的TTL机制用来定时删除过期的数据记录,但是默认的是数据插入是的系统时间戳,显然不可以,需要手动设置时间戳,找了半天,官方文档上提到CurrentSCN 的描述,最终使用java客户端设置时间戳...
2015-04-07 19:13:45
2207
原创 eclipse远程连接hadoop进行开发测试
eclipse远程连接hadoop进行开发测试马克飞象 由于搭建hadoop环境在仿真系统，在本地远程连接hdfs和提交mapreduce的job任务精力了曲折，现整理如下：hadoop环境 ：hadoop2.5.2 jdk1.7 eclipse_luno hadoop_eclipse插件2.6； wordcount代码如下：package test;im...
2015-03-27 18:17:31
276
原创 HBase 查看HFile内容
HBase 查看HFile内容 hbase 查看HFile hbase的数据文件最终存放的是HFile文件,即对MFile存储格式的封装修改,存储的为二进制格式内容,目前hbase提供的hbase org.apache.hadoop.hbase.io.hfile.HFile 工具类可以查看HFile文件内容,对排查region的分布情况有很大用途,以下为查询步骤:定位HFil...
2015-03-26 17:54:42
720
原创 HBase 多master 安装配置
HBase 多master hbase master 多master hbase HA hbase的hmaster不保存数据,而是起到region分裂,regionserver宕机后region的重新分配和有关表的DML操作,在hmaster宕机后只要不进行上述三种情况的操作,几乎不用考虑hmaster,先将多hmaster配置详细如下：首先搭建单节点hmaster集...
2015-03-26 17:38:57
703
原创 hadoop2.x jobhistoryserver 配置
hadoop2.x jobhistoryserver 配置 hadoophadoop1.x之前的版本中可以开启50030端口,查看历史作业的运行日志,包括mr日志和自定义日志,但是hadoop2.x 是用MRv2(yarn)作为作业运行服务,代替50030端口的是一个jobhistory服务.jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDF...
2015-02-11 10:28:06
323
原创 hadoop balancer
hadoop balancer设置同步带宽bin/hadoop dfsadmin -setBalancerBandwidth 1073741824起参单位为字节,1073741824byte=1G启动balancer进程bin/hadoop balancer -threshold 10或者sbin/start-balancer.s...
2015-01-14 15:38:29
97
原创 hadoop second namenode异常 Inconsistent checkpoint fields
hadoop second namenode异常 Inconsistent checkpoint fieldsjava.io.IOException: Inconsistent checkpoint fields.LV = -47 namespaceID = 524164388 cTime = 0 ; clusterId = CID-5c38c719-cc2c-47d9-a4...
2015-01-14 15:25:28
235
原创 ubuntu14.04安装QQ
ubuntu14.04安装QQ把电脑安装成了ubuntu14.04版本后，发现根本脱离不开QQ，安装了好几次QQ都没有成功，就只能用webQQ聊天，恶心的不行啊，时不时的登陆不上，一怒之下，再次安装QQ。下载tmQQ：下载地址：http://www.longene.org/download/ 我下载的是：http://www.longene.org/download/Win...
2014-12-16 17:36:09
425
原创 ubuntu安装navicat及常见问题解决
ubuntu安装navicat及常见问题解决1.安装navicatStep1: 下载Navicat ，网址：http://www.navicat.com/en/download/download.htmlStep2：进入下载目录，解压压缩包：tar -zxvf navicat11_mysql_en.tar.gzStep3：打开解压后的目录，会看到 start_navic...
2014-12-11 11:03:21
734
原创 idea导入sbt项目
idea导入sbt项目 在使用idea开发spark过程中，使用sbt工具构建是个相当好的构建方式，本文针对，用idea导入已经是sbt的项目进行说明：1.导入项目 2.在弹出框中选择sbt项目：3.选择箭头处的两个地方： 4.选择自动导入，箭头示意处： 接下来等待导入的依赖包和预编译即可，如果不限则如上图的两个auto，则出现找不到类的异常。...
2014-11-29 23:02:36
1941
原创 HBase Shell在crt中输入命令无法删除问题解决技巧
HBase shell使用过程中，使用CRT客户端，命令输入后无法删除一直困绕着我，今天终于受不了，几番度娘，谷哥之后，终于有了解决方法，特共享给大家。secureCRT中，点击【选项】【回话选项】【终端】【仿真】，右边的终端选择linux...
2014-11-25 17:37:42
302
原创 ubuntu14 设置root用户登录以及远程ssh连接
ubuntu14 设置root用户登录开启root帐号的方法：为了启用root 帐号（也就是设置一个口令）使用：sudo passwd root当你使用完毕后屏蔽root帐号使用：sudo passwd -l root这个将锁住root帐号。如何在终端模式下切换到root身份？sudo -s -HPassword: <在此输入密码>编辑：...
2014-11-18 10:44:35
213
原创 javascript简单加密解密函数
javascript简单加密解密函数<title>JS加密函数</title><SCRIPT LANGUAGE="JavaScript">var str_in;var str_out = "";var num_in;var num_out = "";var e = "Enter Text!";// 加密fu
2014-09-04 14:14:27
283
原创 nutch 集成 hbase
nutch安装安装软件准备安装环境：centos 6.5nutch：v2.2.1hbase:v0.94.18本篇重点讲述nutch的安装和nutch与hbase的集成，hbase的安装请参考其他资料；安装步骤：安装ant：因编译nutch源码，需要ant工具，下载apache-ant 设置 系统变量写道[hadoop@master nutch]$ vim ...
2014-06-27 11:23:08
134
原创 rdate从ntp服务器同步时间
除了ntpdate可以同步两台主机之间的时间以外，另外一个工具就是rdate 查看时间服务器的时间:# rdate time-b.nist.gov 设置时间和时间服务器同步:# rdate -s time-b.nist.gov # man rdate 查看rdate帮助 国内常用NTP服务器地址及IP：s1d.time.edu.cn 东南大学s1...
2014-06-04 14:26:17
1703
原创 kafka安装测试
kafka安装测试过程kafka的性能在此不再赘述，百度一下很多，在此描述一下kafka的安装和测试过程：安装kafka：#tar -xzf kafka_2.9.2-0.8.1.tgz#cd kafka_2.9.2-0.8.1#mv kafka_2.9.2-0.8.1 kafka 开启zookeeper服务：bin/zookeeper-server-sta...
2014-05-14 15:18:36
344
原创 linux手动设置静态ip
CentOs 设置静态IP 方法在做项目时由于公司局域网采用自动获取ＩＰ的方式，导到每次服务器重启主机ＩＰ都会变化。为了解决这个问题，设置静态IP解决了这个问题，修改步骤如下：１.修改网卡配置 编辑：vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=EthernetUUID=9ec627c...
2014-05-05 15:08:53
182
原创 fuse挂载hdfs 安装配置
fuse安装的情况下，需要使用root进行启动配置，如果需要使用其他账号挂载目录:echo user_allow_other >> /etc/fuse.confchmod +rx /bin/fusermount然后在使用fusemount的命令加上一些选择，数字是用户id和组id -d -o uid=2001 -o gid=2001下载fuse安装包到指定...
2014-04-25 12:02:37
539
原创 eclipse安装python插件 问题
eclipse安装pydev插件时没有任何错误提示，但是就是装完了后不显示pydev的项置项。环境：eclipse junopython:3.3jdk:1.6pydev:3.2解决办法有两种：1.安装jdk1.7+2.安装pydev2.*版本下载pydev相应的插件：http://sourceforge.net/projects/pydev/files/pyde...
2014-01-08 21:37:19
181
原创 java转换音频视频
感谢：http://tj007-bo.iteye.com/blog/435740的博主为我解决了问题JAVE (Java Audio Video Encoder) 类库是一个 ffmpeg 项目的 Java 语言封装。开发人员可以使用JAVE 在不同的格式间转换视频和音频。例如将 AVI 转成 MPEG 动画，等等 ffmpeg 中可以完成的在 JAVE 都有对应的方法。Examples...
2014-01-08 15:10:29
11831
原创 python 安装mysql-python模块
python安装mysql连接模块，步骤：os:win xp ；python：3.2 32bit；setuptools:2.0 地址：http://pypi.python.org/pypi/setuptools 或末尾附件下载mysql-python:3.2-32bit：http://download.csdn.net/detail/txw1958/5818181 或...
2013-12-29 01:27:12
176
原创 ubuntu忘记登录密码 找回
ubuntu 12.04忘记密码解决办法:启动电脑，按esc或者shift，进入gurb界面，在第一行按e，在linux /boot/vmlinuz 最后一行加入 rw init=/bin/bash 然后按F10进入。修改用户密码： passwd yourname，输入两次新密码。按ctrl+alt+delete重启电脑，搞定。看图片。 成功修改密码。linux 还有这么个牛叉门路...
2013-12-27 21:14:35
103
原创 jconsole监控tomcat
Server端对tomcat启动脚本配置如下参数: 编辑${tomcat_home}/bin/catalina.sh 并加入如下参数JAVA_OPTS="$JAVA_OPTS -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=1899 -Dcom.sun.management.jmxremote.ssl=...
2013-12-12 12:32:51
91
原创 js的输入输出的相关操作说明举例
个人原本以为javascript客户端脚本语言对客户端的文件操作是不安全的，就不允许js对客户端文件进行操作，看到这篇文章，才明白，不安全不等于不让操作。 今天项目用到需要在客户端打开文件，并判断文件的大小。 用到了就会了，贴出来提醒自己要不断的学习，也方便自己日后查阅。 <script language = "javascript" ty...
2013-05-02 14:51:19
392
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人