- 博客(12)
- 收藏
- 关注
RSS订阅原创 spark上安装graphframes
本文主要介绍在spark中安装graphframes的过程，并使用jupyter和spark-submit做了测试
2017-09-25 18:17:02
7747
2
原创 linux下mysql定时备份
环境centos：6.6工作目录：/usr/local/mysqlbak/数据目录：/usr/local/mysqlbak/mybackup1、编写备份脚本，在工作目录下输入vim mysql_backup.sh，编辑备份脚本：#!/bin/shdb_user="root"db_passwd="password" //换成root密码db_host="loca
2016-03-23 16:00:15
305
原创 oozie4.3.0安装过程(支持python spark action)
因本人工作环境需要用到oozie的spark action，oozie4.2.0不支持workflow工作流目录lib子目录下的jar包自动加载，故采用oozie-master的源码（版本为oozie 4.3.0-SNAPSHOT），同时为使oozie spark action支持python文件，本人修改了若干源码，将在后面加以说明1、安装环境centos: 6.6jdk
2016-03-11 10:42:35
5266
2
原创 root用户下如何设置免密登录（一些细节）
1、常规情况这篇文章讲得很清楚了，配置好了若无问题，后面可以不看 集群环境ssh免密登录: http://www.cnblogs.com/ivan0626/p/4144277.html2、若登录有问题，可以使用ssh -v hostname 调试，若有问题，查看/var/log/secure , 若出现“bad owner or permissions on ssh c
2015-12-11 14:46:35
4186
原创 java下如何执行mongodb的db.currentOp
步骤：1、先连接到数据库MongoClient mongoClient = new MongoClient("***.***.***.***", 27017);DB db = mongoClient.getDB("testDB");2、执行命令if (db!=null) { //查询条件q可以把需要的过滤出来 DBObject q = new BasicDBObje
2015-11-17 16:00:13
1492
原创 centos下执行jar程序
1、编写执行脚本run.shjarsPath=test.jarfor i in lib/*.jar;do jarsPath=$i:$jarsPath;donejava -classpath jarsPath main.startTest2、运行脚本nohup sh run.sh &
2015-10-22 11:41:25
645
原创 spark下读写lzo文件（java）
1、编译安装hadoop-lzo这个网上已经说的很详细了，具体可以参考这个链接：hadoop使用LZO压缩http://running.iteye.com/blog/9698002、具体如何配置lzo，上面的文档已经有了，但是为了讨论问题，这里再复制一下：a、修改hadoop配置文件core-site.xml Xml代码
2015-10-15 16:52:27
9334
1
原创 mongodb常用语句
1、根据时间查找db.test.find{ Ut:{$lte:ISODate("2014-12-30T15:59:59.999Z"), $gte:ISODate("2014-12-29T16:00:00.000Z")}});
2015-08-26 11:43:22
365
原创 hdfs常用命令
查看目录大小hdfs dfs -du /TransferData/ | awk '{ sum=$1 ;dir2=$2 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024]="Kb"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s \t %s\n",sum/x,hum
2015-08-26 09:52:05
314
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人