- 博客(60)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 hive优化之-控制hive任务中的map数和reduce数
1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例： a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文
2018-01-08 23:15:52
250
原创 shell循环和条件判断
#!/bin/bashsource /data/xiaoju/.bashrccd /data/xiaoju/online/# create some-days dataV_BEGINDATE='2015-05-12'V_ENDDATE='2015-05-28'while [[ "$V_BEGINDATE" echo " -----"$V_BEGI
2015-05-28 14:16:03
498
原创 收集点击日志
===========apache===========LogFormat "%q&rmthost=%{X-Forwarded-For}i&inTime=%{%F:%H:%M:%S}t" commonLogFormat "%{Referer}i -> %U" refererLogFormat "%{User-agent}i" agent DocumentR
2014-12-30 17:41:05
600
转载 linux安装vsfftpd
安装vsftpd： yum install vsftpdsudo useradd -m ftpsudo passwd ftpsudo chmod 777 /home/ftp修改vsFTPd的配置 cd /etc/vsftpd/ vi vsFTPd.conf监听地址和端口，是否打开tcp、psav模式等等anonymous_enable=NOlocal
2014-12-01 17:53:23
690
转载 linux（centos）搭建SVN服务器
安装步骤如下：1、yum install subversion2、输入rpm -ql subversion查看安装位置，如下图： 我们知道svn在bin目录下生成了几个二进制文件。输入 svn --help可以查看svn的使用方法，如下图。3、创建svn版本库目录mkdir -p /var/svn/
2014-10-23 17:37:05
501
原创 linux 增加一个用户并打通ssh
1、增加用户adduser hadoopadminusermod -a -G wheel hadoopadminpasswd hadoopadmin2、编辑文件visudo -f /etc/sudoers#chmod 0440 /etc/sudoers将%wheel那两行打开3、测试是否增加成功：su - hadoopadminsud
2014-09-27 18:12:19
1126
原创 hive常用命令
一、添加hive自定义函数add jar /opt/cloudera/parcels/CDH/lib/hive/lib/bhdp-base-0.0.2.jar;create temporary function decode_order_moblie as 'com.baihe.hadoop.hive.udf.DecodeOrderMobile';select
2014-04-24 15:00:01
523
原创 sol操作记录
一、solr命令solrctl instancedir --delete baiheSearch solrctl instancedir --create baiheSearch $HOME/solr_configssolrctl collection --delete baiheSearchsolrctl collection --create baiheSearch -s 3
2014-03-08 14:38:43
1662
转载 hadoop学习参考网址
NFS安装配置及常见问题、/etc/exports配置文件、showmount命令http://desert3.iteye.com/blog/1675522
2014-02-18 23:01:23
1290
原创 kettle一些命令
安装kettlecd /usr/localscp root@web115:/usr/local/soft/pdi/pdi-ce-5.0.1.A-stable.zip ./unzip pdi-ce-5.0.1.A-stable.zipscp root@web115:/usr/local/data-integration/lib/mysql-connector-java-5
2014-02-08 15:42:23
2246
原创 zookeeper异常处理
一、zookeeper报错：unable to load database on disk 2014-01-12 18:59:39,039 INFO org.apache.zookeeper.server.persistence.FileSnap: Reading snapshot /var/lib/zookeeper/version-2/snapshot.1f0015b7242
2014-01-12 19:27:20
20644
3
原创 hbase异常处理
一、2014-01-02 02:08:49,349 INFO org.apache.hadoop.hbase.regionserver.Store: Closed info2014-01-02 02:08:49,349 INFO org.apache.hadoop.hbase.regionserver.HRegion: Closed kgroup_user_receiver,6607657
2014-01-12 18:44:24
4799
原创 CDH的Cloudera Manage安装或升级
一.准备centos6.2系统java 1.6.31二.下载rpm资源http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4RPMS的文件和repodata都得下三.开启本地源yum>yum list installed cloudera-manager-serveryum list inst
2013-12-26 00:20:35
965
转载 JAVA 线程操作
http://www.blogjava.net/jinfeng_wang/archive/2008/04/27/196477.html
2013-11-18 10:39:51
500
原创 IBATIS一些参数说明
Pool.MaximumActiveConnections：数据库连接池可维持的最大容量Pool.MaximumIdleConnections：数据库连接池中允许的挂起（idle）连接数Pool.MaximumCheckoutTime：数据库联接池中，连接被某个任务所允许占用的最大时间， 如果超过这个时间限定，连接将被强制收回。（毫秒）Pool.TimeToWait：当线程试图从连
2013-10-25 09:43:46
1014
原创 hadoop维护时候的一些重要命令
参考网址：http://xubo8118.blog.163.com/blog/static/185552332201301811402816/hadoop fs -setrep -R 3 /hadoop fsck /hadoop fsck -delete
2013-10-21 09:49:05
575
原创 mysql主从同步配置
1.master上操作(web114)GRANT FILE,SELECT,REPLICATION SLAVE ON *.* TO [email protected] IDENTIFIED BY '******';flush privileges;#vi /etc/my.cnf[mysqld]log-bin=mysql-bin //[必须]启用二进制日志
2013-10-15 09:52:15
891
原创 mahout kmeans 测试
hadoop jar /opt/cloudera/parcels/CDH/lib/mahout/mahout-examples-0.7-cdh4.3.0-job.jar \org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
2013-10-14 17:14:48
889
转载 轻松升级CentOS 5.6到CentOS 6.0
RedHat Linux 的社区免费版本 CentOS 6.0 于7月11日正式发布。CentOS 6.0 基于上游的 RHEL 6.0 制作，同时基本包含了所有的上游软件包。CentOS 完全遵守上游供应商的再发行政策，并且以百分之百的软件兼容性为目标。本文主题是『升级CentOS 5.6到CentOS 6.0』预备命令cat /etc/redhat-release，
2013-09-02 10:35:03
709
转载 hadoop & hbase 上下线
原文网址：http://blog.chinaunix.net/uid-16362696-id-3479643.html 线上部署hadoop、hbase 一般都是采用存储、计算一对一的方式，即每个节点启动 hadoop 的 datanode（以下简称dn）& tasktracker（以下简称tt） 再加 hbase regionserver（以下简称rs），hadoop namenode
2013-09-02 09:52:33
841
原创 mahout数据各步骤转换
原始数据：1,101,51,102,31,103,2.52,101,22,102,2.52,103,52,104,23,101,2.53,104,43,105,4.53,107,54,101,54,103,34,104,4.54,106,45,101,45,102,35,103,25,104,45,105,3.55
2013-07-05 14:48:29
728
转载 正则表达式30分钟入门教程
http://www.cnblogs.com/deerchao/archive/2006/08/24/zhengzhe30fengzhongjiaocheng.html
2013-06-20 10:07:55
436
转载 HBase中数据的多版本特性潜在的意外
HBase做为KeyValue结构存储，在存储上是依照RowKey的字典序进行排序，对于很多应用而言这可能远远不够，好在HBase的数据可以存储多个版本，并且版本可以排序，其理论上最大的版本数目Integer.MAX_VALUE，这在一定程度上简化应用端的设计 举个例子，假设现在有一个应用，对用户的每次登录信息（如：时间+IP）进行，并要求可以快速获取指定用户的最近登录信息，如果选用HBa
2013-04-24 10:51:04
590
原创 hbase命令使用笔记
修改列族disable 'bhdp_user'alter 'bhdp_user', NAME => 'matchInfo',VERSIONS =>65535alter 'bhdp_user', NAME => 'userInfo',VERSIONS =>65535enable 'bhdp_user'
2013-04-03 15:08:19
451
转载 MySQL之外键约束
MySQL之外键约束MySQL有两种常用的引擎类型：MyISAM和InnoDB。目前只有InnoDB引擎类型支持外键约束。InnoDB中外键约束定义的语法如下：[CONSTRAINT [symbol]] FOREIGN KEY [index_name] (index_col_name, ...) REFERENCES tbl_name (index_col_name
2013-03-29 13:22:41
565
原创 sqoop导入数据到hive
一、从msyql导入到hive表中创建hive表sqoop import --connect --username --password --query " SELECT * FROM User_LoginHistory.User_OnlineHistory_total WHERE LoginTime>='2013-01-01' and LoginTime<'2013-
2013-03-28 14:12:00
1251
转载 Sqoop源码分析(四) Sqoop中通过hadoop mapreduce从关系型数据库import数据分析
Sqoop源码分析(四) Sqoop中通过hadoop mapreduce从关系型数据库import数据分析博客分类： HadoopSqoop 本博客属原创文章，转载请务必注明出处:http://guoyunsky.iteye.com/blogs/1213966/ 欢迎加入Hadoop超级群: 1809419
2013-03-26 16:35:45
1042
原创 重启hadoop的namenode报错解决方法
重启hadoop的namenode一些报错的解决方法1、提示挂载失败2013-02-16 15:20:22,057 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.org.apache.hadoop.hdfs.server.common.Inc
2013-02-17 15:29:13
1164
转载 hadoop配置文件详解、安装及相关操作
一、 Hadoop伪分布配置 1. 在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6 2. 在conf/core-site.xml文件中增加如下内容： fs.default.name - 这是一个描述集群中NameNode结点的URI(包括协议
2013-01-24 16:18:28
1262
转载 【转】sqlserver CAST 和 CONVERT函数
将某种数据类型的表达式显式转换为另一种数据类型。CAST 和 CONVERT 提供相似的功能。语法使用 CAST：CAST ( expression AS data_type )使用 CONVERT：CONVERT (data_type[(length)], expression [, style])参数expression是任何有效的 Mi
2013-01-23 10:26:00
507
转载 【转】在eclipse3.7中配置hadoop1.0.1插件
1.安装插件准备程序：eclipse-3.7 hadoop-eclipse-plugin-1.0.1（http://download.csdn.net/detail/xiaoping8411/4216102）将hadoop-eclipse-plugin-1.0.1复制到eclipse/plugins目录下，重启eclipse。2.打开MapReduce视
2013-01-16 14:42:20
364
原创 mysql error：24错误解决方法
修改my.cnf文件，增加open_files_limit = 8196。我的默认值是1185。重启mysql，service mysql restart参考官方网址：http://gix.my/blog/mysql-cant-open-file-errno-24
2012-08-16 10:17:39
1564
转载 linux下查看监听端口对应的进程
方法一 1.通过lsof命令查看PID ipv4 [root@test proc]# lsof -Pnl +M -i4 COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME java 1419 1401 10u IPv4 6793357 TCP *:8453
2012-06-16 01:18:16
453
转载 rpm安装mysql
转载地址：http://hi.baidu.com/kghenhao/blog/item/e167e1f20a3c26c87931aa26.html详细介绍了Linux环境下利用Rpm包安装Mysql的方法步骤。◆1、下载MySQL的安装文件安装MySQL需要下面两个文件：MySQL-server-5.0.26-0.i386.rpmMySQL-client-5
2012-06-07 11:25:06
532
原创 linux 安装pure-ftp
参考网址：http://www.myhack58.com/Article/sort099/sort0102/2011/32579.htm1. 下载 最好切换到安装的目录,地址可到官方找最新的#wget http://download.pureftpd.org/pub/pure-ftpd/releases/pure-ftpd-1.0.32.tar.gz2. 安装 下载下来之后 解
2012-06-07 10:21:38
480
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人