- 博客(41)
- 收藏
- 关注
RSS订阅原创 HBase在线平滑迁移region
HBase在线平滑迁移region此方式可以用作hbase配置修改，平滑重启regionserver，或移除某个rs节点关闭自动balancer转移RS上的region下线RS开启自动balancer上线RS启动balance此方式可以用作hbase配置修改，平滑重启regionserver，或移除某个rs节点关闭自动balancer通过hbase shell 关闭自动balancerh...
2019-07-01 14:55:55
960
原创 hdfs块丢失导致hbase部分数据获取异常
hdfs块丢失导致hbase部分数据获取异常Hbase获取数据异常：org.apache.hadoop.hbase.client.RetriesExhaustedException: Can’t get the locations检查hbase regionserver日志无明显异常；查看hbase table region 发现莫名多出了两个region（预分区200个region）...
2018-07-17 14:26:24
1350
原创 hadoop ha故障问题处理
问题描述：journalnode节点的editlog日志目录被其它应用日志占满；导致active nn 无法向 journalnode写入editlog，导致集群宕机；解决思路：HA的工作流程：集群启动后一个NN处于active状态，并提供服务，处理客户端和datanode的请求，并把editlog写到本地和share editlog(jounalnode)。另外一个NN处于Stand
2017-04-26 10:01:48
1157
转载 sqoop使用手册
Sqoop使用手册转载请注明出处：http://www.cnblogs.com/xiaodf/1 Sqoop概述2 版本说明3 驱动安装3.1 MySQL4 基本用法4.1 导入4.1.1 保护密码4.1.2 使用其他文件格式4.1.3 压缩导入的数据4.1.4 提高传输速度4.1.5 自定义类型映射4.1.6 并行控制4.1.7 对NULL值进行编
2017-03-16 11:13:11
2002
原创 tomcat启用gzip压缩
使用背景：由于后台传输的数据过于大，导致前端接收后台返回的数据很慢，导致页面刷新时间很长；这时候可以考虑启动tomcat自带的压缩策略 原理是，在客户端请求服务器对应资源后，从服务器端将资源文件压缩，再输出到客户端，由客户端的浏览器负责解压缩并浏览。相对于普通的浏览过程HTML ,CSS,Javascript , Text ，它可以节省流量。更为重要的是，它可以对动态生
2017-02-21 11:40:26
431
转载 hadoop优化参数说明
io.file.buffer.size hadoop访问文件的IO操作都需要通过代码库。因此，在很多情况下，io.file.buffer.size都被用来设置缓存的大小。不论是对硬盘或者是网络操作来讲，较大的缓存都可以提供更高的数据传输，但这也就意味着更大的内存消耗和延迟。这个参数要设置为系统页面大小的倍数，以byte为单位，默认值是4KB，一般情况下，可以设置为64KB（65536byte）
2016-11-01 10:01:53
2134
转载 hregionserver挂死，日志出现Session expired异常排查
1、使用vmstat 1 命令查看si so两个swap列，确认没有发生交换，1代表每秒打印一次2、使用jstat -gcutil pid 1000 查看fgct列，确认regionserver没有发生长时间gc暂停，如果gc时间超过zookeeper的连接最大超时时间则会导致hbase挂掉hbase中和GC相关的参数：（默认）：expo
2016-09-01 10:35:22
2971
原创 Hbase版本升级之数据迁移方案汇总
背景： 近期公司hadoop平台升级，升级后hadoop平台各个组件也都升级了。hbase中的数据需要迁移至新版本中；首先列出集中常用迁移方案： 1. hadoop distcp 将hbase存储在hdfs上面的数据目录全部从当前集群拷贝至目标集群hbase对应的hdfs目录； hadoop distcp -f hbasedir "hdfs://new cluster ip:9
2016-09-01 10:26:01
4631
转载 解决sudo: sorry, you must have a tty to run sudo
解决sudo: sorry, you must have a tty to run sudo 前几天遇到一个问题，在一个终端中调用另一个shell，始终是无法执行的，后来捕捉到报错信息为sudo: sorry, you must have a tty to run sudo，后来，在网上了解到可以如下解决：1. 编辑 /etc/sudoers 1）Defaults r
2016-08-26 15:49:13
2803
转载 linux下mysql的root密码忘记解决方法
1．首先确认服务器出于安全的状态，也就是没有人能够任意地连接MySQL数据库。 因为在重新设置MySQL的root密码的期间，MySQL数据库完全出于没有密码保护的 状态下，其他的用户也可以任意地登录和修改MySQL的信息。可以采用将MySQL对 外的端口封闭，并且停止Apache以及所有的用户进程的方法实现服务器的准安全 状态。最安全的状态是到服务器的Console上面操作，并且
2016-07-05 08:44:37
190
原创 mysql在线备份遇到的问题总结
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2016-06-17 15:23:44
859
转载 hdfs文件误删恢复
hdfs文件误删恢复【恢复HDFS误删数据】 HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话，HDFS就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录了。 根据上面的介绍，用户通过命
2016-05-27 17:39:45
2988
原创 hdfs块丢失导致的异常问题排查解决
问题描述：由于不小心误删了hdfs的元数据目录，导致hdfs的块丢失；hdfs namenode自动进入 safe mode，hbase也一直报错找不到hbase.version文件，导致master挂掉；1、首先退出hdfs namenode safe mode hadoop dfsadmin -safemode leave2、修复hdfs丢失的块 hadoop fs
2016-05-27 17:37:06
10362
原创 linux修改硬盘已挂载目录
比如我想把已经挂载在home目录上的硬盘挂载到data目录上， 如下操作。#df -h（查看分区情况及数据盘名称）# mkdir /data（如果没有data目录就创建，否则此步跳过）# umount /home（卸载硬盘已挂载的home目录）# mount /dev/sdb1 /data （挂载到data目录）# vi /etc/fstab （编辑fstab文件修改或添加，使
2016-04-07 10:10:41
1210
转载 hbase日常维护
一，基本命令： 建表：create 'testtable','coulmn1','coulmn2' 也可以建表时加coulmn的属性如：create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '10', COMPRESSION
2016-03-30 09:56:45
299
原创 linux配置SSH免密码登陆方法
1、确保服务器已经安装SSH2、切换到需要配置SSH免密码登陆的用户3、执行ssh-keygen -t dsa或者ssh-keygen -t rsa4、执行完之后会在当前用户目录下生成.ssh目录，并且目录下会有id_dsa和id_dsa.pub(公钥)两个文件cd ~/.ssh/5、将公钥写入authorized_keys文件:cat id_dsa.pub
2016-03-02 10:42:29
2582
转载 vim替换操作整理大全
vi/vim 中可以使用 :s 命令来替换字符串。以前只会使用一种格式来全文替换，今天发现该命令有很多种写法(vi 真是强大啊，还有很多需要学习)，记录几种在此，方便以后查询。 :s/vivian/sky/ 替换当前行第一个 vivian 为 sky :s/vivian/sky/g 替换当前行所有 vivian 为 sky :n,$s/vivian/sky/ 替换第
2015-12-22 15:08:07
409
转载 hive导出查询文件到本地文件的2种办法
hive导出查询文件到本地文件的2种办法通过HQL语句可以将hive 中表的数据生成到指定的目录。有时候 我们可以利用hive来生成统计的中间文件（比源文件小的多的）方法有如下2种：1.INSERT OVERWRITE LOCAL DIRECTORY将结果输出到指定的目录：生成的文件数 和redurcer的数目的一样的在hive下面
2015-12-22 09:50:12
2316
转载 hive的几个疑问点
本帖最后由 redhat1986 于 2014-12-30 15:49 编辑http://www.aboutyun.com/thread-7881-1-1.html在此博主的基础上我补充几个自己的疑惑8.hive 是否需要每个datanode都安装？9. property> name>hive.metastore.urisname> value>uri1,u
2015-12-21 08:53:45
597
原创 hive shell执行命令报错：Specified key was too long; max key length is 767 bytes
原因是集成mysql存放hive的元数据，元数据的编码方式为UTF-8类型导致的。解决方法：mysql服务器：登陆mysql shell：./mysql -u -p use hive alter database hive character set latin1;alter table TABLE_PARAMS modify column PARAM_
2015-12-11 10:57:42
355
原创 hive count表提交mapreduce任务报错。
今天使用hive时发现用select * 查询单表，查询正常。使用select 字段名 ，select count(*) ，及关联表查询时发生如下异常错误：Caused by: java.net.URISyntaxException: Illegal character in scheme name at index 0: file:///service/cdh/hive/lib
2015-12-11 10:46:35
2822
翻译 ganglia监控hadoop各项指标含义
监控指标大致如下： default.shuffleInput dfs.datanode jvm mapred.shuffleOutput rpc metricssystem dfs.datanode.blockChecksumOp_avg_time 块校验平均时间 dfs.datanode.blockChecksu
2015-11-27 11:57:49
2956
翻译 mysql show processlist整理
Show processlist在Show processlist输出中的Status项: 5.1手册中没有的或者翻译有问题的，都附带5.5原文说明：After createThis occurs when the thread creates a table (including internal temporary tables), at the end of the
2015-11-03 11:47:17
426
转载 mysql查看历史执行的sql
查看mysql的语句,比较常用的大概是show processlist 命令了,但是这个对于查询时间比较长的语句比较有意义,对于一下子就能执行的语句真心拼不过手速啊.于是就只能从mysql的历史记录里面着手了.为了实现这个目的,我们需要修改/etc/my.cnf文件.在my.cnf中的[mysqld](其他地方可能无效)下插入log=/etc/tmp/mysql.log(日志的地址可以自己
2015-08-31 18:23:11
65433
转载 nload安装
yum install gcc gcc-c++ ncurses-develwget http://www.roland-riegel.de/nload/nload-0.7.2.tar.gztar zxvf nload-0.7.2.tar.gzcd nload-0.7.2#./configure#make & make install
2015-08-31 18:21:32
425
转载 hadoop常用命令
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件
2015-08-31 18:20:17
232
转载 从源hbase集群中复制出HBase数据库表到本地目录
一、从源hbase集群中复制出HBase数据库表到本地目录最好停止HBase，否则可能会丢部分数据[hbase@hadoop200 ~]$ hadoop fs -get /hbase/toplist_ware_total_1009_201232 toplist_ware_total_1009_201232压缩[hbase@hadoop200 ~]$ tar zcvf to
2015-08-31 18:18:47
478
转载 Mysql主从同步延迟与系统时间的关系
Mysql主从同步延迟与系统时间的关系ysql主从同步延迟受到多种因素影响， 比如大事务， 从库查询压力， 网路延迟等； 这些比较常见； 但还受到主从机器系统时钟差的影响，这一点可能容易被忽视。上周， 就遇到了这样的情况， 主库的系统时间由于某种原因落后于从库几十秒， 结果频繁的出现大的主从延迟同步 ，查了N久业务方面的问题，都找不出原因； 在和同事的交流中，发现大家对参数
2015-08-28 17:16:34
2749
原创 linux查看目录下占用空间最大的目录
du -h --max-depth=1 /path先在/path目录下找出最大的目录path1，然后再在path1下找出最大的目录，这样一级一级就可以找出占用空间最大的目录了du -h --max-depth=1 /path/path1
2015-08-28 11:34:35
6381
转载 hbase meta表修复
meta表修复一Java代码 查看hbasemeta情况 hbase hbck 1.重新修复hbase meta表（根据hdfs上的regioninfo文件，生成meta表） hbase hbck -fixMeta 2.重新将hbase meta表分给regionserver（根据meta表，将meta表上的region分给regionservere） hb...
2015-08-26 15:11:59
6668
转载 查看HBase表在HDFS中的文件结构
问题导读：1.hdfs中的建立的目录. 表与目录的关系式什么？一个表是否对应一个目录？2.-ROOT-表和.META对应几个文件？3.splitlog和.corrupt目录是用来做什么的？4.通过http查看文件，需要配置那个文件？为了查看HBASE表在HDFS中的文件结构.在HBASE中建立一张表结构如下:{NAME =>
2015-08-26 14:20:13
724
原创 linux下安装Oracle 客户端
从以下网站下载安装包，选择适合自己的版本http://www.oracle.com/technetwork/topics/linuxx86-64soft-092277.html从oracle官方网站上下载客户端和sqlplus程序。以11g为例以root用户安装rpm -ivh oracle-instantclient-basic-11.1.0.1-1.
2014-12-12 17:44:49
573
原创 mysql将索引到处成oracle
查询sql：SELECTCONCAT('CREATE INDEX ',IF(LENGTH(INDEX_NAME) < 30,INDEX_NAME,SUBSTRING(INDEX_NAME,1,30)),' ', ' ON ', IF(NON_UNIQUE = 1, CASE UPPER(INDEX_TYPE) WHEN 'FULLTEXT' THEN 'FULLTEXT INDE
2014-12-02 14:23:08
679
转载 oracle不支持的字符集，nvarchar2类型
后台报错： 奇怪的异常---“不支持的字符集 ！！: DBConversion” 原因： ORACLE数据库表中有个字段的类型是NVARCHAR，改成varchar2,解决了
2014-12-02 14:18:49
1419
转载 MySQL导出所有Index和约束的方法
本文汇总了MySQL导出所有Index 和 约束的方法，提供给大家以方便大家查询使用。具体如下：1. 导出创建自增字段语句：?123456789101112131415161718192021
2014-11-26 09:06:13
488
转载 根据两点经纬度计算距离
根据两点经纬度计算距离这些经纬线是怎样定出来的呢？地球是在不停地绕地轴旋转（地轴是一根通过地球南北两极和地球中心的假想线），在地球中腰画一个与地轴垂直的大圆圈，使圈上的每一点都和南北两极的距离相等，这个圆圈就叫作“赤道”。在赤道的南北两边，画出许多和赤道平行的圆圈，就是“纬圈”；构成这些圆圈的线段，叫做纬线。我们把赤道定为纬度零度，向南向北各为90度，在赤道以南的叫南纬，在赤道以北的
2014-10-21 11:00:50
397
转载 quartz简单使用小结
Quartz第一种，作业类继承自特定的基类：org.springframework.scheduling.quartz.QuartzJobBean。第一步：定义作业类 Java代码 import org.quartz.JobExecutionContext; import org.quartz.JobExecutionException;
2014-10-13 15:12:08
350
原创 spring-task简单实用小结
spring-task，是spring 3.0以后自带的定时任务工作机制，可以将它看成一个轻量级的Quartz，使用起来比Quartz简单的多，并且不需要引用额外的jar包首先编写我们的任务类，就是普通的java类，不用继承或实现其它类
2014-10-13 14:58:08
403
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人