稼轩wn-CSDN博客

原创 java代码手动添加hosts中没有的hostname和ip, 添加DNS缓存

主要是通过工具修改https://github.com/alibaba/java-dns-cache-manipulator/tree/master/library简单说就是下载一个工具, 然后用工具中的方法就可以动态添加hostname和ip映射jar包下载地址https://mvnrepository.com/artifact/com.alibaba/dns-cache-man...

2019-04-23 15:48:24 4363

原创 hadoop2.6.0本地调试环境搭建

首先我先说一下我搭建环境的最终目的, 我是想本地运行MR, 本地调试, 不提交给yarn, 直接本地跑MR, 连接的是远程的Hbase集群, 结果也会保存到远程Hbase注: 我说的是在我的电脑调试成功的方法, 每个人的问题原因都不同, 只可参考, 照做不一定会成功的, 我就是看了N篇博客, 照做没一个成功的, 然后自己摸索的方法1. 解压安装包之类的就不说了2. 环境变量HAD...

2019-03-06 14:08:33 456

原创 Linux查看CPU信息

2019-01-04 14:18:23 207

原创 Linux查看版本信息

一、查看内核信息1、Linux查看版本当前操作系统内核信息uname -a2、Linux查看当前操作系统内核版本信息cat /proc/version二、查看发行版信息1、Linux查看版本当前操作系统发行版信息cat /etc/issuecat /etc/redhat-release2、打印Linux标准库和发布信息lsb_release -a...

2019-01-04 13:21:06 148

转载 JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof使用详解

转自: https://my.oschina.net/feichexia/blog/196575现实企业级Java开发中，有时候我们会碰到下面这些问题： OutOfMemoryError，内存不足内存泄露线程死锁锁争用（Lock Contention） Java进程消耗CPU过高 ...... 这些问题在日常开发中可...

2019-01-04 09:41:27 191

原创 CDH源码下载地址 5.x

http://archive-primary.cloudera.com/cdh5/cdh/5https://archive.cloudera.com/cdh5/parcels/两个地址都点着试试, 源码比较多, 使用Ctrl+F搜索你要下载的源码关键字

2018-12-26 10:34:55 2778

转载 JDK_jvisualvm访问远程weblogic服务

1.首先需要在远程的weblogic的域下面，找到/bin/ setDomainEnv.sh ,需要在此文件下加入如下内容：-Dcom.sun.management.jmxremote.port=1090 ##端口号可以自己指定-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenti...

2018-12-04 17:09:52 561

原创 weblogic部署错误: Compilation of JSP File '/axis2-web/listSingleService.jsp' failed:

错误详情:Compilation of JSP File '/axis2-web/listSingleService.jsp' failed:listSingleService.jsp:20:18: The type java.util.Map$Entry cannot be resolved. It is indirectly referenced from required .class...

2018-10-26 14:45:04 2134

转载 Phoenix入门到精通

大神写的文章, 感觉特别好, 转载保存一下: https://yq.aliyun.com/articles/574090?spm=a2c4g.11186623.2.3.FuOIry概述Phoenix是一个开源的HBASE SQL层。它不仅可以使用标准的JDBC API替代HBASE client API创建表，插入和查询HBASE，也支持二级索引、事物以及多种SQL层优化。此系列文章将...

2018-10-24 10:46:46 1056

转载 WebLogic 性能监控

转自: https://www.cnblogs.com/liuyitan/p/7205446.html通过WebLogic管理控制台可以实时获取各性能指标，通过控制台，可以对weblogic的性能及运行状况，发布的应用、资源等进行监视 1. 进入Weblogic管理控制台，单击服务器，选择一台需监控的服务器点击 2. 选择监视-->性能，查勘JVM的活动状态 ...

2018-10-17 13:56:32 4654

转载 java 字符串截取的几种方式

转自: https://www.cnblogs.com/alisapan/p/6490590.html1.split()+正则表达式来进行截取。将正则传入split()。返回的是一个字符串数组类型。不过通过这种方式截取会有很大的性能损耗，因为分析正则非常耗时。String str = "abc,12,3yy98,0";String[] strs=str.split(",");f...

2018-10-16 16:30:08 7162

转载 Java按一行一行进行文件的读取或写入

/** * 一行一行读取文件，适合字符读取，若读取中文字符时会出现乱码 * * 流的关闭顺序：先打开的后关，后打开的先关， * 否则有可能出现java.io.IOException: Stream closed异常 * * @throws IOException */ @Test public...

2018-10-16 16:22:34 39351 1

转载 yarn中查看jobs日志的两种方式

查看yarn日志的两种方式1.界面版1）点击application2）输入即可 2.命令行版yarn logs -applicationId application_1517538889175_2550 > logs.txt通过vim进行查看logs.txt文件转自: https://blog.csdn.net/cshichunhua/artic...

2018-10-16 13:26:47 12597

转载 Linux查看物理CPU个数、核数、逻辑CPU个数

2018-10-15 10:21:14 128

转载 Phoenix 索引生命周期

转自: https://yq.aliyun.com/articles/236804?spm=a2c4e.11155435.0.0.5bf24db4AiMZ6z本文主要介绍Phoenix索引状态的生命周期，帮助大家解惑“为什么我的phoenix索引不能正常使用了？”索引状态索引总共有以下几个状态，其状态信息存储在SYSTEM.CATALOG表中。可以通过以下SQL来查看所有索引表信息：...

2018-10-12 15:41:35 610

转载在LINUX中用Ctrl+z挂起的命令怎么切回到原任务的命令窗口

转自: https://blog.csdn.net/weixin_37251044/article/details/79435035 (1) CTRL+Z挂起进程并放入后台　　(2) jobs 显示当前暂停的进程　　(3) bg %N 使第N个任务在后台运行(%前有空格) 　　(4) fg %N 使第N个任务在前台运行　　　　默认bg,fg不带%N时表示对最...

2018-10-12 14:26:26 2699

原创 Phoenix导数错误: client.RpcRetryingCaller: Call exception, tries=10 ...

往Phoenix表中批量导数出现的错误, 命令:hadoop jar phoenix-4.14.0-cdh5.11.2-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool --table my_table --input hdfs_dir --delimiter '分隔符'错误详情:18/10/12 09:29:15 INF...

2018-10-12 10:10:31 7198

转载 HBase最佳实践 – Scan用法大观园

转自: http://hbasefly.com/2017/10/29/hbase-scan-3/HBase从用法的角度来讲其实乏陈可善，所有更新插入删除基本一两个API就可以搞定，要说稍微有点复杂的话，Scan的用法可能会多一些说头。而且经过笔者观察，很多业务对Scan的用法可能存在一些误区（对于这些误区，笔者也会在下文指出），因此有了本篇文章的写作动机。也算是Scan系列的其中一篇吧，后面对...

2018-10-11 13:50:35 516

转载 idea服务器激活

转自: https://blog.csdn.net/lsy0903/article/details/52925625jetbrains全家桶激活码：3FC3WBZBQ7-eyJsaWNlbnNlSWQiOiIzRkMzV0JaQlE3IiwibGljZW5zZWVOYW1lIjoibGVycnkgbGkiLCJhc3NpZ25lZU5hbWUiOiIiLCJhc3NpZ25lZUVtYWl...

2018-10-09 09:41:05 5376

原创 hbase balance命令走过的坑

balance主要有四个命令balance_switch balancer balancer_enabled balance_rsgroup(如果开启了rsgroup)1. balance_switch hbase帮助信息:hbase(main):001:0> help 'balance_switch'Enable/Disable balancer. Returns...

2018-09-20 09:58:35 13515 2

原创 Phoenix的执行计划 explain 详情

本文参考官网, 官网关于explain的链接: http://phoenix.apache.org/explainplan.html小衲对Phoenix学习还不是很深入, 先发一个初版的, 基本上是照搬官网的, 后续学习深入了再来补充修改. 1. 简介简单来说, 就是通过在SQL前面加上 explain命令, 来查看这个SQL准备要做些什么.命令示意:正常SQL:sel...

2018-09-19 20:04:10 4851

原创 CDH集群修改hbase-site.xml的方法

cdh集群尽量不要自己去每个节点手动修改 hbase-site.xml, 使用 cloudera manager 修改, 安全快捷配置一般分为服务端配置和客户端配置, 为了保险起见, 我平时配置的时候都是两个一起改, 下面是修改办法. 修改之后切记要重启hbase, 并且部署客户端配置用图说话...

2018-09-19 10:56:08 4933 4

原创 HBase隔离方案实战-rsgroup

本文参考: https://www.jianshu.com/p/04d56a2c8b5c , 这篇文章写的很好, 就是命令没法用, 一度以为我们的集群不支持rsgroup, 无意中试出了帮助命令, 才发现, 命令不太对, 不知道是作者粗心还是每个版本的命令不一样, 这里做了一些修正, 我们的集群是CDH5.12.1, hbase是1.2.0 HBase适合用于海量数据的存储，横向扩展非常...

2018-09-10 17:14:08 5606 5

原创 Phoenix表数据类型修改

截止最新的Phoenix-4.14.0, alter table 并没有修改现有表现有字段数据类型的功能, 因此, 想要实现修改数据类型的功能需要另辟蹊径, 或者使用简单粗暴的删表建表, 但是生产上显然这是不可取的.修改思路 Phoenix表是映射的hbase表, hbase存储的数据都是字节数组, 因此, 限制数据类型的只能是Phoenix自己, 所以, 我们就可以...

2018-09-05 21:37:09 9532 1

转载 HBase最佳实践－内存规划

转自: http://hbasefly.com/2016/06/18/hbase-practise-ram/线上HBase集群应该如何进行参数配置？这其实是很多HBase初学者在实践环节都可能会遇到的问题，有些人会选择默认配置，有些人会选择其他公司的推荐配置；诚然，这样的参数配置在大多数情况下都能正常工作，但性能却未必最佳、资源未必都能被合理利用。本文结合笔者的实践经验，针对不同应用场景，对多...

2018-09-05 15:08:01 198

转载 Phoenix的数据类型和操作符、函数

转自: https://blog.csdn.net/u014353787/article/details/50396823其实官方文档已经有这些东西了，如下：http://phoenix.apache.org/language/functions.htmlhttp://phoenix.apache.org/language/index.html 不过官网的某些编排确实有点反人类...

2018-08-28 13:54:16 4444

原创 Phoenix建表错误: java.sql.SQLException: ERROR 1105 (XCL05): Split points must be constants. Node: "0166"

建表语句CREATE TABLE schema名.表名 (... 省略) split on ("0166", "0332", "0498", "0664", "0830", "0996", "1162", "1328", "1494", "1660", "1826", "1

2018-08-22 19:37:16 516

原创 hbase表映射Phoenix视图, 基于视图的二级索引是否实时更新

1. hbase shell创建表create 'MY_TABLE', 'CF1','CF2'添加数据put 'MY_TABLE','1' ,'CF1:V1', 'uwo1'put 'MY_TABLE','1' ,'CF2:V2', '1'put 'MY_TABLE','1' ,'CF1:V3', '10'put 'MY_TABLE','2' ,'CF1:V1', 'uwo...

2018-08-21 19:33:55 2408 3

原创 Phoenix: 验证二级索引和主表数据是否一致

Phoenix 4.12之后才有这个工具, 就是跑一个MapReduce对比主表和数据表是否一致. 找到的不一致的行写入到文件或者 PHOENIX_INDEX_SCRUTINY 表中. 命令如下:hbase org.apache.phoenix.mapreduce.index.IndexScrutinyTool -dt my_table -it my_index -o也可以使...

2018-08-21 16:50:46 1070

转载 Phoenix Table and View

转自: https://www.zybuluo.com/xtccc/note/195866Phoenix创建table在sqlline.py中创建一个table，表名为TA1，主键名为MYKEY，两列分别为C1和C2，然后插入一条记录： create table ta1(mykey varchar not null primary key, c1 varchar, c2 int...

2018-08-21 14:34:04 1445

转载 Phoenix 二级索引简介

转自: https://www.zybuluo.com/xtccc/note/196956创建Index创建Index的DDL语法为： CREATE INDEX {index_name} ON {data_table} ({columns_to_index}) INCLUDE ({columns_to_cover}) Global Index v.s. Local...

2018-08-21 14:31:05 1035

原创 Phoenix 数字值为null的时候, 加减法怎么算的

1. 建表语句create table numtest(a integer not null primary key,b integer,c integer); 2. 插入语句upsert into numtest(a) values(1);upsert into numtest(a, b) values(2, 2);upsert into numtest(...

2018-08-21 10:14:02 2234

转载 phoenix系统表创建语句

CREATE TABLE SYSTEM."CATALOG"( TENANT_ID VARCHAR NULL, TABLE_SCHEM VARCHAR NULL, TABLE_NAME VARCHAR NOT NULL, COLUMN_NAME VARCHAR NULL, COLUMN_FAMILY VARCHAR NULL, TABLE_...

2018-08-20 20:56:29 7155

原创 Phoenix webService部署错误: java.lang.NoSuchMethodError: org.json.JSONArray.forEach(Ljava/util/function

错误详情:18/08/20 11:27:39 ERROR receivers.RPCMessageReceiver: org.json.JSONArray.forEach(Ljava/util/function/Consumer;)Vjava.lang.reflect.InvocationTargetExceptionCaused by: java.lang.NoSuchMethodEr...

2018-08-20 13:52:25 1096

原创 Phoenix的Sql语句where条件中, 比较符使用注意事项

where条件中, 需要对字段为null的情况做单独处理, 如果字段为null, 则该判断条件始终为false1. =, 等于的情况如: a = 2, 如果a 是null的时候, a = 2本身就是false, 和字段为null, 则该判断条件始终为false 相符合, 所以等于的情况不用考虑 2. !=, 不等于的情况如: a != 2, 这种情况就需要单独...

2018-08-13 21:25:29 4076

原创 CDH版 Phoenix 安装方法

本文安装版本是4.14, 4.8以后应该都可以这么安装, 4.8以前的就不知道了 1. 将压缩包上传到服务器apache-phoenix-4.14.0-cdh5.12.2-bin.tar下载方法就不说了, 自己去官网找, 很好下载2. 解压tar -zxf apache-phoenix-4.14.0-cdh5.12.2-bin.tar.gz 3. 复制 phoeni...

2018-08-05 20:45:12 3723

原创 Phoenix批量导数错误: java.sql.SQLException: ERROR 201 (22000): Illegal data.

错误详情:Error: java.lang.RuntimeException: org.apache.phoenix.schema.IllegalDataException: java.sql.SQLException: ERROR 201 (22000): Illegal data.Caused by: java.sql.SQLException: ERROR 201 (22000): ...

2018-08-05 20:18:52 4259

原创 Phoenix批量导数错误: java.lang.IllegalArgumentException: Invalid format: "?"

错误详情:Error: java.lang.RuntimeException: org.apache.phoenix.schema.IllegalDataException: java.lang.IllegalArgumentException: Invalid format: "?"Caused by: org.apache.phoenix.schema.IllegalDataExcep...

2018-08-05 20:15:13 5862

原创 Phoenix批量导数错误: CSV record does not have enough values (has 46, but needs 47)

错误详情:Error: java.lang.RuntimeException: java.lang.IllegalArgumentException: CSV record does not have enough values (has 46, but needs 47)Caused by: java.lang.IllegalArgumentException: CSV record d...

2018-07-30 09:45:18 640