- 博客(24)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 记Storm异常
Storm nimbus启动异常记录20200907描述nimbus启动直接报错 提示无法选择主节点错误日志2020-09-07 13:35:44.697 o.a.s.d.m.r.JmxPreparableReporter [INFO] Preparing…2020-09-07 13:35:44.705 o.a.s.d.common [INFO] Started statistics report plugin…2020-09-07 13:35:44.731 o.a.s.d.nimbus [I
2020-09-07 14:41:42
364
1
原创 Jquery datatable 动态加载列名 实例
项目场景：使用jquery dataTable 动态加载列展示效果：监控业务增多，为了不重复劳动 每个业务针对自己的指标而增加新页面，决定前端表格显示直接通过动态获取列名，以便于大家不用再做重复劳动。解决方案：如下：Html中只要div table即可：<div id="cleanTable" style="margin-left: 20px;margin-right: 20px;"> <table id="mytable" class="table">
2020-08-24 17:02:42
1614
原创 java拆分 long为两个int
字节流传输时 传递的时int数组 需要将long型表示的id 转为两个intpublic class LongToIntArray { public static void main(String[] args){ long i = 123456789012323334L; int i1 = (int) (i & 0x000000ffffffffL); //低32位 int...
2019-03-01 09:45:11
1640
原创 Java List 去重性能对比
Java List 去重性能对比直接上代码：import java.util.ArrayList;import java.util.Collections;import java.util.HashSet;import java.util.List;import java.util.stream.Collectors;import org.apache.commons.collec...
2018-11-08 16:47:36
1852
原创 记Hbase集群升级导致zookeeper连接数达Max的bug
记Hbase集群升级导致zookeeper连接数达Max的bug概述：hbase由0.98升至1.2.6 AggregationClient类实现了closeable接口 需要关闭,然而代码编译过程中没有出现error,升级的时候封装类没有添加关闭的操作,导致页面访问时开启zookeeper连接过多并且不会关闭。最终引发一系列问题zookeeper拒绝hbase访问，数据存储失败。最初开始出现...
2018-10-29 15:28:24
987
原创 Elasticsearch5.6.3存储字节数组
Elasticsearch5.6.3存储字节数组Index建立java代码插入示例kinbana存储显示读取字节数组Index建立字节数组在Elasticsearch中数据类型对应binary。因此在新建索引时需要注意类型{"mappings":{ "tags":{ "_all": { "enabled": false }, "jobClass...
2018-09-18 14:46:50
2629
原创 Redis分布式锁
Redis分布式锁 （jedis）1.针对场景分布式集群，例如MR 多个节点上的不同jvm。 传统的多线程仅针对同一jvm下的操作。如果跨节点的数据锁问题需要另外的支持分布式锁的库来处理。例如zookeeper 或 redis 天生对分布式场景有良好的适性。2.业务需求一般用于一些统计业务，需要求取每个节点上的数据总和。分布式场景带来的并发问题需要利用redis分布式锁处理。3...
2018-09-17 14:38:35
267
原创 Java List 多维度排序 jdk8
在工作中遇到了需要按某一实体类多维度排序的场景。（Hbase备份Orcale字段 检索查询后order by操作）获取需要字段后封装进实体类，另外保存需要排序的字段。public class SortEntity { private String entityString; //用于存放其余拼接字段 private String compactor = null; //...
2018-07-06 17:17:21
2382
原创 Java Spring boot Socket 字节数组接收中文字符串 截断bug
场景描述： 在spring boot中使用sokect 接受来自PHP服务器的执行结果。发送请求后得到的内容中含有乱码，确认了所有编码格式均为UTF-8，并且php端调用的接口所使用的方法执行后返回的是正常的结果。因此怀疑是否是因为Spring boot Socket问题导致，再搜索文章并且调试之后，发现并非此原因。 网上推荐使用BufferReader读取 但是内置方法不包含按byte[]读...
2018-06-20 17:25:56
1431
2
原创 Hbase由于GC时间过长导致 Zookeeper认为其死亡 节点自动关闭
Hbase由于GC时间过长导致 Zookeeper认为其死亡 节点自动关闭目录Hbase由于GC时间过长导致 Zookeeper认为其死亡 节点自动关闭目录日志官方解释配置添加后记记录Hbase regionserver 经常死亡的原因。日志日志内容如下：2018-05-29 10:04:20,809 ERROR [regionserv...
2018-05-29 14:59:52
4576
原创 java 使用HashMap统计数目的性能对比
之前偶然看到了描述java计数的帖子 看到了对Integer的分析，而改用一个自定义的MutableInteger进行计数，性能上确实有所提升。因为之前也用到了Map计数的情况，但是因为对1.8引入的FI比较感兴趣，并且公司也更新到了1.8，所以就利用了1.8的新特性做了这个计数。这是大概几次下来比较平均的数值（万恶的GC。。。）Naive Approach : 156887211Better ...
2018-04-11 19:02:25
1360
原创 Jquery Datatable 预设columns后 因为后台原因 返回数据不包含值 导致alert警告
针对已存在的多个column共用一个datatable的情况，可以利用render方法在数据加载之前进行判断，将null的替换。否则datatable会因为数据不包含需求的参数 而 抛出alert警告columns = [ { "data" : "id" }, { "data" : "ctmId" }, { "data" : "coId&quo
2018-03-28 19:07:41
904
原创 磁盘爆满导致zookeeper卡住
场景复现：线上服务器磁盘满了导致部署在上面的namenode zookeeper Kafka 均无法工作 抛出异常，清理kafka备份文件后系统磁盘还原了100G+，但是此时的zookeeper节点已经无法再加入集群。3台 zookeeper节点 出问题的节点在当时是作为leader工作的。错误日志抛出异常后节点挂掉。再次启动之后 该节点已经无法加入已经存在的集群中。经过查找相关资料https:/...
2018-03-19 19:59:20
2003
原创 flume1.5 kafka0.8 logstash2.4 es5.6 错误日志聚集解决方案
错误日志聚集解决方案简述：目的：对分散在各集群上的错误日志信息进行实时采集聚集，由flume采集给kafka, 之后消费到logstash进行日志解析，最终将解析的json格式数据交由elasticsearch，利用kinbana进行查询，图表展示。 目前版本为 flume 1.5 kafka0.8.1.1 原本存在的问题：flume采集时如果文件发生了变化无法判断是否为原文件，因而无法进行采集...
2018-02-13 10:40:36
608
原创 Kinbana监控数据获取 Jsoup 发送 Post请求 RequestBody 为 Json格式
public String clusterJson() { String result = null; try { String str = Jsoup.connect("http://192.168.3.186/api/monitoring/v1/clusters") .userAgent("Mozilla/5.0").timeout(10 * 1000).met
2018-01-16 11:46:53
3257
原创 Spark学习笔记2
内部：groupByKey/reduceByKey-a.groupByKeycombineByKeyWith底层都是调用到类似def combineByKeyWithClassTag[C](//聚合的临时变量，将聚合的数据存放到哪里或者转换成什么格式//针对每个分区进行，次分区中key第一次出现createCombiner
2017-09-14 16:51:47
222
原创 Spark学习笔记1
一、Spark 的简介：-》spark只是一种类类似于Mapreduce的计算模型-》用来处理数据-》处理数据：RDD-》RDD：弹性分布式数据集（集合）-》内存，分布式，分区（可以优化的点：分区数》=线程数，一般1核处理1-2个分区的数据）-》读取数据：将不同的数据读取到RDD中-》处理数据：调用RDD中的方法，处理数据，生成新的R
2017-09-14 16:50:34
244
原创 java封装继承方法重载重写
封装将属性私有化 通过公有化方法来访问属性。约定：提供两个公有方法，一个是得到属性值，另一个是设置属性值得到属性值的方法约定 方法名称为 public 返回的数据类型 get加属性名(){ return this.属性 }设置属性值的方法约定 方法名称为 public void set加属性名（数据类型 设置的值）{ this.属性=设置的值； }在其他方法中要
2017-07-06 10:31:30
387
原创 java 解决母牛生牛问题 2种方法 2头母牛，3岁后每年生1头,9岁直接不生 15岁直接死亡
package stillcow;import java.util.Arrays;/** * 2头母牛，3岁后每年生1头,9岁直接不生 15岁直接死亡 * @author Poche.lzx * */public class DemoCow {/*** 写一个通用方法取得数组区间的和* * 初始a - b 下标相
2017-07-04 17:53:45
1518
原创 java 不熟悉知识点归纳2
增强for循环public static void main(String[] args){String[] arr =new String[]{"A","B","C"};String a=null;for(String str :arr){System.out.println(str);a=str;}System.out.println
2017-07-03 17:02:51
160
原创 Day05_spark
大数据框架 一代 hadoop 二代 tiezz 三代 spark 四代 flink 麒麟注意 虚拟机 的网关有时会dhcp获取失败 将nat的默认网关没有设置为***.***.***.1 默认结尾是1可在pc端更改为static 地址有时 service network 与service networkmanager会冲突 关闭一个即可 （servic
2017-06-23 15:39:24
190
阿里云可用python udf 第三方jieba包 已编译whl 并修改为zip后缀和前缀名
2023-07-21
dr-elephant spark 1.6.0 hadoop 2.4.1
2017-10-24
Dr.elephant 编译完成文件 hadoop2.4.1 spark1.6.0
2017-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人