wwd_hb-CSDN博客

原创 arangodb vs nebula 单机顶点插入、查询、统计、分页等基本数据操作性能比对

前置条件：单机模式，默认配置，不做任何修改。客户端测试为单线程操作测试。服务器机器配置： 4核16g内存机器， centos7，普通磁盘，非ssd客户端机器配置： java driver自写的插入程序，同机器同执行环境。批量插入1000W条数据，单批次5000条。nebula:插入: 10000000, 耗时: 100878总计耗时： 100s, tps: 10w/sarangodb:插入: 10000000, 耗时: 637854总计耗时: 638s,...

2020-09-29 20:50:06 1306

原创 dgraph 压测报context deadline exceeded， server hang住无响应

想简单对dgraph做一次数据入库压测和查询压测，压测数据1Y，一个客户端线程每个批次提交100条。查看入库1y数据后的查询性能。结果在压测入库数据150W数据的过程中发生了server hang住，不响应client请求，导致client也hang住的情况，查看alpha日志W0111 11:26:20.246250 5866 draft.go:1107] While sendi...

2020-01-11 11:39:31 1155 6

原创龙芯架构&中标麒麟验证编译dgraph图数据库

环境：公司内网，龙芯架构（MIPS平台）机器，中标麒麟系统1. 龙芯架构上没有现成可用的golang语言安装介质，需要先编译golang语言，详细编译步骤移步：https://www.cnblogs.com/findumars/p/6794420.html2. 编译安装好golang语言后需要配置golang环境变量，配置过程不再赘述。下载dgraph源码包，github...

2020-01-10 14:46:40 748

原创 NOT_LEADER_FOR_PARTITION

现场collector生产kafka消息报： NOT_LEADER_FOR_PARTITION 错误，错误位置：org.apache.kafka.client.internal.Sender中298行kafka server.log报 That server is not the leader of this partition问题原因： broker意外停止或执行bin/kafka-pre...

2020-01-08 14:23:24 5381

原创 HashMap死循环核心代码模拟

https://www.jianshu.com/p/1e9cf0ac07f4应用中碰到使用linkedhashmap出现了循环指向导致的线程遍历死循环的问题，linkedhashmap继承自hashmap，从网上查询了一下相关的文章，大都说的比较一致。但是个人感觉抽象理解起来比较困难，虽然介绍已经非常详细了，遂自己总结了一下大概的逻辑如下，详细的可以看上面的链接。死循环现象主要...

2020-01-03 20:09:15 266

原创 Spark-Streaming任务消费Kafka中topic(Resource)堆积问题排查&恢复

1. 观察该该topic消费组 Resource-group确定为Spark-Streaming任务消费resource主题出现堆积，堆积数据20Y2.访问spark master web ui 查看 Resource任务，发现running applications 中该没有该任务，该任务已经死掉，查看死掉应用日志发现日志中只有一句： Received signal term. 没有其他错误...

2019-12-25 17:58:54 687

原创 tsfresh 安装问题收集

系统： linux redhat 环境： python2.7tsfresh官网：http://tsfresh.readthedocs.io/en/latest/text/quick_start.htmltsfresh本身官网提供的安装过程比较简单： pip install tsfresh即可。但是安装过程很耗时且安装过程中依赖的其他的python组件，一旦安装报错则只能重新安装，下面是自己的采坑之...

2018-03-05 14:50:08 6078

原创 Spark踩坑之旅

1、Spark standalone 模式集群，使用zk作为服务状态一致性协调器，当zk leader宕机，spark master也跟着挂掉问题描述：zk leader宕机之后，spark master节点也出现宕机情况，spark standby master转换为master,若在宕机的master节点恢复健康之前zk leader又出现宕机，那么spark集群挂掉

2017-10-24 09:32:18 1608

转载 Zookeeper acl

1 Zookeeper ACLZooKeeper的权限管理亦即ACL控制功能通过Server、Client两端协调完成：Server端：一个ZooKeeper的节点（znode）存储两部分内容：数据和状态，状态中包含ACL信息。创建一个znode会产生一个ACL列表，列表中每个ACL包括：l 验证模式(scheme)l 具体内容(Id)（当scheme=“digest”时，

2017-10-23 18:11:46 356

原创 kafka consumer 日志疯狂输出 marking the coordinator host:9092 for dead group consumer-test

最近在调试spark-streaming消费kafka消息时发现日志疯狂输出 marking the coordinator host:9092 for dead group consumer-testkafka server为集群，连接时使用的是hostname:9092方法去连接，程序也不报错，去kafka server当中查询consumer-test组也存在，经过排查

2017-05-10 11:49:49 9704

原创 Hadoop 集群问题汇总

公司希望使用spark on yarn 模式管理spark应用，在搭建hadoop当中碰到的问题分享一下：Hadoop Version : 2.7.21、Report:Call from linux151 to linux152:9000 failed on connection exception : connection refused自己碰到的情况是没有启动hdfs服务导

2017-04-05 18:42:39 475

原创 phoenix4.9 在hbase进行compaction后出现zookeeper连接泄漏问题

最近开发环境使用过程当中遇到hbase RegionServer 存在过多的zookeeper连接，出先连接泄漏问题。通过jmap命令查看内存信息发现是在zookeeper连接被HRegion当中某些对象保存起来没有释放掉，使用jstack查看当前进程堆栈信息，发现compaction调用了phoenix中代码，如图所示查找源码发现在DefaultStatisticsCollector

2017-03-15 19:04:30 1882

原创 kafka 报 Error when handling request {topics=[test]} (kafka.server.KafkaApis)kafka.admin.AdminOperati

部署kafa的启动时候碰到一个问题kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0经过排查可能有如下几种原因：1：客户端连接kafka server，但kafka server此时可能未完全启动，会在kafka server启动时抛出这个错误。

2017-03-10 15:46:02 4966

转载 sun.misc.unsafe魔术类的使用

这个帖子是关于JAVA中鲜为人知的特性的后续更新，如果想得到下次在线讨论的更新，请通过邮件订阅，并且不要忘了在评论区留下你的意见和建议。 Java是一个安全的开发工具，它阻止开发人员犯很多低级的错误，而大部份的错误都是基于内存管理方面的。如果你想搞破坏，可以使用Unsafe这个类。这个类是属于sun.* API中的类，并且它不是J2SE中真正的一部份，因此你可能找不到任何

2016-08-06 10:33:54 275