凤鸣86-CSDN博客

原创记录一次ES写入速度慢的解决过程

最近解决了一个因索引导致ES写入性能很低的问题，记录如下：问题描述：机器配置8C/16G 5个数据节点，照理来说性能应该不错，但是写入速度TPS只有4000左右，之后我们对写入进行bulk批量写入，虽然整体写入数据性能有所提高，但是ES的TPS依然不高，另外隔一段时间就发现ES的写入队列比较长，拒绝请求也非常高，查看Es日常日志和慢日志发现在请求过程中存在大量如下错误：failed to execute bulk item (index) BulkShardRequest [[xxxxx][0]]

2021-11-02 20:07:34 5554 3

原创 log4j2关闭debug日志

最近项目引进入一个jar包，启动之之后debug日志就停不下来了，为了关闭这个日志花了半个下午。总结以下处理方式，以供大家参考：1.如果引入了logback的jar包，排除引用（我的项目里没有引用）<exclusions> <exclusion> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> </exclusio

2020-07-15 10:29:09 7547

原创工作日常几问

我们的用户是谁？我们的客户是谁？我们做的工作是什么？为什么要做？投入是什么？产出是什么？有什么价值？有没有改进点？公司的战略是什么？做的内容是否和战略所贴合？

2020-07-10 20:12:37 224

原创 5G给程序员带来哪些影响？

5G的到来给各行各业都带来了或多或少的影响，那么给程序员带来哪些影响呢？让我们先来来说一说对手机的影响。前段时间看到一条感兴趣的新闻，说华为要开辟智能汽车新赛道，为什么感兴趣呢？因为华为在手机领域已经赶超三星，4月全球手机出货量老大，为什么要在此时不稳固市场地位，而是要新开辟汽车市场呢？ &n

2020-06-20 00:24:36 871

原创 618备战利器

过了多次618，每次都是吃吃喝喝，今年的618着实给我上了一课。首先不说事件的起因，也不说时间的结果，看官你要问了，不说原因也不说结果，你说什么？我只说这堂课我学到了什么–代码评审有必要日常化。代码评审大家都曾经历过，偶尔过年的时候就会有段子说某某CTO年会review抽奖代码，评审代码给我带来什么呢？仅仅是找出几个bug吗？我想除此之外会有以下几点用途。1.保证代码规范性对于一个长期维护的系统，最难的部分就是维护不断堆砌的业务代码。如果再没有一个规范的代码标准，后续接手人遇到问题将束手无策，这里推荐

2020-06-18 08:21:29 109

原创排除maven中jar包冲突

jar包冲突在我们开发过程中，常常会遇到，使用工具进行排查会让工作事半功倍，例如在使用idea排除jar包冲突的时候，默认我们会使用自带的show dependencies然后得到一张大图，通过观察红线来判断是否存在jar包冲突但是如果你得到一张如下的图，你或许就会感到头大了此时我们需要其他插件来帮助我们，进入插件市场，查找：dependency analytics，如下图安装后，重启，此时我们打开一个pom文件后，会发现在串口的左下方多了一个选择，如下图1处，在下图2处可以查看冲突的版本，点

2020-06-10 17:34:57 450

原创 StringBuffer实现线程安全的方式

对于后台调度任务，我们总是希望运行的越快越好，单机处理能力越强越好，因为这样我们节省下的是钱。于是我们由单线程处理任务，变成多线程处理任务，用线程池来复用线程资源，但是当我们使用多线程处理任务时，是否想过并行任务数设置多少合适呢？过高的线程数会导致cpu线程切换，所以选择恰当的线程数是一个实践题，JDK8中的stream调用parallel并发数默认是比cpu核数少1，为什么呢？它是按照每个核分配...

2020-04-10 14:00:31 1815

原创 log4j2配置

记录日志使我们日常排查问题常用的手段，log4j2因其强大性能表现为众多应用所采用。以下为个人总结几个常用的功能，以供参考。基本概念：appender:日志文件输出的目的地，常用FileAppender：输出到本地文件 RollingFileAppender：根据条件，对日志文件进行拆分保存 AsynchAppender：异步写入目的地logger:抽象的日志记录器，默认使用root根...

2019-07-05 17:05:00 682

转载 Elasticsearch如何实现SQL语句中 Group By 和 Limit 的功能

转自：https://segmentfault.com/a/1190000014946753有 SQL 背景的同学在学习 Elasticsearch 时，面对一个查询需求，不由自主地会先思考如何用 SQL 来实现，然后再去想 Elasticsearch 的 Query DSL 如何实现。那么本篇就给大家讲一条常见的 SQL 语句如何用 Elasticsearch 的查询语言实现。SQL语句...

2019-05-13 18:46:24 8201 4

转载最常用的五大算法

转自https://blog.csdn.net/watson2016/article/details/77857824一、贪心算法贪心算法（又称贪婪算法）是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的仅是在某种意义上的局部最优解。贪心算法不是对所有问题都能得到整体最优解，但对范围相当广泛的许多问题他能产生整体最优解或者是整体最优解的近似解。...

2019-04-24 20:42:46 356

转载二、五大常用算法的简单介绍

转自：https://www.cnblogs.com/bulingpan/p/6416362.html1、递归与分治递归算法：直接或者间接不断反复调用自身来达到解决问题的方法。这就要求原始问题可以分解成相同问题的子问题。示例：阶乘、斐波纳契数列、汉诺塔问题斐波纳契数列：又称黄金分割数列，指的是这样一个数列：1、1、2、3、5、8、13、21、……在数学上，斐波纳契数列以如下被以递归的方法定...

2019-04-24 20:37:23 170

转载 Netty之Java堆外内存扫盲贴

Java的堆外内存本来是高贵而神秘的东西，只在一些缓存方案的收费企业版里出现。但自从用了Netty，就变成了天天打交道的事情，毕竟堆外内存能减少IO时的内存复制，不需要堆内存Buffer拷贝一份到直接内存中，然后才写入Socket中；而且也没了烦人的GC。好在，Netty所用的堆外内存只是Java NIO的 DirectByteBuffer类，通读一次很快。还有一些sun.misc.*的类木有源...

2019-02-21 11:45:25 595

原创 java大数据导出excel的几种方法

导出数据是一个应用常用的功能，而使用java语言时常用的工具类莫过于POI。不过当数据量很大时，会经常遇到OOM的问题。通过两天尝试，终于解决了OOM的问题，以下分享一下解决过程。优化1：首先，我们对导出文件的格式做了一定优化，使用csv的方式做导出，发现仍然会出现oom。通过梳理逻辑，发现导出的过程是将先将所有结果集一次性读入内存再进行文件的转化导出。于是对结果进行分页转换输出，不过对于改造的...

2019-02-19 18:10:54 4208 2

原创 zk日志清理

运维过程中发现zk的磁盘占用很大，了解一下zk的日志结构,conf/zoo.cfg配置：#zk的镜像,生成snapshot.xxxxxdataDir=/export/zk/data/version-2#zk的事务日志，生成log.xxxxdataLogDir=/export/zk/log/version-2#zk操作日志,生成zookeeper.outlogDir=/export/z...

2019-02-14 10:27:54 1968

原创 anaconda 执行命令报ssl错误

conda 安装遇到问题后，一番折腾最后卸载重装了，很是郁闷。但是重装之后却遇到ssl模块失效的错误：An HTTP error occurred when trying to retrieve this URL.HTTP errors are often intermittent, and a simple retry will get you on your way.SSLError(M...

2019-02-13 20:19:42 7673

原创 FastJson反序列化对象不一致的解决方法

最近在做对象属性拷贝的工作，原来使用dozerMapper,但是感觉占用内存较高，速度也不快，虽然功能很强大，可以做各种对象的映射。因此计划使用传说中飞一般的fastJson做序列化和反序列化的方式，进行数据拷贝。但是遇到了序列化异常的错误：Exception in thread &quot;main&quot; com.alibaba.fastjson.JSONException: syntax error,...

2019-01-21 18:30:55 6430

转载统计学之三大相关性系数（pearson、spearman、kendall）

（转自微信公众号克里克学苑）三个相关性系数（pearson, spearman, kendall）反应的都是两个变量之间变化趋势的方向以及程度，其值范围为-1到+1，0表示两个变量不相关，正值表示正相关，负值表示负相关，值越大表示相关性越强。person correlation coefficient（皮尔森相关性系数）公式如下：统计学之三大相关性系数（pearson、spearma...

2018-11-29 17:23:43 2996

转载 Maven常用命令

创建Maven的普通java项目：mvn archetype:create-DgroupId=packageName-DartifactId=projectName创建Maven的Web项目：mvn archetype:create-DgroupId=packageName-DartifactId=webappName-DarchetypeArtifactId=maven-arc...

2018-10-24 13:53:47 120

转载如何实现靠谱的分布式锁？

来自：聊聊架构（微信号：archtime），作者：鞠明业等分布式锁，是用来控制分布式系统中互斥访问共享资源的一种手段，从而避免并行导致的结果不可控。基本的实现原理和单进程锁是一致的，通过一个共享标识来确定唯一性，对共享标识进行修改时能够保证原子性和和对锁服务调用方的可见性。由于分布式环境需要考虑各种异常因素，为实现一个靠谱的分布式锁服务引入了一定的复杂度。分布式锁服务一般需要能够保证以下几点。...

2018-10-24 11:48:32 414

转载白话经典算法系列之五归并排序的实现（讲的真好）

归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。首先考虑下如何将将二个有序数列合并。这个非常简单，只要从比较二个数列的第一个数，谁小就先取谁，取了后就在对应数列中删除这个数。然后再进行比较，如果有数列为空，那直接将另一个数列的数据依次取出即可。[cpp] view plain copy//将有序数组a[]和b[]...

2018-10-24 11:33:13 183

原创 Reactor设计模式

这个设计模式目前理解共有4个角色：1.初始化事件管理器：用于注册事件，移除事件2.事件分离器：用于接收事件，分配事件到事件处理器中3.事件处理器：处理事件4.事件：提供系统输入或系统消费。事件处理可以阻塞，可以多线程处理。...

2018-10-19 18:29:54 421

翻译 redis cluster说明

翻译来自redis官网，水平有限。译错之处，多多指正。https://redis.io/topics/cluster-spec欢迎观看Redis cluster说明。在这里你将看到关于redis cluster模式的相关算法和设计理念。本文档持续更新中，以便和redis的实现同步。主要属性和设计理念redis cluster的目标redis cluster模式以分布式部署方式实现了以下目...

2018-10-19 09:10:52 204

原创一张图比较select、poll、epoll多路复用

名称selectpollepoll数据结构数组(fd)数组（fd)+链表(就绪fd)红黑树（fd)+双向链表（就绪fd）实现方法遍历遍历回调最大连接数限制FD_SETSIZE无有，与内存有关1G10万有无设备与内核内存复制有有无，mmap通过映射共享设备和内核内存性能与设备多少关系反相关反相关无相关，与活跃设备数成反相关...

2018-10-18 11:32:25 397 2

原创 zipkin使用hystrix无法串联起调用链的解决方法

在使用zipkin的过程，引用hystrix导致调用链条break,原来hystrix默认容错方法是线程隔离，而在这个过程中使用了线程池，而线程池中的traceId无法重新生成，导致调用链断掉，因此重写HystrixConcurrencyStrategy 类的wrapCallable即可达到修复效果，代码如下：@Componentpublic class TracingHystrixConcu...

2018-10-17 12:16:42 1382

原创常用mysql语句转elasticsearch查询语句

多个查询条件 bool(must、should、must_not)select * from index_person where name = 'jeck' or sex = 'male' order by age,sex{ "query":{ "bool":{ "should":{ {"match":{"name": "jeck"}}, {&quot

2018-10-08 15:04:41 4239

原创 git 错误：error: The following untracked working tree files would be overwritten by checkout:

问题： error: The following untracked working tree files would be overwritten by checkout: 解决： git 2.11 and newer git clean -d -fx . older git git clean -d -fx “”

2018-08-30 11:30:09 2778

原创 spring-servlet.xml与applicationContext.xml的区别

最近在springmvc项目中加了一个Interceptor,突然发现拦截器竟然没有拦截Controller，很奇怪。该拦截器编写在applicationContext.xml中。经网上一番寻觅，发现拦截器需要写在spring-servlet.xml中。这才发现原来这两个文件的区别还是挺大的。总结了一些区别如下：1.用途不同applicationContext-*.xml文件通常用于加载sp...

2018-06-29 15:19:36 1618

转载分布式锁的几种使用方式（redis、zookeeper、数据库）

Q:一个业务服务器，一个数据库，操作：查询用户当前余额，扣除当前余额的3%作为手续费 synchronized lock db lock Q：两个业务服务器，一个数据库，操作：查询用户当前余额，扣除当前余额的3%作为手续费分布式锁我们需要怎么样的分布式锁？可以保证在分布式部署的应用集群中，同一个方法在同一时间只能被一台机器上的一个线程执行。这把锁要是一把可重入锁（避免死锁）...

2018-03-20 10:19:57 319

原创解决Nginx跨域访问

在nginx.conf中配置add_header 'Access-Control-Allow-Origin' '*';add_header 'Access-Control-Allow-Methods' 'POST,GET,PUT,DELETE,OPTIONS';add_header 'Access-Control-Allow-Headers' 'Authorization,Content-Typ

2017-11-17 10:57:24 1945

转载 Maven中使用本地JAR包

在Maven项目中使用本地JAR包有两种方法：使用system scope <dependencies> <dependency> <groupId>org.richard</groupId> <artifactId>my-jar</artifactId> <version>1.0</version> <scope>system</sco

2017-05-15 18:36:47 552

原创 windows端口占用解决

1.查看端口占用PID netstat -aon|findstr "1099" 2.任务管理器查找对应pid

2017-05-13 14:04:33 392

原创 Failed to execute goal com.mycila:license-maven-plugin:3.0

错误名称：Failed to execute goal com.mycila:license-maven-plugin:3.0:check (default) on project xxx: Some files do not have the expected license header -> [Help 1] 解决方法： mvn license:format

2017-05-12 14:00:58 9674

转载 IntelliJ IDEA 乱码解决方案（项目代码、控制台等）

原文：http://www.cnblogs.com/vhua/p/idea_1.html?utm_source=tuicool&utm_medium=referral最近IDE从eclipse改成IntelliJ IDEA 了，原因是公司大部分人都在用这个IDE，而且一直推荐用，所以尝尝鲜。换的第一天，就遇到了哪个IDE都会遇到的乱码问题，耗费了好多时间最终解决了，因此在这边记录一下解决方

2017-04-13 13:02:49 18215 9

转载 JVM原理讲解和调优

一、什么是JVMJVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java语言的一个非常重要的特点就是与平台的无关性。而使用Java虚拟机是实现这一特点的关键。一般的高级语言如果要在不同的平台上运行，至少需要编译成不同的目标代码。而引入Java语言虚拟机后，Java

2016-12-07 16:23:09 260

原创 JDK调试JVM工具

jmap -heap pid #查看内存状态，注意：如果使用CMS GC，会导致进程挂起jmap -histo pid #查看堆内存对象具体情况jmap -dump:format=b,file=f:m/jmap.dump pid #将当前pid进程内存情况导出文件jhat -J-Xmx1024M filename #查看dump文件,使用浏览器host:7000查看jstack pid #查看当前程

2016-12-06 13:25:48 691

原创 mysql Access denied for user root@localhost错误解决方法

mysql>USE MYSQL mysql> UPDATE user SET Password=PASSWORD(‘newpassword’) where USER=’root’; mysql> FLUSH PRIVILEGES; mysql> quit

2016-11-30 15:40:52 725

原创 python unicode编码转中文字符

#只需要如下函数即可s = '\u6253\u8d4f'print s.decode('unicode_escape')

2016-11-30 12:01:04 4991

转载 Mysql常见的几个错误问题及解决方法：

Mysql常见的几个错误问题及解决方法：1.问题： mysql DNS反解：skip-name-resolve错误日志有类似警告：120119 16:26:04 [Warning] IP address '192.168.1.10' could not be resolved: Name or service not known120119 16:26:04 [Warning] IP addres

2016-11-30 10:43:11 4001

转载 Python基本数据类型详细介绍

Python提供的基本数据类型主要有：布尔类型、整型、浮点型、字符串、列表、元组、集合、字典等等1、空（None）表示该值是一个空对象，空值是Python里一个特殊的值，用None表示。None不能理解为0，因为0是有意义的，而None是一个特殊的空值。2、布尔类型（Boolean）在Python中，None、任何数值类型中的0、空字符串“”、空元组()、空列表[]、空字典{}都被当作False，还

2016-11-17 18:11:54 8830