wssmao250的博客

原创 mysql 建表的时候时间戳datetime

mysql 建表的时候时间戳很多会选用datetime,默认长度0，但是这个时间精度是到秒的，这个时候datetime会把时间戳毫秒精度进行四舍五入。 例如传入的时间戳为1552319999999，格式化后为"2019-03-11 23:59:59 999" 插入数据库后会变成"2018-03-12 00:00:00"如果需要精度到毫秒，需要设置长度为3（不是小数点），此时插入时间戳155231...

转载 redis zset内部实现（SkipList数据结构）

参考：https://www.jianshu.com/p/cc379427ef9d

转载 spark数据倾斜

参考链接：https://www.cnblogs.com/frankdeng/p/9301695.html

转载 介绍ETCD的最佳实践

原文链接： http://blogspring.cn/view/120

原创 常用jvm调优命令

常用jvm调优命令：jstat -gcutil 880jstat -gc 880jstat -gccapacity 880jmap -heap 29820jmap -histo:live 29820 （会主动产生一次full gc）jmap -histo 14768（不产生full gc）jmap -dump:format=b,file=heapdumpHigh.hprof 274...

原创 常用shell命令汇总

1、字符串按照,号拆分后，并去掉收尾的双引号。cut -d “,” -f1 | sed ‘s/"//g’2、字符串按照,号切割为数组array=(${string//,/ })3、读取文件后，过滤xxx关键字后，按照:号分割，打印第2列到数组中。ARRAY=($(cat tempResult.txt | grep xxx | awk -F “:” ‘{print $2}’))4、函数传...

原创 springbean初始化顺序

1、init-method方法，初始化bean的时候执行，可以针对某个具体的bean进行配置。init-method需要在applicationContext.xml配置文档中bean的定义里头写明。例如：这样，当TestBean在初始化的时候会执行TestBean中定义的init方法。2、afterPropertiesSet方法，初始化bean的时候执行，可以针对某个具体的bean进行配置。...

原创 ElasticSearch启动报granting the all permission effectively disables security错误

现象：[2019-02-18T20:27:29,251][ERROR][o.e.b.Bootstrap ] [data1] node validation exception[1] bootstrap checks failed[1]: granting the all permission effectively disables security解决办法：找到%JAVA_HOM...

原创 OLAP（On-Line Analysis Processing）在线分析处理

OLAP（On-Line Analysis Processing）在线分析处理是一种共享多维信息的快速分析技术；OLAP利用多维数据库技术使用户从不同角度观察数据；OLAP用于支持复杂的分析操作，侧重于对管理人员的决策支持，可以满足分析人员快速、灵活地进行大数据复量的复杂查询的要求，并且以一种直观、易懂的形式呈现查询结果，辅助决策。相关的OLAP引擎有Kylin、ClickHouse等。相关参...

原创 RegexFuzzer用以帮助程序员测试他们的正则表达式是否存在 DoS 漏洞

免费工具 SDL Regex Fuzzer 用以帮助程序员测试他们的正则表达式是否存在 DoS 漏洞。 正则表达式模式中包含了某些执行起来极其耗时（指数时间）条款，（例如：分组条款中包含重复自身的重复）。这可能导致被攻击者利用发起拒绝服务攻击。SDL Regex Fuzzer是一款微软推出的正则表达式测试工具，可以用来发现这些潜在的漏洞。...

转载 es双活方案

参考：http://www.yunxiaobai.net/archives/489另外：ES7.1.1中支持了ＣＣＲ跨集群复制，但是该功能属于ｘｐａｃｋ中，非免费使用。

转载 bWAPP 玩法总结

bWAPP 玩法总结参考：https://cloud.tencent.com/developer/article/1180474

转载 Elasticsearch相关性打分机制学习

Elasticsearch相关性打分机制学习参考：https://www.jianshu.com/p/33ca008c9c05?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

原创 日志中如果统计某一个字段的总数

日志中如果统计某一个字段的总数:cat xxx.log | grep “yyyy-mm-dd” |grep keyword |awk -F “count=” ‘{print $2}’|awk -F “,” ‘{print $1}’|awk ‘{sum+=$1}END{print sum}’注：keyword为实际需要过滤的关键字，count=为日志中需要统计的字段格式。统计打印的总和：ca...

转载 Reactor模式

在处理web请求时，通常有两种体系结构，分别为：thread-based architecture（基于线程）、event-driven architecture（事件驱动）thread-based architecture基于线程的体系结构通常会使用多线程来处理客户端的请求，每当接收到一个请求，便开启一个独立的线程来处理。这种方式虽然是直观的，但是仅适用于并发访问量不大的场景，因为线程...

转载 elasticsearch RestHighLevelClient Client 配置

elasticsearch RestHighLevelClient Client 配置/**描述:@author liweigao@create 2018-05-15 上午9:30*/@Slf4j@Configuration@AutoConfigureAfter(ElasticSearchProperties.class)public class ElasticSe...

转载 HttpAsyncClient请求流程源码分析

参考：https://www.cnblogs.com/zemliu/p/3719292.html

原创 java https双向认证证书

// 双向认证证书KeyStore keyStore = KeyStore.getInstance(“PKCS12”);KeyStore trustStore = KeyStore.getInstance(“jks”);// keyStore是服务端验证客户端的证书，trustStore是客户端的信任证书InputStream ksIn = new FileInputStream(“E:/...

原创 ElasticSearch磁盘空间阈值设置

磁盘空间阈值设置：curl -XPUT localhost:9200/_cluster/settings -d ‘{“transient” : {“cluster.routing.allocation.disk.watermark.low” : “80%”,“cluster.routing.allocation.disk.watermark.high” : “50gb”,“cluster...

原创 ES规格容量评估

参考阿里云：https://help.aliyun.com/document_detail/72660.html?spm=a2c4g.11186623.6.549.45914de0AD4KoZ

原创 elasticsearch rollover index

curl -X PUT -k --cert path"https://path "https://path"https://host:9200/%3cxxxx-%7bnow%2fd%7d-000001%3e"

转载 Elasticsearch索引拆分（有赞）

参见：https://tech.youzan.com/search-tech-2/

转载 上厅房，下厨房，ElasticSearch有的忙（ES基本概念介绍）

参见：https://juejin.im/post/5c3bee77f265da612c5e1829

转载 Elasticsearch大规模时序索引如何治理和规划

Elasticsearch大规模时序索引如何治理和规划参见：https://www.cnblogs.com/xguo/p/10558828.html

转载 Elasticsearch High Level Rest Client 发起请求的过程分析

本文讨论的是JAVA High Level Rest Client向ElasticSearch6.3.2发送请求(index操作、update、delete……)的一个详细过程的理解，主要涉及到Rest Client如何选择哪一台Elasticsearch服务器发起请求。maven依赖如下： org.elasticsearch.client elasticsearch-rest...

转载 晦涩的Paxos

什么是paxos？Paxos是用于解决分布式系统中一致性问题的共识算法（Consensus Algorithm），其最基本的功能是为了在多个进程之间对某个值达成一致。通过这个最基本功能，就可以在多个进程之间进行数据库、状态机、账本（区块链）等对象的同步。注意，Paxos不追求值的正确性、权威性、及时性，只追求一致性。“共识”这个词不仅仅指结果，而且还代表不同进程对于各种处理达成的协议于限制。Pax...

转载 commons-io功能汇总

转载 GitHub 上最受欢迎的 5 大 Java 项目

本文列举了 GitHub 上最受欢迎的 5 个 Java 项目，从 Mockitos 到 Guava，以及 java-design-patterns 等。GitHub 上有大约有 744K 多的 Java 项目，但是最让开发人员感兴趣的有哪些项目？1.MockitoMockito 并不是无酒精混合饮料的意思。Mockito 是一个针对 Java 的 mocking 框...

转载 看了后让你代码思维和能力提升的 Java 源代码

对于学习J2EE的框架有很大的帮助，代码里使用了各种设计模式、事件机制、Java8语法、代码量也很小，web服务使用Netty作为支持，对HTTP/网络想研究的一定是你的必读品。目前在写 Blade-In-Action 小书。我之前也写过如何实现IOC/MVC框架的简单博文，可以在这个biezhi/java-bible仓库里看到。也说一下我看过的一些比较不错的代码，看了对Java能力一定会有质的提...

转载 spring统一日志管理，切面（@Aspect），注解式日志管理

添加链接描述@TOC欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ...