night field-CSDN博客

原创 Apache HttpClient 模拟 SSO 登陆丢失 cookie 问题解决

背景需要用 Java 访问一个被 SSO 保护的特殊接口获取信息。方案设计假如我们用浏览器来实现这个功能，步骤简单如下：输入目标 API 地址（浏览器自动重定向到 SSO 登陆页面）输入用户名密码登陆（浏览器重定向回到 API 地址，并附带认证信息）获取目标 API 的资源信息其中需要用户操作的是步骤 1 和步骤 3。但要求是用 Java 来实现上述功能，关键点在于如何获取认证信息。有了认证信息，我们便能直接 call 目标 API。所以我们需要模拟浏览器的登陆行为，此时的初步想法

2022-04-16 22:06:39 1803

原创 Mybatis 批量插入 Oracle 记录

基本环境语言：Java 8数据库：OracleORM 框架：MyBatis 3.4.5需求批量插入数据，数据需要有自增 id。每次插入有一个唯一的 sessionId 来标记这些记录，插入完成之后返回这个 sessionId。方案循环插入单条记录，伪代码：int sessionId = dao.querySessionId();for (Record record : recordList) { dao.insertRecord(record, sessionId);}re

2022-01-06 14:25:12 763

原创 Big Key 导致 Redis 频繁重连的问题排查

背景监控是系统的重要模块，我们给产线的 Redis 机器配置了全方位的监控，包括机器性能指标测试以及 Redis 服务测试等等。今天收到了 PagerDuty 告警，报告说 Redis 服务间歇性异常。问题描述Redis 是一个集群，三主三从，每个节点各配置了一个监控，监控的测试逻辑大致是，用 INFO，CLUSTER SLOTS，CLUSTER NODES 等命令查看节点以及集群的基本信息是否正常，然后给主节点（master） set 一个 dummy key，看是否在规定时间内能同步到从节点（sl

2021-11-30 16:25:59 1433

原创博客搬家日记--搭建基于Docker的LNMP环境

背景由于云主机马上就要到期了，所以最近对比了几家云服务器提供商。最终决定尝试一下 UCloud。于是不得不把原博客（typecho）迁移过来。下面是流水账式地记录一下过程。过程记录本想尝试按照以前的笔记重新搭建一套环境，然后再把数据导过来，但是一想到这一长串的步骤，以及可能碰到的问题就头疼，于是决定构建一个基于容器的 LNMP 环境，一劳永逸，也方便日后继续做博客迁移。当然如果有同学也想搭建基于 LNMP 的博客如 Typecho，则可以参考我的模板:-)（文末有 Github 链接）。注：以下命令

2021-11-21 15:44:27 2391

原创如何用 ThreadGroup 记录线程创建链路

背景我们维护一个监控平台，平台跑着各种各样的插件来测试不同的场景。平台捕获插件的标准输出来得到日志，获取退出码来知道运行结果。Java 插件就是一个可执行的 .jar 文件，它会被加载到平台的 JVM 中，运行在一个线程池里面。针对 Java 插件，我们提供了一个 SDK 给客户以降低开发难度，主要包括一些工具方法，定义标准执行流程，异常捕获等功能。难点在 Java SDK 中，我们希望提供一个工具方法，来统一打印标准输出。在 Java 插件中，只需要调用类似 PluginLogger.print(

2021-11-21 15:42:48 231

原创用 maven dependency plugin 优化 maven 依赖

layout: posttitle: 优化 maven 依赖实践date: 2020-06-28categories:Handbooktags:Maven背景Maven 是非常优秀的项目管理工具，我们可以方便地在 pom 文件里配置 Java 工程的依赖。但是随着项目的迭代和时间推移，pom 文件在新老需求的不断增删改之下变得越来越臃肿，到后来连自己都不知道哪些是有效依赖。下面将简单介绍如何用 Maven 插件 maven dependency plugin 来解决这个问题。ma.

2021-07-06 16:23:51 907

原创浅谈分布式

前言互联网时代，分布式是一个绕不过去的话题。本文将简单谈谈个人对分布式的理解。何为分布式维基百科上对分布式系统（Distributed System）的定义如下：A distributed system is a system whose components are located on different networked computers, which communicate and coordinate their actions by passing messages to one

2021-04-02 10:19:28 216 1

原创漫谈zookeeper watcher单次触发特性

架构师 Hooya 正带领着他的团队着手开发一款高性能分布式协调工具，暂名 zookeeper。Hooya开场白：同学们，作为一个分布式协调软件，通知功能是必不可少的。今天我们来 brainstorm 一下如何设计咱 zookeeper 的通知机制吧。攻城狮小A抢先道：这简单呀，不就是实现一个大号的观察者模式嘛，Client 注册 watcher，Server 在数据改动的时候通知 Client，目测不会太复杂。Hooya：再简单也要从头开始，我们先定义一下通知的事件吧。小A一拍脑门：zookeep

2021-04-01 14:54:24 198 1

原创 zookeeper的watcher是一次性的吗？！

zookeeperzookeeper 是流行的高性能分布式协调工具，它提供了分布式环境中需要的命名服务，配置管理，分布式锁，注册中心，Leader 选举等等功能，应用十分广泛。zookeeper 的 watcherClient 可以在 zookeeper 的节点（znode）上设置监听器（watcher），当节点被修改时，zookeeper 会向客户端发送一个相应的通知。可以通过 getData()，getChildren() 和 exists() 三个方法来设置 watcher。以 getData

2021-03-31 17:54:28 925

原创 Connection Timeout 问题排查

背景我们组开发维护了一个 Agent 工程，帮客户采集一些客户有用的网络数据。客户需要下载一个 MSI，然后安装并注册。问题描述某个客户下载安装 Agent 之后，提示注册失败。其实 Agent 注册就是一个用户登陆验证服务，然后创建一个 Machine ID 的过程。所谓 Machine ID，就跟用户帐号一样，是 Agent 的一个唯一标识。注册的流程大致如下：注册的主要目的是为 Agent 创建一个 Machine ID，为此需要获取一个 token，而这个 token 可以通过用户登陆来获

2021-03-01 16:54:36 12560 7

原创 MyBatis内置DataSource的连接池实现原理

前言MyBatis是一个流行的ORM框架，它简单易用，支持自定义SQL、存储过程以及高级映射。MyBatis免除了几乎所有的JDBC代码以及设置参数和获取结果集的工作。作为一款优秀的持久层框架，连接池是必不可少的。本文将分析MyBatis内置的数据源是如何实现连接池功能的(源码基于MyBatis3.4.5)。JDBC对数据库的操作回忆一下，我们用原生的JDBC来操作数据库的一般流程：public class JDBCExample { // JDBC driver name and dat

2020-12-12 14:29:19 956

原创 Hotspot早期的垃圾收集器简介

前言很多人的博文里面会提到JVM三种垃圾收集器：串行，并行和并发。这么分类也不能说错，但事实上也没有这么简单。本文简要介绍Hotspot早期的垃圾收集器(Garbage Collector)。名词解释年轻代和老年代：JVM中不同的对象，生命周期是不同的。比如线程中的临时变量，在方法结束之后便会被销毁；而静态变量，则会一直存在直到其所对应的类被销毁为止。基于这样的事实，才有了分代收集的概念：将JVM堆分为年轻代和老年代。年轻代存放刚被创建的对象，老年代存放经过多次GC之后依然存活的对象。一般年轻代空间

2020-12-10 17:38:36 93

原创 Redis的键过期策略及内存淘汰策略简介

RedisRedis是高性能的基于内存的NoSQL数据库。因为内存是比较宝贵的资源，无法无限制使用，所以Redis提供了：键过期策略来防止内存饱和。内存淘汰策略来使得内存饱和之后继续对外提供服务。内存过期策略expire命令Redis提供了expire命令来给一个键(key)设置过期时间：redis> SET foo "bar""OK"redis> EXPIRE foo 10(integer) 1redis> TTL foo(integer) 10类似set

2020-11-08 17:47:20 188

原创 Netty的ChannelPool导致内存泄漏的排查经历

背景接到了线上机器的报警，登上服务器，发现是Java进程挂了，看日志报了OOM：java.lang.OutOfMemoryError: Java heap space问题描述内存溢出，那当然是看dump文件了。这里推荐大家在产线机器上都加上JVM参数-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath={path}/{to}/{dump}，这样，JVM在OOM的时候，会自动做一个内存dump，相当于保存现场。拿到dump文件，放到MAT里面分析，以下是

2020-08-31 10:07:56 1329

原创自定义Classloader导致ClassCastException：不要轻易破坏双亲委派模型

背景java.lang.ClassCastException: cn.com.nightfield.Plugin cannot be cast to cn.com.nightfield.Plugin相同的class，竟然不能cast？这是什么鬼？问题描述自定义类加载器(Classloader)是很常见的，它可以让我们从自定义的文件系统目录，网络甚至是数据库的各种文件类型(jar, war, zip等)中加载class文件。我们项目中使用了一个开源的类管理工具PF4J，来加载指定目录下的class

2020-08-15 16:19:05 1015

原创深入理解Linux, NIO和Netty中的零拷贝(Zero-Copy)

背景零拷贝(Zero Copy)是一个耳熟能详的术语，众多高性能的网络框架如Netty，Kafka，Rocket MQ都将零拷贝标榜为其特性。那么究竟什么是零拷贝？零拷贝Wikipedia上对零拷贝的解释如下：“Zero-copy” describes computer operations in which the CPU does not perform the task of copying data from one memory area to another. This is freq

2020-06-10 10:04:25 1839

原创 Quartz Task在Tomcat中重复运行问题解决

问题描述Spring Quartz是很常用的定时任务框架。把一个Quartz的工程部署到Tomcat中启动，意外地发现，每个Task都在同一时间跑了两次，而本地在开发的过程中却没有问题。问题排查为了防止多线程问题，有部分Task上是加了锁的，类似如下方式：@Componentpublic class ExampleTask{ private ReentrantLock lock = new ReentrantLock(); protected void executeInternal()

2020-06-09 16:12:15 325

原创设计模式总结

经过了两个多月的时间，终于，将常见的设计模式结合例子过了一遍，在此做一个简单的小结。设计模式小结不难发现，应用各种设计模式所带来的好处，都会提到解耦二字。开闭原则要求我们的系统对扩展开放，对修改关闭。高内聚，低耦合的系统，有更高的稳定性与灵活性，也更易于维护。如何来解耦模块之间的关系呢？如果只用一句话来概括的话，那就是：将变与不变分离。细看下来，设计模式通常通过增加一个中间抽象层的方式，来封装会变的部分。创建型模式中，将对象的创建模块抽离出来，使客户端不需要关心对象如何创建；几乎所有的结构模式和行为模式

2020-06-06 17:04:34 129

原创设计模式，行为模式之责任链模式

1 概述责任链模式(Chain of Responsibility Pattern)是常见的行为模式，它将处理器封装成一条处理链，让请求可以在链上传递。链上的处理器自行决定是否对请求进行处理。2 责任链模式一个典型的责任链模式的使用场景是，当一个事件或请求需要被多个处理器处理时。应用责任链模式，将所有的处理器串在一起，然后把请求从链的头部开始传送。各个处理器可以对请求进行判断，选择执行相关逻辑，或者将它传递给下一个处理器。如此一来，解耦了请求者和接收者(所有的处理器)。一般情况下，链上的处理器需要持

2020-06-06 16:01:09 168

原创设计模式，行为模式之备忘录模式

1 概述备忘录模式(Memento Pattern)，又叫Token模式，它提供了一种方式，来捕捉对象某一时刻的内部状态，并将其保存成备忘录(Memento)，如此一来，对象可以根据此备忘录恢复到之前的状态。2 备忘录模式几乎所有的编辑器都支持撤销功能，这其实就是备忘录模式的例子，撤销操作，使得文本得以恢复到之前的状态。面向对象设计中，备忘录模式的实现一般需要三个角色：发起人(Originator)：主对象，提供将内容保存成备忘录，或者从备忘录恢复状态的功能。备忘录(Memento)：备忘录对象

2020-06-04 11:39:54 129

原创设计模式，行为模式之命令模式

1 概述命令模式(Command Pattern)，是将请求封装成一系列命令对象，以解耦请求发起者和请求接收者的一种行为模式。2 命令模式正常情况下，请求发送者和请求接收者是相互耦合的，发送者直接调用接收者相关的方法，直接交互。用命令模式进行改造，将两者交互的媒介----命令单独抽离出来，使得发送者和接收者相互独立，只依赖于命令对象，提高了扩展性和可维护性。同时，通过命令模式，我们还能完成一些高级操作，如撤销命令，方法参数化，命令入队，批量命令等等。3 案例通过一个简单的例子加深对命令模式的理解

2020-06-03 13:10:06 152

原创设计模式，行为模式之访问者模式

1 概述访问者模式(Visitor Pattern)是一种行为模式，不常用。它可以将作用在对象上的算法逻辑，与对象本身分离开来。2 访问者模式当需要对一组相似类型的对象执行操作时，我们可以将操作逻辑分别维护在每个对象内部，但这违背了单一职责原则。访问者模式就是来应对这种情况的：将所有的算法逻辑移动到一个新的类----访问者(Visitor)中，统一维护，如果其中的逻辑发生了变化，那么我们只需要在访问者实现中进行更改，而不用影响到原对象。同时，在访问者模式中，扩展变得很容易，增加新的对象以及操作逻辑，

2020-05-31 13:56:07 169

原创设计模式，行为模式之模板方法模式

1 概述模板方法模式(Template Method Pattern)是一种很常见的行为模式。在超类/抽象类中创建一个模板方法，方法中定义一个算法步骤或框架，让子类在不修改主结构的情况下，重写其中的子步骤。2 模板方法模式假如存在一系列对象的方法，他们的步骤是大体一致的，区别只是其中的一个子步骤。这种情况会导致大量重复冗余的代码，当公共部分需要改变时，不得不修改所有相关的对象。如果用模版方法模式改造，可以简化逻辑：将其中不变的部分抽离出来，作为一个模板方法，然后让子类只实现差异化的部分代码。比如，前

2020-05-31 08:17:59 223

原创设计模式，行为模式之中介者模式

1 概述中介者模式(Mediator Pattern)是一种行为模式，通过定义一个中介对象，来管理一系列对象之间的依赖，从而解耦原有对象之间的关系。2 中介者模式大量的对象相互依赖，会大大增加系统复杂度，提高维护成本。中介者模式(Mediator Pattern)是迪米特原则的一个很好体现，它通过将对象的依赖关系维护在一个中介者中，使原本耦合在一起的对象变得相互独立。交通信号灯是一个很常见的例子，如果没有信号灯，十字路口的车子必须知道互相之间要去的方向，来决定什么时候踩油门，什么时候踩刹车，如此一来

2020-05-30 12:25:58 390

原创设计模式，行为模式之状态模式

1 概述状态模式(state Pattern)是行为模式之一，一般用在对象的行为依赖于内部状态的场景。2 状态模式考虑一个场景：对象有状态，而且根据状态不同，对象的行为也会不同。对于该情况，最简单的方式是，对状态做if-else或者swith-case判断，根据状态调用相应的行为。但是这种做法，把对象和状态耦合在了一起，难于扩展和维护。更好的做法是，用状态模式将状态抽离出来形成一个接口，而目标对象依赖该状态接口，来完成对应的行为，由此达到解耦的目的。状态模式跟策略模式非常相像，可视为策略模式的扩展。

2020-05-28 17:12:47 160

原创设计模式，行为模式之策略模式

1 概述策略模式(Strategy Pattern)是行为模式的一种，复杂度并不高，当完成某项任务的方式有多种时，可以考虑使用策略模式。2 策略模式在策略模式中，我们需要定义一族算法，并将算法放入独立的类中，每种算法代表完成任务的一种方法。如计算器，我们可以定义基本的加，减，乘，除四种策略，对于任意输入的两个数字，调用不同的策略，将得到不同的结果；又如网上购物结算，我们可以定义一系列支付策略，支付宝支付，微信支付，信用卡支付，储值卡支付…顾客可以根据自己的喜好选择相应的支付方式。策略模式解耦了算法的

2020-05-24 16:12:56 272

空空如也

空空如也