一条毛巾-CSDN博客

原创一次内存溢出事故 - 用 jprofiler 分析 gc root

事情经过事情是这样，公司项目是一个springcloud的微服务，服务每隔半个月就会发生一次频繁的fullGC。后来定位到是缓存不合理导致的，该缓存的key是一条条sql，value是表名。这个缓存是用来干嘛呢？查了下他主要是分库组件sharding-jdbc在执行sql时，首先要通过这个缓存来获取sql对应的表。这个缓存设计的大小是1000，超时时间1天，而且用的一个LocalCache是强引用。因为在我们的生产环境中经常会有一下批量插入查询的操作，一个插入一千条数据的sql放在这个地方，就可能是一个

2021-09-19 12:47:21 1346 1

原创 spring cloud 组件详解之 eurekaServer

eureka 功能再 spring cloud 的微服务组件中，eureka作为微服务的注册中心，提供了服务注册/发现的功能。如下图所示。我们的微服务可以通过它来相互发现。@EnableEurekaServer启动注册中心的原理通常我们通过@EnableEurekaServer 来开启一个服务端。我们跟进到这个注解，发现它最终触发了 EurekaServerAutoConfiguration 这个配置类。@SpringBootApplication@EnableEurekaServerpubli

2021-04-04 17:48:20 509

原创 java 静态源码阅读之 druid 连接池

java 静态源码阅读之 druid 连接池为什么会有连接池作为一个后端开发，我们日常中要去请求各种各样的外部资源。例如去做数据库请求查询数据，去做http请求调用其他接口。所有这些，都是需要本地应用与其他服务器建立连接，才能获取资源的。在没有连接池的情况下，我们怎么去连接呢？那当然只能是每请求一次，就去建立一次连接。可是在计算机的世界中，频繁建立连接是非常损耗资源的。所以当连接不用的时候，我们希望可以保持这个连接的状态，其他线程要用的时候，就把它取出来用。然后有了连接池的存在。接下来我们以阿里的Dr

2021-03-07 13:44:54 368

原创 springboot 分布式定时任务调度 zookeeper + AOP实现

springboot 分布式定时任务调度 zookeeper + AOP实现Scheduled 定时任务的问题定时任务，是很多业务系统都需要用到的东西，在Springboot中，我们通常用@Scheduled注解去定义一个单体应用定时任务。然而在微服务的场景下还使用这个东西，定时任务就会重复执行了。就比如我想下面这样定义了一个定时任务(每分钟的0，5，10…秒都会执行)，然后修改端口启动两次应用，不用猜，自然是两个进程都重复执行了。 @Scheduled(cron = "*/5 * * * * ?")

2021-01-30 22:51:38 1349 1

原创 java 对象创建和 Spring Bean 的生命周期

本文主要想讨论是对象和bean，对象和bean的关系，对象和bean初始化过程（或者说生命周期有何异同），spring 对托管的对象究竟做了些什么工作

2021-01-23 16:07:24 550 3

原创 springboot converter 定制（序列化取消自动小写）

想要解决的问题本人在之前进行springboot开发时偶然发现，springboot会默认将返回前端的响应结果字段名小写。如下是定义的返回类型：static class MyReturnValue{ private String Name; private String Word;}postman 客户端最终看到的看到的返回结果如下：{ "name": "张伟", "word": "张伟真伟大"}我们想要解决的问题是：保证序列化之后的返回值与

2021-01-17 15:06:41 743 3

原创 springboot 集成 vertx-kafka-client

springboot 集成 vertx-kafka-client为什么尝试做这个集成vertx是一套封装了netty的异步事件驱动的框架，netty采用的线程模型可以高效处理某些情况下的网络通讯，然而这套框架需要程序员使用函数编程的方式,不是传统的方式。本项目主要是为了构建一个框架。熟悉springboot编程的程序员只需要通过注解或者接口编程的式就可以使用到 vertx-kafka-client。项目依赖集成demo采用的依赖如下，主要是spring-boot-starter-web和vertx-

2021-01-10 13:55:18 2096 2

原创 springboot 请求处理流程

本文打算介绍在 springboot 中，一个 http 请求从过来到响应结束的过程。主要通过介绍一些关键源码来说明。在分析源码之前我们可以先猜一下可能会有的过程。首先在我们的 springboot 应用中一般都会存在多个 controller handler 的方法，所以一个请求过来肯定是要先找到匹配该请求的方法。其次请求过来的参数需要处理成 controller 方法可以识别的参数格式，这样才...

2020-01-06 00:20:36 14206 1

原创 Jdk源码阅读：synchronized 底层实现

synchoronized 底层实现monitorenter & monitorexitpublic class SychoronizeTest { private static final Object lock = new Object(); public static void main(String[] args) { synchronized (lock){ int i=1; } }}public

2021-02-07 00:58:08 302

原创 python 多进程编程之加速kmeans算法

kmeans 算法代码来自@dz4543的https://blog.csdn.net/dz4543/article/details/80190177这篇文章，它重点介绍了kmeans的算法，和一份代码实现。实现结果是对一个图片像素进行聚类，生成一个新的有 k类颜色组成的图片。很炫酷的视觉效果。我在自己 4核电脑上跑了一下，耗时比较多做2分类大概需要60S，分成7类的话大概需要十多分钟了...

2019-06-07 21:31:37 2515 4

原创 kafka 消息队列相关总结

前段时间，项目中使用了kafka，一开始对很多概念不是很清楚，前前后后看了好多博客，这里简单总结一下相关知识。从以下几个方面。kafka 相关基础概念说明，这里会解释一些个人认为比较重要的名词。 kafka 生产者生产和消费的逻辑，这里主要是写几种使用consumer和producer的方法。 kafka 的特性，简单总结一些 kafka 原理层面的东西。1、基础概念broker：k...

2019-05-02 23:27:54 215

原创 Multipart/form-data 的流式数据解析 - InputStream 用法笔记

最近在做项目时碰到一个用到 InputStream 的场景，在这里做个记录。场景是做了一个 Http2 请求之后，返回内容是chunked传输（分帧返回），Multipart/form-data（数据中包含了协议规定的一些占位符等）。用流的原因是，服务端的内容是分段一段一段生成返回的，用流的方式能够读取一段数据后就对该段数据进行处理，并在界面呈现，最快的方式显示先回来的数据，体验更好。下面是响应...

2019-03-25 00:04:20 7687

原创 python数据分析学习笔记（2）——statsmodels模块

数据分析学习笔记第2篇，我想记录的是一个statsmodels 模块。为什么记录这个模块呢？相信很多自学数据分析 numpy/pandas 的同学都会有这样的感受，那就是我真的不知道从哪里获取一些数据拿来练手。之前我试过从中国统计局官网和大英数据网上下载数据来进行训练，体验太烂，网速渣，找半天找不到下载数据的地方。最近在做相关练习的时候发现一个很不错的库可以满足有像我一样的困惑的同学。 ...

2018-05-20 14:31:17 8180

原创 python数据分析学习笔记——numpy来实现数据拟合

最近在学习python数据分析，做个笔记记录一下代码，今天是用numpy拟合了一组数据。先贴拟合的效果出来，蓝色的点是用np生成的20个点，红线是拟合出来的曲线：下面是代码：import matplotlib.pyplot as pltimport numpy as npx = np.linspace(300,400,20)y = x + np.random.rando

2018-01-07 23:26:18 18108

sinat_37255539的博客