- 博客(15)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 kafka
进行到通知的partition-leader时候partition-leader所在的broker挂掉了，同时选取了已经持久化成功的从partition作为新的leader，就会出现重复消息，因为这时生产者会重新上报这条消息。对于上述步骤，partition-leader回复生产者成功的触发条件是可以配置的，有三种策略：只要leader持久化成功就返回、至少一个从partition成功就返回、全部partition成功才返回。解决方式：kafka提供了配置，同一个生产者提交的重复key对应的消息会被忽略。
2023-09-12 09:36:48
44
原创 数据倾斜及处理
比如说现在需要统计一张传统数据库表中的某个字段词频，按照每天一次统计，由于我们的应用内存受限，无法容纳一天全部的数据，所以我们采用分时段统计的方式，这是理所当然的，这时候数据倾斜问题就可能找到我们。造成问题的原因往往是对于数据的分布不够了解，比如这张表的数据是由其它系统上传，那么其它系统大概率会选择凌晨上传，这会导致某几个小时内数据的占比格外的大，我们统计到这部分就可能出现内存溢出等风险。只要对数据的访问、处理使用分治的思想，就会面临潜在的数据倾斜问题，严重的数据倾斜会导致任务执行缓慢甚至失败。
2023-09-01 16:22:54
33
原创 缓存架构设计
大部分的情况下，应该是这样的，大量的读请求过来，都是直接走缓存取到数据的，少量情况下，可能遇到读跟数据更新冲突的情况，如上所述，那么此时更新操作如果先入队列，之后可能会瞬间来了对这个数据大量的读请求，但是因为做了去重的优化，所以也就一个更新缓存的操作跟在它后面。2）是做实时性要求不高的数据，比如说商品的基本信息，等等，我们采取的是三级缓存架构的技术方案，就是说由一个专门的数据生产的服务，去获取整个商品详情页需要的各种数据，经过处理后，将数据放入各级缓存中。读的时候，先读缓存，缓存没有的话，那么就读数据库。
2023-08-28 17:56:39
44
原创 mybatisPlus代码生成器
pom.xml引入依赖 <!-- 代码生成 --> <dependency> <groupId>org.apache.velocity</groupId> <artifactId>velocity-engine-core</artifactId> <version>2.3</version> <scope>test</scope> </depend
2022-02-09 15:42:21
197
原创 CompletionStage、CompletableFuture注释
import java.util.concurrent.CompletableFuture;import java.util.concurrent.TimeUnit;import java.util.function.BiConsumer;import java.util.function.BiFunction;import java.util.function.Consumer;import java.util.function.Function;/** * jdk8该接口仅有一个实现类.
2021-12-06 15:58:56
298
原创 tomcat容器启动两次、定时任务执行两次
其实就是tomcat加载了两次应用。修改conf/server.xml <Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true"> <!-- SingleSignOn valve, share authentication between web applications Documentation at: /d
2021-11-25 17:18:08
699
原创 java service wrapper springboot 使用外部配置文件(任意位置)
springboot中外部配置文件的设置方式为命令行传入或者使用注解但是java service wrapper中没有提供命令行参那就只能用注解,但是你的外部配置文件如果不是固定的呢?不可能每次都去改jar包吧springboot启动时对于各个配置文件的优先级网上到处都是,就不说了,总之,最低优先级的配置文件为:springApplication.setDefaultProperties...
2020-04-27 10:43:04
734
1
原创 按照日期查询补全列表
我们在写查询时,尤其是折线图这种数据的查询,经常遇到查最近n天的折线图数据,但是数据库中某几天没有数据,查询出来会缺几天,直接使用这个supplementList方法就可以补齐.public class LineChartDataPart<T> { /** * 坐标轴值 */ private String mark; /** * ...
2020-03-06 16:16:32
202
调用reversed()后，java泛型无法识别
2021-12-03
innodb中REPEATABLE-READ(可重复度)隔离级别为什么没有出现幻读?
2019-09-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人