- 博客(38)
- 收藏
- 关注
RSS订阅原创 kafka日志清除
Kafka将数据持久化到了硬盘上，为了控制磁盘容量，需要对过去的消息进行清理那么kafka是怎么清理数据的呢1.基于时间2.基于文件大小#清理超过指定时间的消息,默认是168小时，7天，#还有log.retention.ms, log.retention.minutes, log.retention.hours，优先级高到低log.retention.hours=168#超过指定大小后，删除旧的消息，下面是1G的字节数，-1就是没限制log.retention.bytes=
2022-05-29 16:04:43
1466
原创 kafka集群搭建
kafka集群搭建需要借助于zookeeper zookeeper部署3个节点 2181 2182 2183 kafka部署3个节点 9092 9093 9094 下载zookeeper安装包 复制三份每个节点修改配置文件zoo.cfg#客户端端口clientPort=2181#数据存储路径dataDir=/tmp/zookeeper/2181#修改AdminServer的端口：admin.serverPort=8881三个节点依
2022-05-29 15:36:06
112
原创 连接mysql8报错：Authentication plugin ‘caching_sha2_password‘ cannot be loaded
连接mysql8报错：Authentication plugin ‘caching_sha2_password‘ cannot be loaded
2022-05-11 14:20:32
1088
原创 sharding-JDBC分库分表实战
前言：由于互联网的发展迅速，业务数据量暴增，出现了数据库量过大，需要扩容扩容的方式：大库拆分成小库，大表拆分成小表我们用到了sharding-JDBC是针对本文中所说的水平拆分这里也不去讲解其他分库分表的技术了，例如mycat，可以自行博文搜索了解大库拆分成小库、大表 拆分成小表一 数据库垂直拆分当下springcloud 、dubbo。。类似的这些微服务越来越受欢迎，我们可以根据业务的需要拆分成多个微服务，一并将数据库也拆分成对应的几个数据库，简而言之：一个微服务对应一个数据库
2022-03-25 11:52:07
1164
原创 本地镜像推送到阿里云私有镜像仓库 但是pull下来 docker run报错的情况：does not match the detected host platform (linux/amd64)
docker打包由于cpu架构不一致，导致run报错
2022-03-25 10:31:31
997
原创 springCloud之api-gateway网关项目开发和配置
api-gateway是什么？为什么要api-gateway？ 怎么使用api-gateway？一 api-gateway网关，请求会先到网关这一层，由网关进行路由转发二Gateway作用：1.SpringCloud体系专门推出2.容器部署微服务的ip地址一直在换，需要结合注册中心来使用，所以gateway更灵活三 项目中使用api-gateway添加依赖：<dependency> <groupId>org.springfram.
2022-03-21 14:52:40
4188
原创 springCloud之sentinel限流
sentinel用于流控 降级使用方法：1.docker 容器化部署sentineldocker pull bladex/sentinel-dashboard:latest2.启动sentineldocker run --name sentinel -d -p 8858:8858 镜像id3.项目中整合3.1添加依赖<dependency> <groupId>com.alibaba.cloud</gro...
2022-03-21 14:35:25
1228
2
原创 Centos7安装Python3.7
1.安装编译相关工具yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-develyum install libffi-devel -y2.下载安装包解压cd #回到用户目录wge
2021-10-29 17:22:34
68
原创 redis持久化
redis持久换有两种方式 RDB&AOF一 RDB：通过配置 save m n m秒内有n个操作 那么就会触发rdb操作，保存持久换rdb文件如果设置 save “” 那么表示关闭rdb持久化方式
2021-09-16 11:41:10
57
1
原创 redis几种数据类型的应用场景以及常用命令
1.String：键值对 存储字符串2.hash：购物车，用户个人信息3.list：评论；非实时排行榜4.set：用户标签；共同好友；共同关注5.sorted set：榜单；优先级任务
2021-09-08 18:01:23
98
原创 redis一主二从三哨兵搭建
一：搭建 下载redis安装包 启动redis服务 指定配置文件 启动哨兵服务 但是由于读写都在主服务节点上，压力比较大，可以采用redis集群部署解决此问题，下一章中讲解，谢谢大家...
2021-09-03 11:38:56
182
原创 Redis的key过期删除策略和key的淘汰策略
一.key的过期删除策略 ①定期删除：隔一段时间，就随机抽取一些设置了过期时间的 key，检查其是否过期，如果过期就删除。 定期删除有个弊端： 过期的key，但是没有被定期删除检测到，就会导致redis占用的内存空间越来越大，那么就有了惰性删除 ②惰性删除：redis get到的key，会判断一下该key是否过期了，如果过期了那么就删除这个key。使用定期删除和惰性删除两种策略可以很好的利用cpu，但是会...
2021-08-27 16:48:35
370
原创 redis配置步骤
1.安装docker，docker中安装redis2.启动redis：docker run -itd --name zwt-redis -p 8000:6379 redis --requirepass 1234563.项目中配置redis：spring: redis: host: xxx.xxx.x.xx password: 123456 port: 80004.pom文件中添加依赖5.使用：(设置key value 还有对应失效时间...
2021-08-05 10:06:06
269
原创 分布式事务--rabbitmq延迟消息队列
例如电商平台，用户下单，扣库存。有订单微服务，库存微服务流程：1.订单服务中下单2.库存服务中对应的商品库存减少3.锁库存表记录此次下单的单号，订单的num，库存表的id。。。。。并且有个状态为lock4.发送消息队列至rabbitmq5.rabbitmq配置消息的过期时间，从而进入死信队列6.订单表中对应生产数据配置消息队列监听1.监听到死信队列的数据2.查看私信队列信息中的订单号，去订单服务中查询订单状态3(1).如果订单状态为完成，那么更新lock.
2021-08-04 18:08:49
139
原创 分布式事务--seata原理和使用
原理：微服务A--------------将节点事务注册到TC中--------------------->TC微服务B--------------将节点事务注册到TC中--------------------->TC微服务C--------------将节点事务注册到TC中--------------------->TC微服务A的TM申请开启全局事务，并且会产生一个xid贯穿整个微服务TM会根据有无异常向tc发起针对xid的事务提交或是回滚使用：1.创
2021-08-04 17:44:58
292
转载 mysql索引篇之覆盖索引、联合索引、索引下推
覆盖索引在之前《mysql索引初识》这篇文章中提到过，mysql的innodb引擎通过搜索树方式实现索引，索引类型分为主键索引和二级索引（非主键索引），主键索引树中，叶子结点保存着主键即对应行的全部数据；而二级索引树中，叶子结点保存着索引值和主键值，当使用二级索引进行查询时，需要进行回表操作。假如我们现在有如下表结构CREATE TABLE user_table (id int(11) unsigned NOT NULL AUTO_INCREMENT,username varchar(255) NO
2020-09-04 11:54:09
242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人