小祥-CSDN博客

转载单数据库大表分表设计

背景我们业务系统GPS数据量非常庞大，一天1万辆设备大概存在3600万数据，这种规模的数据自身查询用mysql是存在问题的，所以我们采用的是clickhouse存储，但是CK对于批量修改了删除支持都不好，而且CK不支持事务，我们的场景是保存之后还需要做一些数据丰富，所以考虑把CK存储的数据拿回来放在mysql中，因为我们是一主一从模式（还没有多主同步），所以就存在单节点要保留所有的数据，这就是本文主题（单个数据库大表进行分拆表设计），分拆表可以扩展到多节点多主模式哈，大家注意：）可能有人...

2022-02-09 17:56:09 917

原创一道算法题，N个线程，顺序打印M个数字（踩坑点） – billy wan‘s blogs

题目：N个线程，顺序打印M个数字例如：4个线程，14个数字。效果：Thread-0-0Thread-1-1Thread-2-2Thread-3-3Thread-0-4Thread-1-5Thread-2-6Thread-3-7Thread-0-8Thread-1-9Thread-2-10Thread-3-11Thread-0-12Thread-1-13代码段：import java.util.*;import...

2022-01-24 09:11:38 481

原创一文清晰阐述百万并发需要如何分析和设计

现在网上有很多说如何支持百万并发，打开一看都没讲啥，等于0，这怎么能忍？不让我学习是不可能的。那么支持百万并发(同时在线)要如何分析和设计它，今天祥子哥哥就带大家来剖析一下要如何设计？首先要阐述几个概念和问题:linux系统打开文件描述符是有限的。文件描述符简写为FD(File Descrption)，linux的有个核心思想是一切内容都用FD来描述，所以对应一个网络连接，实际上linux服务器打开的就是一个fd。linux里面FD是分三层的，系统层面，用户层面，进程层面。这三层F...

2022-01-17 12:13:48 4024

原创数据存储服务实现-1

开头先给大家链接下我们可以查看目录来浏览分布式对象存储的系列文章。接下来再来回到我们的主题：）数据存储服务是用来存储对象数据的服务，它是数据最终落盘的服务。我们分布式对象存储系统主要对外暴露的是HTTP服务。通过HTTP服务传递过来的对象数据（图片、视频、文本等）都是存储在当地服务节点的本地磁盘上的，当然我们服务节点的磁盘可以是NAS盘等，还可以对磁盘做RAID1，RAID5,RAID10等。这不是此篇文章的重点，感兴趣的朋友可以在网上搜索相关的资料进行学习。本系统主要是采用golan...

2021-11-28 16:53:37 620

原创从0构建分布式对象存储系统-目录

该系列教程有如下章节内容：1.什么是对象存储 What is object storage2.什么是分布式系统 What is a distributed system3.系统架构剖析 Describe System architecture4.数据存储服务 How to achieve Data storage service5.元数据服务 How to achieve Metadata service6.API服务 How to achieve AP...

2021-11-24 14:54:42 453