- 博客(159)
- 资源 (3)
- 收藏
- 关注
RSS订阅
翻译 PolarFS ：一个用于共享存储云数据库的超低延迟和容错分布式文件系统
PolarFS 是一个具有超低延迟和高可用性的分布式文件系统，专为POLARDB 数据库服务而设计，目前已在阿里云上提供。PolarFS 在用户空间中利用了轻量级网络堆栈和I/O 堆栈，充分利用了RDMA、NVMe和SPDK等新兴技术。通过这种方式，PolarFS 的端到端延迟大大降低，实验表明PolarFS 的写入延迟与SSD 上本地文件系统的写入延迟非常接近。
2020-10-06 22:20:42
4257
1
翻译 阿里云原生数据库系统：机遇与挑战
目录1、简介2、阿里巴巴数据库系统架构3、阿里巴巴数据库系统的其他关键功能4、阿里云本机数据库5、应用和操作6、结论Cloud-Native Database Systems at Alibaba: Opportunitiesand Challenges阿里云原生数据库系统：机遇与挑战摘要由于各种应用程序对弹性和按需（elasticityand on-demand）使用的需求，云原生数据库在云计算时代变得越来越重要。这些来自云应用程序的挑战为云原生数据库带来...
2020-09-28 22:17:45
2189
2
翻译 ChubaoFS：一个面向大规模容器平台的分布式文件系统
CFS 是面向大规模容器平台的分布式文件系统。CFS 支持顺序和随机文件访问，对大文件和小文件都进行了优化存储，并针对不同的写入场景采用不同的复制协议，以提高复制性能。它采用元数据子系统，根据内存使用情况在不同的存储节点上存储和分发文件的元数据。
2020-09-26 20:28:55
2684
2
原创 C++ map 使用详解(含C++20新特性)
简介map是一个关联容器，它提供一对一（其中第一个称为关键字，每个关键字只能在map中出现一次，第二个称为该关键字的值）的数据处理能力，由于这个特性，它完成有可能在我们处理一对一数据的时候，在编程上提供快速通道。map内部自建一颗红黑树（一种非严格意义上的平衡二叉树），这颗树具有对数据自动排序的功能，所以在map内部所有的数据都是有序的。访问元素at()用于访问指定元素...
2020-05-03 22:23:40
8690
原创 C++ vector 使用详解
目录介绍两个关键词元素访问迭代器空间修改操作简介C++的vector本质上是一个动态数组，它的元素是连续存储的，这意味着不仅可以通过迭代器访问元素，还可以使用指向元素的常规指针来对其进行访问。还可以将指向vector元素的指针传递给任何需要指向数组元素的指针的函数。vector的存储是自动处理的，可以根据需要进行扩展和收缩。vector通常比静态数组占用更多的空间，...
2020-05-02 23:20:48
36818
2
原创 Raft算法的Leader选举和日志复制过程
Raft概念Raft是一种为了管理复制日志的一致性算法。它提供了和Paxos算法相同的功能和性能，但是它的算法结构和Paxos不同，使得Raft算法更加容易理解并且更容易构建实际的系统。为了提升可理解性，Raft将一致性算法分解成了几个关键模块，例如Leader选举、日志复制和安全性。同时它通过实施一个更强的一致性来减少需要考虑的状态的数量。从一个用户研究的结果可以证明，对于学生而言，Ra...
2020-04-16 01:39:10
10489
1
原创 I/O多路复用：select、poll和epoll详解
I/O多路复用I/O复用使得程序能同时监听多个文件描述符，这对提高程序的性能至关重要。通常，网络程序在下列情况下需要使用I/O复用技术：客户端程序要同事处理多个socket。比如将讨论的非阻塞connect技术。客户端程序要同时处理用户输入和网络连接。TCP服务器要同时处理监听socket和连接socket。这是I/O复用使用最多的场合。I/O复用虽然能同时监听多个文件描述...
2020-04-10 22:47:29
9754
1
原创 OceanBase——双十一海量交易背后的复杂技术
前言：其实这篇博客我早就想完成它了，计划着在十一月初就搞定的，可是双十一活动太多，前几天一直在淘宝和天猫看要买的东西。这篇博客也是断断续续的写着，到今天才算是把它整理出来了。这篇博文主要介绍了OceanBase的系统框架，以及框架内各个成员的功能。主要是学习它的框架，以及分析问题、解决问题的方法。以下内容需要掌握基本的分布式系统相关知识，最好是阅读过分布式文件系统或者分布式数据库等相关书籍。以...
2019-11-15 18:40:54
7947
原创 TCP 可靠传输机制详解
TCP协议的特点TCP报文段TCP"三次握手"TCP"四次挥手"客户端和服务器端所经历的状态TCP可靠传输TCP流量控制TCP拥塞控制面试相关问题前言本篇博文主要是为了复习TCP协议而做的总结。其中很多内容都是来自于《计算机网络》，《Linux网络编程》，《TCP/IP详解》等书籍。首先可以从TCP协议思维导图看到本文的大致内容。虽然有很多内容，但"三次握手...
2019-08-31 20:23:44
16499
1
原创 0-1 背包问题的 4 种解决方法&&算法策略
蛮力法递归与分治策略动态规划贪心算法回溯法分支限界法前言0-1背包是一个经典的问题，而它能用不同的算法思想去解决。恰巧最近在看算法，学习算法就是学习解决问题的思路。现在将0-1背包问题与解决方法整理出来，这样不仅能区分不同的算法思想，还能加深对0-1背包问题的理解。虽然有的算法思想并不能解决这一问题，但是为了对算法策略有一个较为整体的了解，所以在这里做一下简单的介绍。...
2018-11-01 15:39:54
60496
8
原创 使用wireshark抓包并进行网络协议分析
前言今天想通过抓包实验，巩固一下所学习的网络协议。同时，在知识点上会加上以前遇到的一些问题。这次实验并不是对所有的网络协议都进行分析，而是从下面这个问题出发(面试常被问)。从这一过程中复习学过的网络协议。使用的工具是wireshark。问题：在浏览器中输入URL后，执行的过程。会用到哪些协议？例如：查询www.163.com的IP地址过程如下：(1)域名解析(DNS) ...
2018-10-18 15:37:35
38601
3
原创 快速排序的4种优化
快排思想快排基准的选择 固定基准 随机基准 三数取中快速排序的优化优化1：序列长度达到一定大小时，使用插入排序优化2：尾递归优化优化3：聚集元素优化4：多线程处理快排快排思想快排算法是基于分治策略的排序算法，其基本思想是，对于输入的数组a[low, high]，按以下三个步骤进行排序。(1)分解：以a[...
2018-09-15 22:14:28
47836
24
原创 C++学习笔记：(四)运算符重载 & 类型转换
目录6.运算符重载6.1运算符重载的基本概念6.2成员函数重载运算符6.3友元函数重载运算符6.4成员函数重载运算符和友元函数重载运算符比较6.5类型转换6.运算符重载面向对象程序设计的重载有函数重载和运算符重载。函数重载是指在相同作用域内，若干个参数特征不同的函数使用相同的函数名，也称为函数名重载；运算符重载是另一种调用函数的方法，是指同样的运算符可以施加于不同类...
2018-08-08 15:32:43
9776
2
原创 操作系统中的同步和异步
操作系统中同步、异步性概念首先我们从操作系统的发展中学习什么是异步性。在操作系统发展的初期阶段，CPU处理的是作业，而且是单道批处理。什么意思呢？就是一个作业从提交到结束，程序员都不能干预，此时整台计算机就为这一个作业服务(可想有多少资源被"浪费")，这样有一点好处就是整个程序是"封闭的"。这样的操作表明人和机器是没有交互的。那我们怎么实现人机交互呢？这个答案是中断。中断的引入，使得工作人员能...
2018-07-12 11:23:38
25650
7
原创 TED 演讲原文分享——改变
There is nothing that cannot be accomplished with enough effort.
2022-12-11 21:37:10
1577
1
翻译 TiDB：基于 Raft 的 HTAP 数据库
基于Raft的HTAP数据库：TiDB。在数据库中设计了一个由行存储和列存储组成的Multi-Raft存储系统。行存储是基于Raft算法构建的。它是可伸缩的，可以从具有高可用性的事务请求实现更新。特别是，它异步复制Raft日志到learners，learners将元组的行格式转换为列格式，形成一个实时可更新的列存储。这个列存储允许分析查询高效地读取一致的新数据，与行存储上的事务有很强的隔离。
2022-11-13 23:01:13
1344
转载 列式存储综述
列式存储的优势一方面体现在存储上能节约空间、减少 IO，另一方面依靠列式数据结构做了计算上的优化。本文中着重介绍列式存储的数据组织方式，包括数据的布局、编码、压缩等。
2022-10-30 22:41:11
2956
原创 Go 语言学习笔记(四)：接口
在计算机科学中，接口是计算机系统中多个组件共享的边界，不同的组件能够在边界上交换信息。如下图所示，接口的本质是引入一个新的中间层，调用方可以通过接口与具体实现分离，解除上下游的耦合，上层的模块不再需要依赖下层的具体模块，只需要依赖一个约定好的接口。
2022-10-24 23:35:07
610
原创 Fasterkv Epoch 保护框架
在Faster 中使用 epoch 框架来协调系统操作，主要使用到该保护框架的地方有：内存安全的垃圾回收、循环缓冲区维护和页面刷新、共享日志页面边界维护和检查点。
2022-08-21 20:50:46
965
原创 C++ 20 新特性简介
本篇介绍的内容源自于 C++ 之父 Bjarne Stroustrup 的论文——HOPL4 。HOPL 是 History of Programming Languages（编程语言历史）的缩写，是 ACM（Association of Computing Machines，国际计算机协会）旗下的一个会议，Bjarne 的这篇论文是他为 2021 年 HOPL IV 会议准备的。这篇 HOPL4 论文尤其重要，因为它涵盖了 C++98 之后的所有 C++ 版本，从 C++11 直到 C++20。论文中有许
2022-08-21 11:26:09
5070
原创 CAS 学习笔记
CAS（Compare and Swap）比较并交换，顾名思义：比较两个值，如果它们两者相等就把它们交换。// 原子地比较原子对象与非原子参数的值，若相等则进行交换，否则进行加载bool compare_exchange_strong(T& expected, T val, memory_order sync = memory_order_seq_cst) volatile noexcept;当前原子变量与 expected 相比较，如果两者逐位相等，则用 val 更新当前
2022-08-20 21:56:49
910
翻译 Faster：一个高效就地更新的并发键值存储
本文介绍Faster，一种为点读，盲更新和read-modify-write 操作设计的键值存储。Faster 将高度缓存优化的并发哈希索引与混合日志（Hybridlog）相结合：一种跨越内存和磁盘的并发日志结构的记录存储（a concurrent log-structured recordstore that spans main memory and storage），同时支持内存中热点数据的就地更新。实验表明，与目前广泛部署的系统相比，Faster提高了数个数量级的吞吐量（单台机器上每秒高达...
2022-08-20 21:27:23
1156
翻译 Paxos Made Simple 中文翻译
业界一般将 Lamport 论文里最初提出的分布式算法称之为 Basic Paxos，这是 Paxos 最基础的算法思想。
2021-05-18 20:41:02
699
翻译 Amazon Aurora：高吞吐量云原生关系数据库的设计考虑
亚马逊的Aurora 是一种关系数据库服务，用于作为亚马逊网络服务（AWS）的一部分提供的OLTP工作负载。在本文中，我们描述了Aurora 的架构和导致该架构的设计考虑。我们认为，高吞吐量数据处理的核心限制已经从计算和存储转移到网络。Aurora 为关系数据库带来了一种新的体系结构来解决这一限制，最显著的是通过将重做处理（redo processing）推送到为Aurora 专门构建的多租户横向扩展（multi-tenant scale-out）存储服务。我们描述了这样做不仅可以减少网络流量，还
2020-12-30 22:42:20
3207
翻译 Dynamo：亚马逊的高可用键值存储
本文介绍了Dynamo 的设计和实现，Dynamo 是一个高度可用的键值存储系统，亚马逊的一些核心服务使用它来提供"永远在线"的体验。为了达到这种可用性水平，Dynamo 在某些故障情况下牺牲了一致性。它广泛使用对象版本控制和应用程序辅助的冲突解决方式，为开发人员提供了一个新颖的接口。
2020-12-24 22:11:50
1713
翻译 Megastore：为交互式服务提供可扩展的高可用性存储
Megastore 是为满足当今交互式在线服务的要求而开发的存储系统。Megastore 以一种新颖的方式将NoSQL数据存储的可扩展性与传统关系数据库管理系统的便利性相结合，并提供了强大的一致性保证和高可用性。我们在数据的细粒度分区（fine-grained partitions of data）中提供完全可序列化的ACID语义。这种分区允许我们以合理的延迟在广域网上同步复制每个写操作，并支持数据中心之间的无缝故障转移。本文描述了Megastore 的语义和复制算法。它还描述了我们支持使用Mega
2020-12-22 19:55:46
3560
翻译 Haystack：Facebook 的照片存储系统
本文描述了Haystack，一个为Facebook 的照片应用程序提供优化的对象存储系统。Facebook 目前存储了超过2600亿张图像，相当于超过20PB的数据。用户每周上传10亿张新照片（60TB），峰值时Facebook 每秒提供超过100万张图像。与我们以前的方法相比，Haystack 提供了一种成本更低、性能更高的解决方案，该方法利用了NFS的NAS 设备。我们观察到，由于元数据查找，这种传统设计会导致过多的磁盘操作。我们仔细减少了每张照片的元数据，这样Haysta
2020-12-18 23:11:50
1302
2
原创 Go 语言学习笔记(三)：类型系统
类型系统对于一门语言来说至关重要，特别是静态编程语言，类型系统能够在编译阶段发现大部分程序错误。类型是高级语言实现抽象编程的基础，学好类型系统对于掌握一门语言来说至关重要。Go 语言的类型系统可以分为命名类型、非命名类型、底层类型、动态类型和静态类型等。
2020-11-24 16:44:29
2252
原创 Go 语言学习笔记(二)：函数
函数是程序执行的一个基本语法结构，Go 语言的很多特性是基于函数这个基础实现的，比如命名类型的方法本质上是一个函数，类型方法是 Go 面向对象的实现基础；接口的底层同样是通过指针和函数将接口和接口实例连接起来的。甚至 Go 并发语法糖 go 后面跟的也是函数。
2020-10-27 11:47:55
2336
Google-GFS,Bigtable,Mapreduce三大论文英文原版+中文翻译
2019-05-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人