yilan1993的专栏

原创 海盗分金币问题-超过半数和包括半数

话说一天有5个海盗抢了一艘who的游轮，抢到了100枚金币，但这5个人没有老大，不知道怎么分这100枚金币。不过5个人都绝顶聪明，他们决定：1，抽签，决定12345五个号码，2，由1号提分配方案，大家一起举手表决，超过半数同意则通过；否则被扔进大海里喂鲨鱼；3，1号死了由2号提分配方案，四个人表决有超过半数人同意，则通过，否则仍旧被扔进大海里喂鲨鱼；4，以此类推-----假定：每个海盗都是一样

原创 好文章好工具合集

本文章主要索引一些比较不错的技术文章便于查找。例如一些linux性能监控方面的，或是kafka原理讲解等。kafka面试题是否要深入了解其背后的原理？Kafka系列9：面试题是否有必要深入了解其背后的原理？我觉得应该刨根究底（上）作用：熟悉kafka的原理，也可以作为面试题来考察应聘者linux一款霸榜 GitHub 的开源 L...

原创 IOTDB-源码解析-查询

单机查询流程QueryPlan类：QueryPlan是有关查询相关的类，所有的plan都继承了PhysicalPlan这个虚类，QueryPlan也是一个虚类。其UML类图如下所示：IotDB中的各种reader此章节请酌情参考查询基础组件IoTDB中有太多的reader，容易让人迷乱，此处给其分类然后逐个攻破。从类别上来看，I...

原创 [转载]大话 Select、Poll、Epoll

大话 Select、Poll、Epoll点评：很详细并且有深度的的讲解了这三者之间的关系

原创 InfluxDB cluster 高可用方案

本文基于InfluxDB之前开源的cluster版本(v0.11)来分析一下其cluster方案，主要分析如下问题：InfluxDB cluster方案提供了哪些模块？InfluxDB cluster方案中meta node元数据都有哪些？InfluxDB cluster方案提供的与集群交互的client客户端是什么方式？d...

原创 InfluxDB-倒排索引之Index文件

本文主要讲解InfluxDB中的倒排索引，InfluxDB和传统的LSM-tree(hbase使用的模型)不一样的地方是其内部中多了一个倒排索引，这也是让InfluxDB查询较快的秘诀。在1.7的代码版本中，InfluxDB提供了两种类型的倒排索引，内存和磁盘的，之前只有内存版本的，但是随着数据的增多，内存倒排索引可能导致OOM，所...

原创 InfluxDB-TSM File解析

本文主要讲解influxdb数据的组织形式，分为内存中的形式和磁盘中的形式。代码路径influxdb/tsdb/engine/，内存Cache结构在influxdb/tsdb/engine/tsm1/cache下面，内存中组织形式结构说明123456789101112131415161718192021222324252627282...

原创 InfluxDB-基本概念和meta介绍

本篇文章主要介绍InfluxDB的基本概念以及Meta信息的组成，代码基于1.7版本。基本概念首先看一下InfluxDB的一些基本概念。InfluxDB主要有以上图中的几个概念：Point，Measurement，Tags，Fields，Timestamp，Series，下面依次简单介绍下每个概念的含义。Database：In...

原创 redis常见技巧

redis 命令行相关当搭建好一个redis 或是twemproxy之后，可以直接采用如下命令来操作redis集群12# 连接上redis serverredis-cli -p port剩下的就是操作redis的命令了命令参考 https://redis.io/commandsError: Protocol error, got ...

原创 raft 相关资料

raft 介绍raft 论文中文版https://github.com/maemual/raft-zh_cn/blob/master/raft-zh_cn.mdraft 算法演示http://thesecretlivesofdata.com/raft/tikv raft相关资料https://pingcap.com/blog-cn...

原创 Golang-go slice解析

golang slice到底是值传递还是引用传递？答案：值传递下面通过几个例子分析一下：1234567891011121314151617181920212223slice := []int{1, 2, 3}newSlice := slice[0:2] //这个地方是关键fmt.Printf("before the origin s...

原创 正则表达式常用知识

常用正则表达式配置中括号里面的内容1\[(.*?)\]

原创 Golang-go语言常用知识

main函数接收参数1234567891011121314import ( "flag")func main() { showHelp := flag.Bool("h", false, "show help") name := flag.String("n", "everyone", "The greeting object") fl...

原创 python常用工具大全

文件操作读文件按行读取文件1234f = open(file_name, 'r')for line in f: // do something with linef.close()读取文件最后一行12f = open(file_name, 'r')last_line = f.readlines()[-1]list 操作把l...

原创 linux shell常用脚本命令

sed用法打印第n行到最后一行的内容sed -n ‘1673523, $p’ bs.gi.log > /home/work/qhl/bs.gi.log打印匹配abc的行到最后一行的内容。sed -n ‘/abc/,$p’ file.txt注意是单引号匹配特定字符串1echo $line | sed 's/pattern...

原创 邮轮邮注意事项

邮轮游一些注意事项：注意事项轮船上没有信号，需要办理wifi，约140$登船过程可能会比较费时（3小时）船上有自助餐厅免费，但是人多需要排队，可以去收费餐厅，不排队。提前办理好各个国家的签证。旅行社也可以办理需要交钱。日期：受限于邮轮出行的时间。东南亚国家：新加坡、马来西亚、泰国5晚7天花费：1.船费：大约花费8000...

原创 多维度资源分配问题-如何提高集群的资源利用率？

多维度资源分配问题，在系统调度中是经常遇到的一个问题，比如，集群中有cpu，mem，ssd等资源，每个作业需要的每个维度的资源不一样，如何分配集群中的资源给哪些job才能够使得集群的资源利用率最大呢？这就是比较典型的资源分配问题。对于一些需要一定执行时间的job，这个问题的优化目标还会牵扯到最小化总的执行之间以及让各个job等待处理的...

原创 数据结构与算法-24 | 二叉树基础（下）：有了如此高效的散列表，为什么还需要二叉树?...

我们在散列表那节中讲过，散列表的插入、删除、查找操作的时间复杂度可以做到常量级的O(1)，非常高效。而二叉查找树在比较平衡的情况下，插入、删除、查找操作时间复杂度才是O(logn)，相对散列表，好像并没有什么优势，那我们为什么还要用二叉查找树呢？第一，散列表中的数据是无序存储的，如果要输出有序的数据，需要先进行排序。而对于二叉查找...

原创 区块链-一些基本概念

Hashcollision resistance（collision free）: 是说在密码学中，对于一个hash函数，很难找到两个不同的输入使得其hash之后的输出是一样的。Collision resistance is a property of cryptographic hash functions: a hash func...

原创 jupyter安装一些坑

mac 上的jupyter安装上之后，启动jupyter失败。报如下错误nicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe5 in position 4: ordinal not in range(128)是因为语言编码的问题。于是尝试使用如下命令打开jupyter:1LANG...

原创 第一性原理到底是什么？

【转载】第一性原理到底是什么？自从“钢铁侠”伊隆·马斯克在一次采访中，吹牛逼吹出个大家听都没听过的哲学名词——第一性原理（厉害哦，老铁，哲学你都懂），后来，很多媒体和看瓜群众不断地讨论“第一性原理”，出现了各种各样的解读版本。我想，既然你看了这么多版本，也不在乎多看一个胡说八道的版本吧。 ...

原创 数据结构与算法-04-复杂度分析（下）：浅析最好、最坏、平均、均摊时间复杂度...

本小节主要讲解了分析时间复杂度的几个点：最好情况的时间复杂度(best case time complexity)，最坏情况的时间复杂度(worst case time complexity)，平均情况的时间复杂度(average case time complexity)，均摊时间复杂度(amortized time complex...

原创 Column-Stores vs. Row-Stores: How Different Are They Really

概述从论文的标题可以看出这篇论文不是陈述一种新的技术、架构，而更偏议论文一点，它主要的目的在于搞清楚对于分析类的查询为什么Column-Store比Row-Store好那么多？好在哪里？一般认为原因是:分析类查询往往只查询一个表里面很少的几个字段，Column-Store只需要从磁盘读取用户查询的Column，而Row-Store读...

原创 Linux/UNIX 系统中的find命令

The Linux find command comes in handy when looking for files directly from the command line. The find command is given search criteria such as permissions, ownership, m...

原创 Java中的定时任务-ScheduledExecutorService的坑

在做码农的日子里面，如果不跟线程打交道，那真的连入门都算不上了，如果你还仅仅是简单的new Thread，那么你就是跟我一样的小白了；怎么也得弄点高大上的线程池吧，用线程池肯定就少不了java concurrent包中的ExecutorService了；这里面的学问还是挺大的。以后有机会慢慢品读；在你的任务中，肯定也有定时任务的吧，如...

原创 Golang-goland导入k8s源码

前言最近在调研 Google kubernetes 开源的容器编排平台，刚好也在学习 Go 语言，所以想看看 Google 这样的大厂是怎么撸 Go 语言的，本文简单介绍如何下载 k8s 源代码，导入 Idea GoLand（对，我是搞 Java的～），对于这么庞大的项目，没有 IDE 看起来还是很费劲的，当然牛人除外。下载源代码...

原创 Kubernetes Controllers 窥探

原创 存储计算分离

一句话：学术界往往要比工业界提前，就像google永远比其他公司提前一样。在本人的硕士毕设中，标题是“面向存储计算分离的云化大规模数据库缓存系统”，故整理如下内容。其实早在2009年，就有人提出针对Hadoop提出了SuperDataNode的概念，提出了计算分离的想法。具体请参考论文。往往学术界要比工业界提前好几年，等到真正技术...

原创 Alluxio技术内幕:高性能的异步读缓存

概览Alluxio服务通过连接底层持久化存储并按需将数据缓存至内存中，为不同的应用作业提供了一个可以高速并发访问的数据层。在Alluxio中，每一个文件根据其大小在逻辑上被划分成不同的“块”（默认512MB）。块在Alluxio中是缓存的最小单位。当Alluxio客户端用从Alluxio服务中读取文件时，如果被请求的数据块并未缓存在A...

原创 预取技术-prefetching

原创 并行编程有那么难吗？-计数(Counting)

计数可以说是比较常见也是并发的书本中最开始讲述的例子，本章将会讲述简单的计数需要面临的问题。简单的计数操作非原子计数操作123456789101112131415161718192021222324252627282930313233#include <iostream>#include <pthread.h&gt...

原创 hash join算法总结

先给出一些hash join比较不错的连接。hash join wiki;常见的join算法hive Hybrid Hybrid Grace Hash Join一个总结的ppt。 ;

原创 Linux C ftruncate函数清空文件注意事项_要使用lseek重置偏移量

ftruncate是改变文件长度的一个函数，一般在操作文件的时候用到，例如我之前写的log的时候，由于log是append only的，所以log的record会越老越多，但是某个时间点的时候，需要把文件中的log都读出来，并且汇总成一条log，也就是log的compat，这个时候，当把所有的log读出来的时候，就需要把以前的log全...

原创 Top 5 Reasons for Choosing S3 over HDFS

这篇文章是databricks的一篇博客，主要讲解了为什么在存储计算分离之后，选用S3而不选用HDFS的原因。简单说就是Cost, elasticity, availability, durability, performance, and data integrity。后面是原文地址Top 5 Reasons for Choosin...

原创 希腊神话故事

本文主要讲解希腊神话故事的一些名词以及解释。人名哈迪斯(Hades):希腊冥界老大珀尔赛福涅(Persephone):被Hades拐走当妻子的少女得墨忒耳(Demeter):掌农业，结婚，丰饶之女神;Persephone的妈妈。克洛诺斯（Kronos）:统治希腊天神的首领，哈迪斯的爸爸，代表这泰坦（Titans）族诸神的势力...

原创 B tree 与B+Tree的区别以及原理和应用场景

B-tree的由来？为什么非得是树呢，而不是直接是数组。Memory locality & the magic of B-Trees!:说了很清楚，就是因为在申请内存的时候，不知道要申请多大的内存，所以没办法申请很大的一块内存，所以就变成了一个数组被打断为好几段，然后每段用链表连接起来，这其实就是树的基本模型。B-tree和...

原创 进程间通信方式-java实现

UNIX 为实现这样的进程间通信 提供了多种技术。一些技术提供同一主机上的进程间通信，其他技术可以实现主机到主机的信息交换。另外，各种技术的速度不同，所以必须选择最合适自己需求的技术。还必须进行协调（实施时间控制和排他控制）。例如，如果一个应用程序产生数据，另一个应用程序消费数据，那么当读完共享池时消费者必须停下来等待生产者。另一方面...

原创 tcp以及udp的区别[转载]

基本概念：面向报文面向报文的传输方式是应用层交给UDP多长的报文，UDP就照样发送，即一次发送一个报文。因此，应用程序必须选择合适大小的报文。若报文太长，则IP层需要分片，降低效率。若太短，会是IP太小。UDP对应用层交下来的报文，既不合并，也不拆分，而是保留这些报文的边界。这也就是说，应用层交给UDP多长的报文，UDP就照样发...

原创 面试准备基础知识

计算机网络TCP/IP卷一（一定要看，优先看17-24章tcp那块的内容，看完之后，对TCP的理解会提高很多）TCP和UDP区别,分别适用于哪些场景三次握手和四次握手，是否可以两次握手，为何要四次握手？TIME_WAIT状态Get和post区别PAWS，几种定时器，close_wait状态。 必须能记住几张图，并且知道大多数...

原创 看过这两张图，就明白 Buffer 和 Cache 之间区别[转载]

看过这两张图，就明白 Buffer 和 Cache 之间区别