Ransom0512-CSDN博客

原创数据库日志整理

数据库日志整理Database : log, redolog, undolog, commandlog幂等性数据库日志文件中的操作记录应该具有幂等性，同一个操作执行多次，结果是一样的。因为日志在故障恢复过程中，可能会被回放多次。重做日志/事务日志(Redo日志)作用它记录了InnoDB存储引擎的事务日志，用于数据库故障的恢复，以保证数据的完整性。在事务C...

2018-07-20 08:51:33 4956

原创数据库事务总结

数据库事务总结数据库事务Tags: Database Transaction锁机制悲观锁假设更新冲突会发生，所以不管冲突是否真的发生，都使用锁，这样会带来很大的性能损失悲观锁是很常见的数据库锁方式，尤其是传统数据库，很多带事务的NewSQL数据库也都是使用的悲观锁。表锁对数据库整张表进行加锁，在加锁期间，整张表都是不允许使用的。行锁针...

2018-06-14 09:19:23 997

翻译 Kafka事务简介

说明：本文翻译Confluent官网，原文地址：https://www.confluent.io/blog/transactions-apache-kafka/ 在之前的博客文章（见尾部链接）中，我们介绍了ApacheKafka的exactly once语义，介绍了各种消息传输语义，producer的幂等特性，事和Kafka Stream的exactly once处理语义。现在我们将从

2017-12-19 10:42:13 19345 3

原创 PipeLineDB总结

1、基于Postgre数据库，可以使用数据库库的函数，表达式，存储过程等功能，自身功能就已经足够强大了。而且还支持proxy等分表分库插件。2、所有的流必须以Stream开始，先创建stream然后才可以使用view或者transform来查询。stream中的数据必须通过insert插入。3、view和transform的区别在于，view的计算结果会保存在pg数据库中，transfo

2017-11-30 10:41:16 5267 3

原创关于时序数据库

看了一些时序数据库，没有太深入，有一些大概认识，记录下来。 1. 核心数据存储分为行存储或者列存储，由于列存储的高压缩比，现在使用列存储的比较多一些。当前有很多时序数据库采用了在底层KV存储(Cadssandra, HBase, LevelDB, RocksDB)基础上做时序封装，这样能够更快出原型，而且底层还很容易替换。时间序列数据可以分成两部分，序列和数据点。序列就

2017-09-27 16:19:25 7721

原创流处理基本介绍

1. 什么是流处理一种被设计来处理无穷数据集的数据处理系统引擎2. 流处理的几个概念1. 无穷数据（Unbounded data）：一种持续生成，本质上是无穷尽的数据集。它经常会被称为“流数据”。然而，用流和批次来定义数据集的时候就有问题了，因为如前所述，这就意味着用处理数据的引擎的类型来定义数据的类型。现实中，这两类数据的本质区别在于是否有限，因此用能体现出这个区别的词汇

2017-01-23 10:14:56 25105

原创 Calcite中的流式SQL

Calcite中的流式SQLCalcite中的流式SQL总体设计思路总体语法应该兼容SQL，这个是和目前流处理SQL的发展趋势是一致的。如果部分功能标准SQL中没有包含，则尽量采用业界标杆（Oracle）。比如模式匹配的功能，目前流处理中还没有针对语法达成共识，那么在设计上，就采用Oracle data warehouse的Match Recognize的方式。还有滑窗功能。如果还有功能目前

2017-01-17 14:44:22 3149

翻译 KafkaStreams介绍(四) –架构

说明：本文是Confluent Platform 3.0版本中对于Kafka Streams的翻译。原文地址：https://docs.confluent.io/3.0.0/streams/index.html看了很多其他人翻译的文档，还是第一次翻译，有什么翻译的不好的地方还请指出。这是Kafka Streams介绍的第四篇，以前的介绍如下：http://blog.csd

2016-08-03 17:12:56 10018

翻译 KafkaStreams介绍(三) –概念

说明：本文是Confluent Platform 3.0版本中对于Kafka Streams的翻译。原文地址：https://docs.confluent.io/3.0.0/streams/index.html看了很多其他人翻译的文档，还是第一次翻译，有什么翻译的不好的地方还请指出。这是Kafka Streams介绍的第三篇，以前的介绍如下：http://blog.csd

2016-07-26 18:53:00 12166 1

翻译 KafkaStreams介绍(二)

说明：本文是Confluent Platform 3.0版本中对于Kafka Streams的翻译。原文地址：https://docs.confluent.io/3.0.0/streams/index.html看了很多其他人翻译的文档，还是第一次翻译，有什么翻译的不好的地方还请指出。这是Kafka Streams介绍的第二篇，以前的介绍如下：http://blog.csd

2016-07-21 19:41:14 7097

翻译 Kafka Stream介绍(—)

Kafka Stream介绍(—)介绍Kafka Stream – 举重若轻的强大Kafka stream。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。它建立在流处理的一系列重要功能基础之上，比如正确区分事件事件和处理时间，处理迟到数据以及高效的应用程序状态管理。下面的列表强调了Kafka Stream的

2016-07-20 18:52:35 13652

原创 Twitter Heron阅读笔记

Twitter Heron阅读笔记说明：本文是《Twitter Heron: Stream Processing at Scale》的阅读记录整理，再结合网上其他资料整理而成，文中图片主要来自Heron论文和InfoQ上的宣传资料。Storm的问题所在Worker级别Storm在worker设计上的问题应该是最多的。所有task都一视同仁，无法对单个Task进行资源设置，会造成比较严重的

2016-07-18 12:08:21 2683 2

原创 Storm-Kafka源代码解析

Storm-Kafka源代码解析说明：本文所有代码基于Storm 0.10版本，本文描述内容只涉及KafkaSpout和KafkaBolt相关，不包含trident特性。Kafka SpoutKafkaSpout的构造函数如下：public KafkaSpout(SpoutConfig spoutConf) { _spoutConfig = spoutConf;}其构造参数来自于Spou

2016-01-11 15:21:18 7652 2

转载 StreamCQL源码阅读(4) 应用程序执行

本文转载自http://zqhxuyuan.github.io/如需转帖，请征得原作者同意StreamCQL应用程序执行流程前戏: CQL代码结构之前我们并没有梳理CQL部分的代码结构, 在分析了差不多的代码之后, 来看看每个部分都一一对应:还没有涉及的包括: PhysicalPlan,物理计划/逻辑计划优化器,executors执行器.

2016-01-07 09:04:44 783

转载 StreamCQL源码阅读(3) 拆分组合算子

本文转载自http://zqhxuyuan.github.io/如需转帖，请征得原作者同意StreamCQL的算子组成了Application前戏: buildApplication上篇在解析Schema的时候分析了CQL中一些常用的Statement syntax和对应的语法/语义解析器结果,现在继续ApplicationBuilder.build

2016-01-07 09:03:39 1195

转载 StreamCQL源码阅读(2) 语法和语义解析

本文转载自http://zqhxuyuan.github.io/如需转帖，请征得原作者同意StreamCQL的Schema以及语法和语义解析前戏: SemanticAnalyzer客户端提交的CQL语句经过Application.parse返回StatementContext(语法解析结果),再进入语义解析.如果是SubmitTask会触发之前的

2016-01-07 09:02:29 1308

转载 StreamCQL源码阅读(1) 提交任务

本文转载自http://zqhxuyuan.github.io/如需转帖，请征得原作者同意大数据上的流式SQL引擎—StreamCQL: http://www.csdn.net/article/2015-11-13/2826204http://www.csdn.net/article/2015-12-22/2826541IntroduceCQL（Co

2016-01-07 09:01:07 2013

原创 StreamCQL 1.1版本RoadMap

StreamCQL RoadMap特性列表分组窗支持，支持在窗口中，按照指定字段进行分组。功能包含分组长度滑动窗，分组长度跳动窗，分组时间滑动窗，分组时间跳动窗。支持Active, Deactive、rebalance功能，功能作用同Storm，rebanance只支持worker数量设置。支持in、like、case、between表达式添加RDBDatasource

2016-01-06 11:34:31 816

StreamCQL是一个类SQL的声明式语言，它用于在流（streams）和可更新关系（updatable relation）上的可持续查询，目的是在流处理平台分布式计算能力之上，通过使用简易通用的类SQL语言，使得业务逻辑的开发变得统一和简易。在功能上，StreamCQL弥补了传统流处理平台上一些基本业务功能的缺失，除了过滤、转换等基本SQL能力之外, 还引入基于内存窗口的计算、统计、关联等能力，以及流数据的拆分、合并等功能。

2016-01-06 11:32:50 2033

转载大数据上的流式SQL引擎——StreamCQL

StreamCQL是一个类SQL的声明式语言，用于在流和可更新关系上的可持续查询，目的是在流处理平台分布式计算能力之上，开源前已在电信、金融等多个行业成功应用。此次开源便是让更多的开源爱好者用户体验进来

2016-01-06 11:30:55 3317

原创 VoltDB介绍

VoltDB介绍简介VoltDB数据库是一个分布式，可扩展，shared-nothing的内存数据库。使用JAVA 写的存储过程来定义事务。使用标准SQL访问数据，使用并行的单线程处理方式确保数据一致性，同时避免了传统数据库的锁，插销，资源管理开销。 VoltDB具有如下特点：高吞吐量：百万次每秒横向拓展：可以根据需求自由拓展，性能线性增长。高可用性：数据支持副本、也可以持

2015-12-31 11:00:45 9661 4

原创 2015书单

2015书单全年共看书30本，其中技术书籍2本，思维类1本，科普类3本，历史类7本，小说和杂记类共17本。2015 书单：名称来源类型短评 Storm技术内幕与大数据实践京东技术 Storm源码分析京东技术决策与判断京东思维很抱歉，读完没做笔记，我又忘记了，看来这个又可以纳入明年的书单里面去了。文明之光（

2015-12-31 10:13:54 764

原创 Git常用命令归档

代码操作命令--clone远程代码$ git clone https://github.com/HuaweiBigData/StreamCQL--更新本地代码到最新$ git pull--当前状态查看$ git status--日志查看$ git log--添加修改代码到暂存区$ git add fileName$ git add --all--将代码从暂存区移除$ git

2015-10-15 11:36:39 1300

原创 Java时间处理小结

UTC时间和GMT时间GMT格林威治时间，十七世纪，格林威治皇家天文台为了海上霸权的扩张计画而进行天体观测。1675年旧皇家观测所(Old Royal Observatory) 正式成立，到了1884年决定以通过格林威治的子午线作为划分地球东西两半球的经度零度。观测所门口墙上有一个标志24小时的时钟，显示当下的时间，对全球而言，这里所设定的时间是世界时间参考点，全球都以格林威治的时间作为标准来设定时

2015-09-25 08:47:11 1317

ransom的博客