- 博客(64)
- 资源 (11)
- 收藏
- 关注
原创 快速上手 | Datavines两表值比对规则用法
使用两表值比对的规则,通过编写 SQL 语句来统计今天和昨天的数据量,然后比较两个值,如果今天的值大于昨天的值则为真,否则为假。
2023-07-14 23:28:17 466
原创 教程 | Datavines 自定义数据质量检查规则(Metric)
Metric 是 Datavines 中一个核心概念,一个 Metric 表示一个数据质量检查规则,比如空值检查和表行数检查都是一个规则。Metric 采用插件化设计,用户可以根据自己的需求来实现一个 Metric。下面我们来详细讲解一下如何自定义Metric。
2023-06-27 07:02:28 364
原创 一站式数据可观测性平台 Datavines 正式开源啦
Datavines是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用户全面地了解和掌管数据,让您做到心中有数,目前作为Datavane开源组织的重点推荐项目,正式开源,欢迎大家使用。
2023-06-22 16:32:41 1480
原创 SparkSteaming运行流程分析以及CheckPoint操作
本文主要通过源码来了解SparkStreaming程序从任务生成到任务完成整个执行流程以及中间伴随的checkpoint操作注:下面源码只贴出跟分析内容有关的代码,其他省略1 分析流程应用程序入口:val sparkConf = new SparkConf().setAppName("SparkStreaming")val sc = new SparkContext(spar...
2018-02-23 19:34:38 854
原创 HashSet和CopyOnWriteArraySet
HashSet是如何保证元素的不重复和无序HashSet的增删(改查?)原理CopyOnWriteArraySet支持并发的原理CopyOnWriteArraySet的增删(改查?)原理
2017-08-27 15:14:44 649 1
原创 ArrayList和CopyOnWriteArrayList
了解一下ArrayList和CopyOnWriteArrayList的增删改查实现原理看看为什么说ArrayList查询快而增删慢?CopyOnWriteArrayList为什么并发安全且性能比Vector
2017-08-27 11:26:40 1113
原创 Spark操作HBase问题:java.io.IOException: Non-increasing Bloom keys
Spark操作HBase问题:java.io.IOException: Non-increasing Bloom keys解决方法
2017-05-19 20:38:11 1083
原创 【Hadoop】ZooKeeper的简单理解
对ZooKeeper的设计目标、顺序一致性、系统模型、ZAB、数据模型、服务器角色和搭建要点进行简单地总结
2017-03-04 20:44:52 573
原创 【Hadoop】HBase框架学习之路
本文从HBase的设计背景、组件、流程、机制、实操等方面对HBase进行较为详细地分析,希望能够帮助大家更好地学习HBase
2016-12-30 17:09:54 1091
原创 【Hadoop】RegionServer详解
RegionServer是HBase中最主要的组件,本文对RegionServer中的组件和机制进行较为详细地讲解
2016-12-30 16:44:28 19407 6
原创 Hive创建表格报【Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException】引发的血案
成功启动Hive,创建表格时Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException的解决方案
2016-12-15 19:51:15 17079
翻译 【Hadoop】Hive官方文档翻译——Hive Tutorial(上)(Hive 入门指导)
官方文档是程序员最好的学习资料,本篇是Hive Tutorial(上),希望能帮助大家更好地学习Hive!
2016-12-13 19:26:38 5208
翻译 【Hadoop】Flume NG Getting Started(Flume NG 新手入门指南)翻译
本篇是FLume NG Getting Started (新手入门指南),希望能够帮助大家更好地使用Flume NG
2016-12-08 18:42:50 922
原创 【Hadoop】ZooKeeper集群搭建中的Connection refused而导致的启动失败
ZooKeeper集群搭建中的Connection refused而导致的启动失败时我的解决方案
2016-12-08 07:18:58 2852 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人