- 博客(10)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 2021-09-13
背景：随着数据量的上升，OLAP一直是被讨论的话题，虽然druid，kylin能够解决OLAP问题，但是druid，kylin也是需要和hadoop全家桶一起用的，异常的笨重，再说我也搞不定，那只能找我能搞定的技术。故引进clickhoue，关于clickhoue在17年本人就开始关注，并且写了一些入门的介绍，直到19年clickhoue功能慢慢的丰富才又慢慢的关注，并且编写了同步程序，把mysql数据实时同步到clickhoue，并且最终在线上使用起来。关于clickhouse是什么请自行查阅官网
2021-09-29 10:51:36
151
原创 亚马逊大数据入门实验流程
数据流向图 | ProcessOn免费在线作图,在线流程图,在线思维导图 |0-实验准备 :: AWS Big Data Day (bwcx.me)
2021-09-29 09:10:53
170
转载 Flink SQL CDC 上线！我们总结了 13 条生产实践经验
作者：曾庆东，金地物业中级开发工程师，负责聚合营业平台实时计算开发及运维工作，从事过大数据开发，目前专注于apache flink实时计算，喜欢开源技术，喜欢分享。01 项目背景本人目前参与的项目属于公司里面数据密集、计算密集的一个重要项目，需要提供高效且准确的OLAP服务，提供灵活且实时的报表。业务数据存储在MySQL中，通过主从复制同步到报表库。作为集团级公司，数据增长多而且快，出现了多个千万级、亿级的大表。为了实现各个维度的各种复杂的报表业务，有些千万级大表仍然需要进行Join，计算规模非常惊
2021-09-13 15:28:31
640
转载 Flink1.11中的CDC Connectors操作实践_jmx_bigdata的博客-CSDN博客
Flink1.11中的CDC Connectors操作实践_jmx_bigdata的博客-CSDN博客
2021-09-13 15:17:01
128
原创 数据同步工具
应用场景业务数据发展到一定水平，需要将大部分冷热数据从熟悉的DB迁移到其他存储进行复杂查询和分析分库分表后，某些报表类查询无法工作，需要汇总到单库表进行操作分库分表有多个维度，需要拷贝多份数据达成冗余通过伪数据共享(没办法引入MQ、无法共享库表)进行业务改造慢存储→Cache之间的同步不停服数据迁移/scheme变更导数据导数据归档很多时候，DataBus提供的仅仅是一个工具集。要完成最终的功能，大多数需要引入其他组件，如MQ、JOB等进行配合。同时，大部分数据同步工具需要
2021-07-06 17:42:38
2011
原创 jira-git-jenkins自动化运维设计与实现
上线发布是运维的日常工作，常见的发布方式有：手动发布 Jenkins发布平台 Gitlab CI ......除此之外还有需要开源软件，他们都有非常不错的发布管理功能。面临的问题作为运维人员，上线发布是必不可少的一环，一个正常的发布流程是怎么样的？需求方提发布任务，走发布流程 供应方执行发布上线环节看似简单，但是中间其实是有断层的。一般企业在走上线流程都是通过一些公共渠道，比如邮件、钉钉、飞书的流程，这些都很难和运维执行上线发布平台进行关联上，而且也不够直观。所以我们就需要解决以
2021-06-22 17:03:20
801
原创 使用Elasticsearch，数据量从一亿到百亿的进步
上篇写了ES的服务器配置及架构的演进，这篇来讲讲其它的优化过程。相信大家基本都跟我一样，开始ES的学习，肯定不会去系统的看书，一是工作上不会给你那么多的时间，二是工作了这么多年，基本上已经没有完整的看一本技术书的能力，基本就是稍微看看官网，再找一两篇网上的文章看看就开始跟着操作了，要在实践中这么做，有时候真的是挺坑的，大部分的文章作者，其实都只是把系统给跑通了，根本没有做过优化，数据量少的时候，顺丰顺水的，数据一多，就有苦头吃了。1、JVM从32G调整为31G网上大部分的文章是64G内存的服务器
2021-03-25 20:22:10
1598
2
转载 快速搭建一套elk日志系统
背景：在开发调试阶段，发现bug后开始在服务器上查找日志，但是这个过程真的好痛苦.一种方式是直接在服务器上tail -f 或者tail -n 直接查看，但是日志太多，不容易发现问题另一种方式导出最近的日志到本地，打开本地编辑器一点一点查看但是两种方式都很麻烦，有没有轻松一点的方法呢？在这个开源的时代，一直听说elk架构，那就搭建这个日志系统，感受下这个系统的魅力吧以下软件可以去:https://mirrors.huaweicloud.com 下载很快基本服务介绍什么是elasticsearch
2021-03-19 14:01:59
128
转载 ES 替换时序数据库
• 需求需求是这样的：提供一个后台，选用户画像标签（多选），点确认后弹出“选出了xxx个用户”，再继续点就把用户dump出来、推送消息。现在要做这个后台的数据仓库层。详细分析一下需求：我们的用户画像走流式计算，每秒大量更新，所以 对插入/更新性能要求很高。查询条件翻译成SQL就是类似 select count(*) from table where (tags like ‘%tag1%’) and (tags like ‘%tag2%’) and (tags like ‘%tag3%’) a
2021-03-19 10:42:22
1218
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人