- 博客(14)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战
背景MySQL库A 到 MySQL库B的增量数据同步需求 DolphinScheduler中配置DataX MySQL To MySQL工作流工作流定义工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件SHELL组件(文章)脚本 echo '文章同步 MySQL To MySQL'DATAX组件(t_article)用到2个插件mysqlreader^[1]、mysqlwriter^[2]选 自定义模板：{ &q.
2022-03-03 22:02:37
3894
2
原创 DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践
数据同步的方式数据同步的2大方式基于SQL查询的 CDC(Change Data Capture)：离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据。也就是我们说的基于SQL查询抽取；无法保障数据一致性，查的过程中有可能数据已经发生了多次变更；不保障实时性，基于离线调度存在天然的延迟;工具软件以Kettle（Apache Hop最新版）、DataX为代表,需要结合任务调度系统使用。基于日志的 CDC：实时消费日志，流处理，例如 MySQL 的 bin.
2022-03-02 22:32:56
3174
2
原创 使用微创联合M5S空气检测仪、树莓派3b+、prometheus、grafana实现空气质量持续监控告警WEB可视化
1.简介使用微创联合M5S空气检测仪、树莓派3b+、prometheus、grafana实现空气质量持续监控告警WEB可视化grafana dashboard效果：2.背景2.1 需求：1.过段时间公司要搬新办公室，较多同事担心甲醛(HCHO)、异味（TVOC）这些重要的空气指标，所以需要能够对其检测2.能够把这些空气指标进行WEB展示3.监控告警关心的空气指，告警发送到钉钉群2.2 已有硬件：树莓派3b+ （长期吃灰中）以下简称树莓派微创联合M5S空气检测仪（版本：M5S温湿+锂电+
2020-10-31 17:32:49
775
原创 解决问题黄金三步：定义问题—分解问题—归
转载，原文 张建飞（Frank）解决问题黄金三步：定义问题—分解问题—归我们经常说软件开发中，没有银弹。的确，单看软件领域，很少有什么方法论是普适的。然而再拔高一些，跳出软件的范畴，是有一些东西是普世的，比如老子说的“道”。好吧，“道”说的有点大。不过，最近我的确有一个新发现——我发现“归类分组”在我们解决问题中起着巨大的作用。而这里的“问题”不仅仅限于软件设计，从日常生活、产品设计到公司战略、生物分类。都有它的身影。这是为什么呢？究其原因可能有两个：一、归类分组是抽象的重要方法，解决复杂问题我们离
2020-05-17 14:06:30
1676
1
原创 Sentry实时应用错误跟踪系统在Kubernetes中私有化部署
应用错误跟踪系统：对软件系统运行过程中产生的错误日志进行收集从而实现监控告警。虽然软件错误❌是不可避免的，但是可以降低错误数。提高对错误的治理能力能让错误带来的损失降到最低 ???????? 。错误日志监控在最顶层的业务层监控,有他将会帮助你打造更好的软件！我们需要业务场景下自己发现Bug的速度快于用户报告Bug的速度，毕竟让用户报告已经晚了。典型的这套系统的架构：错误日志(前端、后端) =&g...
2020-04-19 23:06:27
1723
2
原创 Kubernets中获取客户端真实IP总结
1. 导言绝大多数业务场景都是需要知道客户端IP的在k8s中运行的业务项目，如何获取到客户端真实IP？本文总结了通行的2种方式要答案的直接看方式一、方式二和总结SEO 关键字nginx ingress客户端真实ipkubernets获取客户端真实iprke获取客户端真实iprancher获取客户端真实ip本文由 www.iamle.com 流水理鱼 原创，wx公众号同名1.1...
2020-04-19 23:03:58
685
原创 Kubernets中获取客户端真实IP总结
1. 导言绝大多数业务场景都是需要知道客户端IP的在k8s中运行的业务项目，如何获取到客户端真实IP？本文总结了通行的2种方式要答案的直接看方式一、方式二和总结SEO 关键字nginx ingress客户端真实ipkubernets获取客户端真实iprke获取客户端真实iprancher获取客户端真实ip本文由 www.iamle.com 流水理鱼 原创，wx公众号同名1.1...
2020-04-05 22:45:08
1127
原创 Cloud Native 云原生时代如何不落伍？
1.综述一句话： 关注 CNCF 基金会 Cloud Native 云原生互动全景图CNCF云原生互动全景图打开网站，全景图是可以点击的，在图中找你关注的领域2.找到你关注的分类领域比如我关注“API Gateway API网关”，就点击他的图标就可以看到相关信息APISIXKrakenD非常直观的一个概览项目开发语言，代码提交柱状图，等开源代码维护情况信息可以说CNCF的全景图...
2020-02-08 20:13:06
922
原创 Golang写的程序注入一些版本信息，Debug速度自然快几倍！
背景Go程序运行时打印git提交信息编译信息Golang编译信息注入程序当在debug的过程中，我们需要明确当前运行的go程序是什么版本不要浪费时间在确认版本的问题上在go build编译的时候是可以注入外部参数的让go程序在运行的时候就可以打印编译时候的参数情况以gitlab-runner为例gitlab-runner -vVersion: 11.10.1Git revisi...
2020-01-12 21:15:29
1070
原创 开源API网关，你选对了么？
开源API网关，你选对了么？api网关的本质不用扯那么多，也不用画图，一句话说清楚api网关：流量总入口，得以集中控制！就这么简单api网关协议上最基本要支持HTTP 和 WebSocket，功能强大点的更会支持tcp/udp的负载均衡接入正因为支持的是http协议，所以api网关不仅仅可以作为 RESTful API 接入，接入带页面的web都可以的，完全可以当成一个web负载均衡器使用...
2020-01-09 22:32:36
1921
原创 Service Mesh服务网格清单
Service Mesh服务网格清单IstioIstio官网Istio中文官网Istio开源无需太多介绍Service Mesh明日之星，扛把子，截止2019.11还有太多问题没解决复杂性，性能让人望而却步，能上生产的是真要技术厉害，还得内心强大，项目允许LinkerdLinkerd官网Linkerd中文官网A service mesh for Kubernetes and beyond...
2019-12-28 19:28:16
1015
原创 使用Portainer集中管理多地域内网运行的Docker实例
1. 单机运行的Docker容器化部署是现在进行时，开源应用大多数支持容器化部署在少量机器的场景下往往采用docker cli 和 docker-compose管理，进行“单机式管理”机器稍多点会采用Docker Swarm群集的方式，毕竟k8s稍重如果有更多的机器情况下一般会采用k8s的方式在个人、创业公司、小团队的场景下我们往往在多个云、家里、vps上拥有少量虚拟机服务器，这些服务器上都运行...
2019-12-19 21:40:20
2994
原创 API接口访问频次限制 / 网站恶意爬虫限制 / 网站恶意访问限制 方案
API接口访问频次限制 / 网站恶意爬虫限制 / 网站恶意访问限制 方案采用多级拦截,后置拦截的方式体系化解决1 分层拦截1.1 第一层 商业web应用防火墙(WAF)直接用商业服务传统的F5硬件,不过现在用的很少了云时代就用云时代的产品,典型代表 阿里云 web应用防火墙1.2 第二层 API 网关(API Gateway)层API 网关(API Gateway)kong为代表...
2019-12-17 19:56:07
1509
原创 让外部的开发机直接访问Kubernetes群集内的服务！
1.场景容器化 K8s编排已经是现在进行时把网站的多个项目设计为云原生（Cloud Native）或老项改造为云原生可以获得诸多能力例如无云绑定、弹性、部署环境一致性、微服务、DevOps、持续交付同时下一代微服务框架 服务网格（ServiceMesh） 也能无痛接入博主现有项目后端开发语言为 PHP、GolangGolang做一些基础公共服务（短信、消息、搜索等）这些公共服务化的项目已经容器...
2019-12-16 21:19:35
1469
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人