- 博客(165)
- 收藏
- 关注
原创 DataX介绍
DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。github地址详细文档操作手册支持数据框架如下:架构Reader:为数据采集模块,负责采集数据源的数据,将数据发送给Framework。Writer:为数据写入模块,负责不断向Framework取数据,并将数据写入到目的端。
2024-01-31 13:55:53 1119
原创 Flume介绍
Apache Flume 是一种分布式、可靠且可用的系统,用于有效地收集、汇总大量日志数据,并将其从多个不同来源转移到集中式数据存储区。Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的,Flume 可用于传输大量事件数据,包括但不限于网络流量数据、社交媒体生成的数据、电子邮件信息以及几乎所有可能的数据源。Source:数据收集组件,从外部数据源收集数据,并存储到 Channel 中。
2024-01-24 16:29:34 1209
原创 Maxwell介绍
介绍:它读取MySQL binlog并将数据更改作为JSON写入Kafka、Kinesis和其他流媒体平台(目前支持:kafka、RabbitMQ、Redis、file、Kinesis、Nats、Google Cloud Pub/Sub、Google Cloud Bigquery、SNS)版本:从v1.30.0版本开始不支持jdk1.8,支持jdk11,所以推荐使用v1.29.2版本。
2024-01-18 15:30:32 647
原创 Hive 部署
Apache Hive是一个分布式、容错的数据仓库系统,支持大规模的分析。Hive Metastore(HMS)提供了一个中央元数据存储库,可以轻松地进行分析,以做出明智的数据驱动决策,因此它是许多数据湖架构的关键组件。Hive构建在Apache Hadoop之上,并通过hdfs支持S3,adls,gs等存储。Hive允许用户使用SQL读取、写入和管理PB级数据。官网地址。
2023-12-26 15:00:17 1066
原创 zookeeper介绍
思路:每次创建临时顺序节点之后,判断当前节点是否为为最小序号节点,如果是最小序号节点,说明锁没有被占用,可以直接使用,如果不是最小序号节点,那说明锁已经被占用,需要等待上一个节点释放,才可以使用锁。目前最新的版本为:3.9.1,最新稳定版为:3.8.3,稳定版本为:3.7.2,3.6.4版本目前已经停产,理论上来说最推荐使用3.7.2,不过也要兼容其他组件的版本。语法:create [-s] [-e] [-c] [-t ttl] path [data] [acl]-v:指定要修改的节点的版本号。
2023-11-13 15:40:53 644
原创 Flink 窗口
滚动窗口:TumblingProcessingTimeWindows.of(Time.seconds(10))滑动窗口:SlidingProcessingTimeWindows.of(Time.seconds(10), Time.seconds(2))会话窗口:ProcessingTimeSessionWindows.withGap(Time.seconds(5))
2023-09-08 14:38:16 750
原创 Scala面向对象
scala中的伴生对象类似于Java中的静态成员变量(static),用于在一个类中声明静态属性,主对象可以调用伴生对象中的所有属性和方法(即使是私有的),不过这种用法可能不多,一般对象中也不会去声明一个静态属性,如果是想调用一些静态属性可以直接声明一个object对象。:伴生对象中的apply方法可以不使用new方法来初始化一个对象:val tom: Person = Person(“tom”):scala中的继承和Java一样,可以在子类中定义父类中没有的字段和方法,或者重写父类的方法。
2023-07-12 10:44:52 485
原创 Spark算子
介绍:Spark中RDD 的算子分为两类:1、Transformation转换算子:返回一个新的 RDD2、Action行动算子:返回值不是 RDD(无返回值或返回其他的)Spark中的转换算子和Java中的Function非常的相似,也和Scala中的函数式编程类似,不过Spark中封装了更多的转换算子(真的是太多了(吐槽))
2023-07-10 17:20:49 344
原创 Scala方法
3、函数是一个对象,继承自FunctionN,函数对象有apply,curried,toString,tupled这些方法。1、方法是隶属于类或者对象的,在运行时,它是加载到JVM的方法区中. 但是函数本身就是一个对象。2、可以将函数对象赋值给一个变量,在运行时,它是加载到JVM的堆内存中。2、类似于方法,函数也有输入参数和返回值。3、函数定义不需要使用def定义。1、函数是一个对象(变量)4、无需指定返回值类型。
2023-06-30 15:52:30 498
原创 RabbitMQ详解
RabbitMq是一个消息中间件,用于流量削峰,业务解耦等场景SpringBoot一共提供了如下5种交换机类型,包括:CustomExchange(自定义交换机)、DirectExchange、FanoutExchange、HeadersExchange、TopicExchange。
2023-06-01 14:52:06 820
原创 使用JWT实现登录认证
session:存储再服务端,无法引用与分布式场景,并且需要占用服务端的资源cookie:存储再客户端,适用于分布式场景,但是存在安全问题,不支持垮域访问token:存储在localstorage中,更加灵活。
2023-05-23 17:06:23 1610
原创 XXL-SSO简要说明
XXL-SSO 是一个分布式单点登录框架。只需要登录一次就可以访问所有相互信任的应用系统。拥有”轻量级、分布式、跨域、Cookie+Token均支持、Web+APP均支持”等特性。现已开放源代码,开箱即用。官方文档XXL-SSO的原理其实非常的简单用户访问系统,如果没有登录会被重定向到服务端,在服务端进行登录,登录之后会将生成的认证信息存储在Cookie中,这样,同一个浏览器中的系统请求的时候都会携带上Cookie,这样就可以通过拦截器判断该用户是否登录,以此来实现单点登录的效果。
2023-05-22 17:25:09 962
原创 MyBatis Plus 拦截器实现数据权限控制
上篇文章介绍的MyBatis Plus 插件实际上就是用拦截器实现的,MyBatis Plus拦截器对MyBatis的拦截器进行了包装处理,操作起来更加方便MyBatis Plus提供的InnerInterceptor接口提供了如下方法,主要包括:在查询之前执行,在更新之前执行,在SQL准备之前执行/**return;} } /*** 查询。
2023-05-18 11:27:23 3174 2
原创 MyBatis Plus 插件
这里只列举了2个常用插件,其他官方插件可以看。2、数据查询时自动添加租户字段的筛选条件。1、数据插入时租户字段数据的自动插入。
2023-05-16 11:05:08 995
原创 MyBatis Plus 代码生成器
两种方式都可以生成代码,使用代码的方式更加灵活一些,代码也更加方便管理,使用插件更加快捷一点,也可以自定义修改插件模板,但是不方便团队维护。
2023-05-15 18:03:16 702
原创 Scala数据类型
一、scala数据类型结构图二、结构说明2.1、值类型基础类型类型说明AnyVal所有数值类型的父类Byte8位带符号整数Short16位带符号整数Int32位带符号整数Long64位带符号整数Char16位无符号Unicode字符Float32位单精度浮点数Double64位双精度浮点数Booleantrue或falseUnit表示空,Unit是AnyVal的子类,它类似于Java中的void2.2
2023-04-24 15:34:00 78
原创 YARN常用命令
命令说明yarn application -list列出所有Applicationyarn application -list -appStates ALL按任务状态过滤Application,包括:ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLEDyarn application -kill <ApplicationId>kill掉Applicationyarn l
2023-04-19 17:28:08 374
原创 HDFS常用命令
命令作用样例解释-mkdir创建目录hadoop fs -mkdir sanguo-moveFromLocal剪切hadoop fs -moveFromLocal shuguo.txt /sanguo将本地文件剪切到hdfs-copyFromLocal拷贝hadoop fs -copyFromLocal weiguo.txt /sanguo将本地文件拷贝到hdfs-put拷贝hadoop fs -put wuguo.txt /sanguo和c
2023-04-11 15:54:15 668
原创 使用virtualbox和vagrant创建虚拟机
1. 下载virtualboxvirtualbox下载地址2. 下载vagrantvagrant下载地址3. 验证vagrant是否安装成功vagrant4. 初始化虚拟机vagrant init centos/75. 启动虚拟机vagrant up5. 连接虚拟机vagrant ssh
2022-04-12 10:48:51 272
原创 SpringBoot、SpringCloud、SpringCloudAlibaba版本依赖关系
组件版本关系Spring Cloud Alibaba VersionSentinel VersionNacos VersionRocketMQ VersionDubbo VersionSeata Version2021.0.1.0*1.8.31.4.24.9.22.7.151.4.22.2.7.RELEASE1.8.12.0.34.6.12.7.131.3.02.2.6.RELEASE1.8.11.4.24.4.02.7.81.3.0
2022-03-31 11:52:41 952 1
原创 Swagger 踩坑2.0
Swagger中ApiModel存在bug,如果使用了一些特殊字符则会导致Swagger无法识别改model结论:# / %这些符号都会导致swagger出现问题
2022-01-09 16:47:10 355
原创 2021年终总结
一转眼已经毕业两年了,也从一个职场菜鸟变成了现在的老油条。 2021年发生了很多,今年年中从杭州辞职回到了合肥,加入了科大讯飞,结束了两年的杭漂生活,说实话,现在回头看,是有些后悔去杭州的(当然啦,眼下就是最好的),兜兜转转又回合肥了。 上半年在杭州一直负责调优,说实话,有些无趣,只能在一些细节上调整,不能大刀阔斧的引入一些中间件,从底层改变,最后收效甚微,不过领导倒是挺满意的(从20s+到3s左右,不过我感觉还是很慢),最后也因为种种原因决定从这家公司辞职,说实话这家公司还是挺不错的,环境,技
2021-12-17 15:14:03 691 4
原创 SpringBoot Async
package com.xx.config;import lombok.extern.slf4j.Slf4j;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.scheduling.annotation.EnableAsync;import org.springframew
2021-12-13 15:45:31 96
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人