自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(18)
  • 收藏
  • 关注

原创 Spark DataFrame添加自增ID

此方法最快捷,序列从0开始自增。

2024-01-22 11:25:21 442

原创 Spark sql实现两列结合形成一个Json结构

【代码】Spark sql实现两列结合形成一个Json结构。

2023-08-28 12:56:45 293 1

原创 hive/Spark实现最大订单时间和倒数第二订单时间

【代码】hive/Spark实现最大订单时间和倒数第二订单时间。

2023-08-23 09:55:51 77

原创 Spark使用过程中遇到的问题

如果没有加上边界,那么取第一个值,会从当前行内窗口进行获取第一个值,如果所示。

2023-05-11 12:17:19 158 1

原创 Kafka是否会丢失数据

kafka丢失数据场景

2022-10-17 16:43:20 712

原创 Hadoop中的压缩策略

hadoop的压缩算法总结

2022-10-15 01:45:00 213

原创 Hadoop的优化方案

hadoop的优化方向

2022-10-13 23:56:21 593

原创 Hadoop的读写流程

HDFS的读写流程

2022-10-13 18:14:44 943

原创 sparksql将多列组装为JSON数组

spark sql将多列组装为JSON数组

2022-05-31 00:46:48 1107

原创 代理模式的学习总结

代理模式静态代理需要为每个代理者(类、接口)都创建一个代理类,让代理类继承或实现被代理者,重写被代理者中的方法,重写之后就可以增加业务逻辑,还需要调用被代理者中的方法动态代理1、JDK自带实现多态代理的方法(Proxy)1.1要求被代理类(目标类)需要实现一个接口1.2、步骤1.2.1、创建被代理者类的对象(目标对象)1.2.2、获取目标类的类加载器:ClassLoader对象...

2019-10-28 22:24:35 323

原创 工厂模式学习总结

工厂模式工厂模式主要用于创建对象,使用工厂方法替代直接的new操作简单工厂模式:直接将创建对象的代码进行抽取封装成工厂类工厂方法模式:由于简单工厂模式不方便与扩展,所以对在简单工厂模式中创建对象的操作进行抽象,由不同的子类做具体的实现;只是对某个方法抽象抽象工厂模式:对于整个工厂类进行抽象,具体的创建对象的操作由工厂类的实现类完成一句话概括工厂模式简单工厂:一个工厂类,一个产品抽象类...

2019-10-28 22:21:08 272

原创 适配器模式学习总结

适配器模式将一种类型通过适配器类转换成另一种类型;对象适配:通过适配器类实现目标接口(抽象类、普通类),重写目标中的相关方法,将被适配者类以对象形式传递给适配器类,并且该适配器类中重写相关方法,但是重写的方法具体代码执行的是被适配者类中的对应的或者相关的代码;类适配:适配器类实现目标接口,并且继承被适配者类,重写在适配器类中重写目标接口中的方法,重写的方法的具体实现是调用继承的被适配者类中...

2019-10-28 22:16:56 482

原创 单例模式的学习总结

单例模式意图:在某些应用场景中,对于某个类只能产生一个对象;原理1、构造器私有化;2、定义该类的类变量,数据类型就是该类3、提供公共的访问方式,用于获取(创建)对象,并且该公共的访问方式必须是静态,并且在公共的访问方式中不能再直接通过new关键字创建该类的对象两种单例模式1、懒汉式:上述2中的类变量在定义时不进行初始化,在公共的访问方法中进行判断和初始化懒汉式单例模式的优化,通过...

2019-10-28 22:14:47 182

原创 XML的学习总结

XML:可扩展标记语言,该标记语言作为接口使用的比较多简介:xml:Extensible Markup Language HTML:Hyper text Markup Language 用于数据显示GML:General Markup Language 用于数据存储和传输xml文档结构1、xml文档是由标签[元素,节点]组成2、在xml文档的最开始的位置需要指定头信息[指令],头...

2019-10-28 22:06:05 275

原创 JDBC

做JDBC时项目添加Maven框架,里面添加依赖信息为,我们这里使用的是MySQL8.0.17版本<dependencies> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifact...

2019-10-28 21:38:55 101 1

原创 JDK8的新特性

1、接口中默认方法和静态方法在JDK8+的接口中可以包含普通方法,但是普通方法必须显式的有default(成员)或者static(类方法)修饰以前的JDK7-的接口中是不能包含普通方法的,因为java是单继承,多实现,如果实现的多个接口中有同名的普通方法,就会发生调用冲突如果一个类实现的多个接口中存在这个同名同参数列表的方法,则在该类中必须重写该方法//接口中普通方法interfac...

2019-10-28 21:04:53 67

原创 自然排序和比较器排序

自然排序:如果一个类的元素要想要能够进行自然排序,就必须实现自然排序接口实现Comparable接口重写CompareTo()方法该学生类进行自然排序,实现Comparable接口package day17_Set_son_4;/* * 如果一个类的元素要想要能够进行自然排序,就必须实现自然排序接口 */public class Student implements Comparab...

2019-08-07 15:11:54 906

原创 形参是基本类型和引用类型的理解

关于形式参数是基本类型和引用类型的理解package com.lhm;public class Demo { public static void main(String[] args) { int i = 2; System.out.println(i);//2 new Demo().ic(i); System.out...

2019-08-01 12:31:50 661

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除