阳阳阳的博客

原创 一文介绍Doris

关于Doris，你想要的这里都有。

原创 doris on es 如何查询不为空/不为空字符串

doris on es 如何查询不为空/不为空字符串

转载 什么是IceBerg

原创 Kafka幂等与事务写

一、kafka如何保证幂等二、kafka如何保证事务

原创 Mysql 时间转换 && 时间函数

1.时间转换涉及的函数：DATE_FORMAT(date,format)　　MySQL日期格式化函数STR_TO_DATE(str,format)　　MySQL字符串格式化为日期UNIX_TIMESTAMP()　　MySQL其他数据转换为时间戳FROM_UNIXTIME(unix_timestamp,format)　　MySQL时间戳格式化函数1、时间转字符串：select date_format(now(), ‘%Y-%m-%d’);结果：2022-04-082、时间转时间戳：se

原创 Flink Checkpoint 详解

原创 Flume概述与使用

文章目录Flume概述1.什么是Flume2.名词介绍3.Flume架构介绍4.可靠性和可用性Flume的安装与使用Flume概述1.什么是Flume可以理解flume是日志收集系统，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种...

原创 从lucene到ElasticSearch

文章目录初识 Lucene1.什么是LuceneElasticSearch1.介绍2.基本概念初识 Lucene1.什么是LuceneLucene 是一个基于 Java 的全文信息检索工具包，它不是一个完整的搜索应用程序，而是为你的应用程序提供索引和搜索功能。Lucene 目前是 Apache Jakarta 家族中的一个开源项目。也是目前最为流行的基于 Java 开源全文检索工具包。...

原创 Hive SQL语法详解

文章参考博客链接-------Hadoop Hive sql语法详解文章参考官方hive依赖于HDFS存储数据，Hive将HQL转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质就是一款基于HDFS的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式...

原创 面试必备基础知识点

这里大部分是整理自该篇帖子（侵删）计算机网络计算机网络分层计算机网络如果是ISO模型的话，分为七层。TCP／IP协议簇模型的话，分为四层。TCP和UDP有什么区别？什么场景使用TCP，什么场景什么UDP？哪些应用层协议使用了TCP，哪些使用了UDP？这一块需要好好看。TCP和UDP最主要的区别是TCP是可靠传输的，UDP是不可靠传输的。所以如果我们的发送消息之类的场景，因为你要确保用...

原创 TCP和UDP的区别以及各自对应的各种应用层协议和应用

这里码一下基础知识：TCP（Transmission Control Protocol，传输控制协议）和UDP（User Datagram Protocol，用户数据报协议）是运输层的两个主要协议，均是互联网的正式标准。TCP：优点：可靠，稳定TCP的可靠提现在传递数据之前，会有三次握手来建立连接，而且在数据传递时，有确认、窗口、重传、拥塞控制机制，在数据传完后，还会断开连接用来节约系统资...

原创 遇到 Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs解决办法

问题：Exception in thread “main” java.io.IOException: No FileSystem for scheme: hdfs工作过程中遇到了这个问题，调用org.apache.hadoop.fs.FileSystem这一套API来对hdfs上面的文件进行操作，但是本地运行正常的代码打包上传到服务器上发现运行会报错Exception in thread “ma...

转载 再学计算机网络

目录目录网络的网络ISP主机之间的通信方式时延计算机网络体系结构OSITCP/IP数据在各层之间的传递过程物理层数据链路层网络层IP 数据报格式网络的网络网络把主机连接起来，而互联网是吧多种不同的网络连接起来，因此互联网是网络的网络ISP互联网服务提供商ISP可以从互联网管理机构获得许多IP地址，同时拥有通信线路以及路...

原创 动态规划小结

讲一讲动态规划动态规划，一听起来就很高大上的样子，也因此很多人望而却步，不愿意理清楚他的逻辑，但是实际上这只是一种方法而已，并没有什么可怕的。首先说一下动态规划，总结起来就是一句话大事化小，小事化了，例如，给你一段10m长的绳子让你剪成几段，求最么剪能让每一段的长度之积最大，这很明显就是一个动态规划的问题，那我们来理一下，10m长的绳子你不知道，1m长的绳子你知道嘛，2米呢，3米呢，这...

转载 Java设计模式之观察者模式

目录简介结构图四个角色代码示例小结目录简介在对象之间定义了一对多的依赖，这样一来，当一个对象改变状态，依赖它的对象会收到通知并自动更新。其实就是发布订阅模式，发布者发布信息，订阅者获取信息，订阅了就能收到信息，没订阅就收不到信息。有点类似于收听广播，你收听了就会被通知到，反之则不能。主要解决的问题：一个对象状态改变给其他对象通知的问题，而...

转载 shiro

这里建两个传送门： 30分钟学会如何使用shiro shiro基础教程

原创 小结

目录目录AlluxioScalatraJettyWeb服务器Servlet容器Servlet容器和Web服务器如何处理一个请求？Alluxio参考文章Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。在大数据领域，最...

原创 linux脚本编写小结

传参数例子：./xxx.sh “xxxx”（运行前需要赋予一下权限 chmod xxx filename） 文件内：#！/bin/sh name=$1 这样”xxxx”就赋给了name改写命令例子：创建一个.bashrc文件，在里面写上 alias a=’b’ 然后source一下就可以用a代替b命令了脚本快速执行很复杂命令直接在里面写就行了...

原创 抽象类和接口

目录目录抽象类接口抽象类与接口的区别抽象类我们都知道在面向对象的领域一切都是对象，同时所有的对象都是通过类来描述的，但是并不是所有的类都是来描述对象的。如果一个类没有足够的信息来描述一个具体的对象，而需要其他具体的类来支撑它，那么这样的类我们称它为抽象类。比如new Animal()，我们都知道这个是产生一个动物Animal对象，但是这个Animal具体长成...

原创 Java基础之三大特性

目录目录1.封装2.继承3.多态1.封装封装，顾名思义，就是将类的信息封装隐藏在类内部，不允许外部程序直接访问，而是通过该类提供的方法实现对隐藏信息的操作和访问。示例public class Student{ private float score; public void setScore(float score){ ...

原创 Java设计模式之代理模式

目录目录概念静态代理动态代理cglib代理概念代理模式：代理模式，顾名思义，肯定跟代理有很大的联系，代理的意思即是通过访问其他目标进行操作来代替直接操作目标对象，也就是通过代理对象来访问目标对象。好处：这样做的好处是可以再目标对象的基础上，增强额外的功能操作，即扩展目标对象的功能。举例说明：明星与经纪人，我们可以通过联系经纪人来达到与明星沟通的相同...

原创 Spark调优

这里主要是推两篇博客： Spark性能优化指南——基础篇 Spark性能优化指南——高级篇

原创 groupByKey与reduceByKey

看一下这两张图，就可以大致了解到两个分别是怎么样了： 提到一下combineByKey：

原创 Spark Shuffle一览

目录目录Hash-based Shuffle 原始的Hash Shuffle机制优化后的 HashShuffle 机制-Consolidated HashShuffleSort-Based Shufflebypass运行机制Hash-based Shuffle 原始的Hash Shuffle机制Hash shuffle经历了两个阶段，第一个...

原创 JVM垃圾收集器－对比Serial、Parallel、CMS和G1

由Hbase调优中对JVM的优化而来目录目录串行收集器Seiral Collector并行／吞吐优先收集器Parallel/Throughput CollectorCMS收集器CMS CollectorG1收集器Java8删除了永久代串行收集器Seiral Collector串行收集器是最简单的，它设计为在单核的环境下工作（32位或者wind...

原创 Hbase调优

Ps：这里列举一些常见的Hbase调优，并不全面，如果想要全面的了解hbase调优，可以参考Hbase的官方文档，或者参考这篇总结自官方的博客。本文将从三个方面来对Hbase的调优进行总结：参数调优、表的设计、读取优化、写入优化。目录目录一、参数调优1.zk超期参数2.RegionServer的请求处理IO线程数3.ReigonServer上单个Reigon的最大存储空...

原创 Yarn on cluster 与 Yarn on client

Yarn-cluster　　在Yarn-cluster模式下，driver运行在Appliaction Master上，Appliaction Master进程同时负责驱动Application和从Yarn中申请资源，该进程运行在Yarn container内，所以启动Application Master的client可以立即关闭而不必持续到Application的生命周期，下图是yarn...

原创 Java设计模式之三种工厂模式

目录目录工厂模式工厂方法模式抽象工厂模式工厂模式上图就是工厂模式的具体结构概述：工厂模式的创建意图就是，把对类的创建初始化全都交给一个工厂来执行，而用户不需要去关心创建的过程是什么样的，只用告诉工厂我想要什么就行了。而这种方法的缺点也很明显，违背了设计模式的开闭原则，因为如果你要增加工厂可以初始化的类的时候，你必须对工厂进行改建。工厂方法...

原创 Java设计模式之单例模式

目录目录概念特点线程安全的问题实现单例模式饿汉模式懒汉模式概念单例模式确保某个类只有一个实例，而且自行实例化并向整个系统提供这个实例。在计算机系统中，线程池、缓存、日志对象、对话框、打印机、显卡的驱动程序对象常被设计成单例。这些应用都或多或少具有资源管理器的功能。总的来说，选择单例模式就是为了避免不一致状态。特点单例类只能有一个...

原创 Java设计模式之设计原则

目录目录设计模式的设计原则：总原则—开闭原则设计模式的六大原则设计模式的设计原则：总原则—开闭原则对扩展开放，对修改封闭。在程序需要进行拓展的时候，不能去修改原有的代码，而是要扩展原有代码，实现一个热插拔的效果。所以一句话概括就是：为了使程序的扩展性好，易于维护和升级。设计模式的六大原则单一职责原则：不要存在多余一个导致类变更的原因，也...

原创 面试琐碎知识小结（持续更新）

目录目录Hadoop集群搭建的步骤Spark提交到Yarn上的过程Hadoop杀死一个jobpython-openCV的颜色空间转换RDD的特点Hadoop集群搭建的步骤1.配置host文件（写上集群里所有的机器及其对应的IP） 2.配置免密码登陆SSH 3.安装JDK 4.安装Hadoop 5.配置文件：hdfs-site.xml、ma...

原创 数据挖掘算法简略总结（等待继续更新，现在有点不想写这个）

目录目录PCAK-meansSVM（支持向量机）决策树PCA可以参考这篇文章介绍：主成分分析法，在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对...

原创 JVM原理及流程

本文参考链接1 本文参考链接2目录目录简述JVM的体系结构Java代码编译和执行的整个过程Java源码编译机制类加载机制类执行机制JVM内存管理及垃圾回收机制内存模型垃圾回收机制简述首先我们看一下这一段描述 说起java，首先想起的是一门编程语言，然而事实上，Java是一种技术，它由四方面组成：Java编程语言、Java类...

转载 Hive SQL调优总结

Hive SQL调优总结本文参考链接（总结的很棒很全面）这里只是总结了一下HQL上面的一些优化点，并不考虑Hadoop层面的参数、配置优化目录Hive SQL调优总结目录使用分区剪裁、列剪裁少用count（distinct）多对多的关联合理使用MapJoin合理使用Union ALL并行执行job使用本地MR合理使用动态分区避免数据倾斜控制Map数...

原创 ConcurrentHashMap --兼顾线程安全和运行效率

首先推荐一个网址（用漫画的形式讲解，图形结合通俗易懂很赞，文章的内容也是来源于此）目录目录ConcurrentHashMap与hashmap相比主要是多了一个segment的概念ConcurrentHashMap这么设计有什么好处呢ConcurrentHashMap是如何做到线程安全的ConcurrentHashMap的读写详细过程ConcurrentHashMap...

转载 SQL语句关键字大全

SQL语句的整理以及总结SQL语句的整理以及总结SQL语句的基本类型SQL语句的基本类型\color{lime}{SQL语句的基本类型}特殊关键字特殊关键字\color{lime}{特殊关键字}创建/插入/删除/修改创建/插入/删除/修改\color{lime}{创建/插入/删除/修改}SQL查询语句−单表查询SQL查询语句−单表查询\color{lime}{SQL查询语句-单...

原创 关于hashtable和hashmap的区别

面试中常会出现的问题（码上以便记忆）首先在数据结构上他们基本上是相同的存储的为entry对象，该对象有四个属性：-K key 键对象-V value 值对象-int hash 键对象的hash值-Entry entry 指向链表中下一个Entry对象，可为null，表示当前Entry对象在链表尾部存储的原理大概是这样的：使用一个函数使得每一个键值都有一个对应的函数值，然后再根据这些函数值来对键值对...

转载 numpy and pandas

码上几篇博客供自己复习用：numpy：https://blog.csdn.net/bbbeoy/article/details/72983726 （numpy+pandas）（基本函数大全）https://blog.csdn.net/weixin_38490102/article/details/78821904  （常用函数）...

原创 单元测试中的驱动单元和桩单元的理解

在复习软件测试的过程中，复习到单元测试，对驱动单元和桩单元的概念有点模糊，所以查阅资料更新理解于这里，方便以后回忆如下有一个模块结构的实例图：　　假设现在项目组把任务分给了7个人，每个人负责实现一个模块。你负责的是B模块，你很优秀，第一个完成了编码工作，现在需要开展单元测试工作，先分析结构图：　　1、由于B模块不是最顶层模块，所以它一定不包含main函数(A模块包含main函数)，也就不能独立运行...

原创 关于几种排序的白话总结+动图（码上方便自己回忆）

                            对于排序算法的白话总结+动图 ps（多图预警）一、理解· 交换排序：冒泡排序、快速排序1.冒泡排序：      挨个把最大值元素向右传递（比较相邻元素大小之后选择是否互换位置），传递一次排序完成一个，直至完成所有的排序（反之则传递最小值）。2.快速排序：      先选择出一个基准，然后从左往右找到小于基准...