少年单排，记录点滴

转载 【Kubernetes干货】List/Watch机制和Informer模块详解

Informer模块是Kubernetes中的基础组件，负责各组件与Apiserver的资源与事件同步。List/Watch机制是Kubernetes中实现集群控制模块最核心的设计之一，它采用统一的异步消息处理机制，保证了消息的实时性、可靠性、顺序性和性能等，为声明式风格的API奠定了良好的基础。使用入门Kubernetes中的组件，如果要访问Kubernetes中的Object，绝大部分情况下会使用Informer中的Lister()方法，而非直接请求Kubernetes API。原理示意

转载 mysql binlog应用场景与原理深度剖析

本文深入介绍Mysql Binlog的应用场景，以及如何与MQ、elasticsearch、redis等组件的保持数据最终一致。最后通过案例深入分析binlog中几乎所有event是如何产生的，作用是什么。1 基于binlog的主从复制Mysql 5.0以后，支持通过binary log(二进制日志)以支持主从复制。复制允许将来自一个MySQL数据库服务器（master) 的数据复制到一个或多个其他MySQL数据库服务器（slave)，以实现灾难恢复、水平扩展、统计分析、远程数据分发等功能。二进

转载 Redis分布式锁实现【精要总结】

基于Redis的分布式锁实现前言本篇文章主要介绍基于Redis的分布式锁实现到底是怎么一回事，其中参考了许多大佬写的文章，算是对分布式锁做一个总结分布式锁概览在多线程的环境下，为了保证一个代码块在同一时间只能由一个线程访问，Java中我们一般可以使用synchronized语法和ReetrantLock去保证，这实际上是本地锁的方式。但是现在公司都是流行分布式架构，在分布式环境下，如何保证不同节点的线程同步执行呢？实际上，对于分布式场景，我们可以使用分布式锁，它是控制分布式系统之间互斥访

转载 ElasticSearch6.X Join(父子查询)深入详解

0、ES6.X 一对多、多对多的数据该如何存储和实现呢？引出问题：“某头条新闻APP”新闻内容和新闻评论是1对多的关系？在ES6.X该如何存储、如何进行高效检索、聚合操作呢？相信阅读本文，你就能得到答案！1、ES6.X 新类型Join 产生背景 Mysql中多表关联，我们可以通过left join 或者Join等实现； ES5.X版本，借助父子文档实现多表关联，类似数据库中Join的功能；实现的核心是借助于ES5.X支持1个索引(index)下多个类型(type)。

转载 RESTful API设计规范，看这篇就够了！

RESTful 是目前最流行的 API 设计规范，用于 Web 数据接口的设计。它的大原则容易把握，但是细节不容易做对。本文总结 RESTful 的设计细节，介绍如何设计出易于理解和使用的 API。一 URL设计动词+宾语RESTful的核心思想就是，客户端发出的数据+操作指令都是“动词+宾语”的结构，比如GET /articles这个命令，GET是动词，/articles是宾语，动词通常就有5种HTTP请求方法，对应CRUD操作，根据 HTTP 规范，动词一律大写。...

原创 IDEA import导入的类爆红【解决办法】

问题描述：项目一直好好的，在合并完版本后，出现无依赖的个别本地包，爆红，且包完全能找到。解决办法：更新index，清除缓存，注：（清楚缓存会使你导入的maven地址 以及 启动项配置等失效，清除后，需要重置）步骤如图所示。随后，看见项目自动更新index，待更新完毕，爆红的包已经恢复正常了。...

转载 ElasticSearch 7.X 重要功能总结

7.0.0重要功能自适应分片访问选择在6.1中已加入这个功能，但是默认是关闭的，在7.0中开始默认开启。若有两个节点，且其中一个节点上有一个索引的主分片，另一个节点上有同一个索引的副本分片，在6.X中关闭此特性时，不管每个节点状态如何，是否在做耗时操作，如GC等，每次请求过来时，都会通过轮询的方式访问两个分片其中之一；而在7.X开启后，ES会统计每次请求耗时，根据每个节点访问响应的耗时长度，对每个节点的访问频次进行自动调整。"search idle"状态下的分片不进行自动refreshEla

转载 SpringBoot 整合 retry

当我们调用一个接口可能由于网络等原因造成第一次失败，再去尝试就成功了，这就是重试机制，spring支持重试机制，并且在Spring Cloud中可以与Hystaix结合使用，可以避免访问到已经不正常的实例。写一个简单的demo，加入依赖：<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifact.

原创 ElasticSearch底层原理总结

参考：https://blog.csdn.net/njpjsoftdev/article/details/54015485一、Lucene1、索引构成：前缀和后缀 + 倒排表 ，形成有向无环图2、索引结构：FST(最小有向无环图)eg：北京 北京天安门 ——》 北京2天安门 （相同前缀，只记offset偏移量,减少空间)3、倒排索引解释：文章包含词，是正排。词到文章是倒...

转载 Swagger 常用注解使用讲解

讲解内容swagger常用到的注解的解释 SpringMvc中控制层类中使用这些注解swagger常用到的注解的解释在pom.xml文件中添加包依赖：swagger-annotations-1.5.10.jar所有注解：常用到的注解有：Api ApiModel ApiModelProperty ApiOperation ApiParam ApiResponse ApiResponses ResponseHeaderApi 标记一个Controller类做为swag

转载 Intellij IDEA 快捷键【清晰整理】

1. Editing(编辑)快捷键 介绍 Ctrl +Space 基本代码补全，输入字母按后列出匹配的词组 Ctrl+Shift+Space 智能代码补全，列出与预期类型一致的方法或变量 Ctrl+Alt+Space 补全类名 Ctrl+Shift+Enter 补全语句 Ctrl+P 显示方法参数 Ctrl+Q 显示注释文档 Shift+F1 显示外部文档 Ctrl+mouse over code 显示描述信息 C

原创 【解决】Dberver 连接 ClickHouse SQL 错误 [164]:Cannot modify max_result_rows setting in readonly mode

问题描述在只读模式下，配置好ClickHouse连接，然后看似一切都很美好，可惜查询时候报错！！找问题找问题，首先在原生的命令行执行相同的操作是没问题的，所以问题定位在Dberver。然后看报错日志，Cannot modify 'max_result_rows' setting in readonly mode翻译过来就是Dberver自己修改max_result_rows这一配置，但是在只读模式下修改失败。那么，我们可以尝试，不让Dberver自己修改max_result_ro

转载 Java 基础入门-异常处理

异常指不期而至的各种状况，如：文件找不到、网络连接失败、除0操作、非法参数等。异常是一个事件，它发生在程序运行期间，干扰了正常的指令流程。Java 异常的概念Java语言在设计的当初就考虑到这些问题，提出异常处理的框架的方案，所有的异常都可以用一个异常类来表示，不同类型的异常对应不同的子类异常（目前我们所说的异常包括错误概念），定义异常处理的规范，在JDK1.4版本以后增加了异常链机制，从而便于跟踪异常。Java异常是一个描述在代码段中发生异常的对象，当发生异常情况时，一个代表该异常的对象被创建

原创 oracle 介绍 to_char(数据,FM999990.09) 格式化函数

其中 9 代表 如果存在数字则显示数字，不存在显示空格其中 0 代表 如果存在数字则显示数字，不存在则显示0， 即占位符其中 FM 代表 如果是因为9 带来的空格则删除例子1：例子2：...

原创 PL/SQL Developer 12 首选项位置以及设置文字大小/颜色

网上很多是老版本PL/SQL的更换方法，需要找到首选项，但是新版本的PL/SQL没有工具-首选项按钮。下面重点来了，首选项改在这里。1、首选项位置---点击红框按钮2、选择用户界面---字体3、编辑器---选择...

转载 Vue占位符的使用

本人在学习使用vue过程中，想用空格当占位符，发现不起作用，搜索资料发现。类似于mybaties里，一些字符参数有指定的代号来代表，总结如下。&#32; == 普通的英文半角空格&#160; == &nbsp; == &#xA0; == no-break space （普通的英文半角空格但不换行）&#12288; == 中文全角空格 （一个中文宽度）&#8194; == &ensp; == en空格 （半个中文宽度）&.

原创 【解决】ClickHouse union all 错误386 There is no supertype for types UInt64(类型A), Int64(类型B)

适用范围：There is no supertype for types A, B问题复现： 在用union all，将两个相同字段名称的查询结果相连时报错。SQL语句：select count(distinct user) as "value", name from table1union allselect sum(userTotal) as "value" , name from table2报错日志：SQL 错误 [386]: ClickHouse excep..

转载 Java 四大元注解@Target、@Retention、@Documented、@Inherited

什么叫做元注解?? ==》用于注解【注释】的注解就叫做元注解注解叫做：元数据，标签，注释 元注解[数据]--->注解--->标记代码1.@Target ：用于描述注解的使用范围，也就是说使用了@Target去定义一个注解，那么可以决定定义好的注解能用在什么地方2.@Retention：用于描述注解的生命周期，也就是说这个注解在什么范围内有效，注解的生命...

转载 Apache Flink 1.10.0 最新发布，年度最大规模版本升级！

Apache Flink 社区迎来了激动人心的两位数位版本号，Flink 1.10.0 正式宣告发布！作为 Flink 社区迄今为止规模最大的一次版本升级，Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现，包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成以及对 Python 支持（PyFlink）的重大优化...

原创 【解决】Quartz定时任务java.sql.SQLRecoverableException: 关闭的连接/IO错误/连接超时

问题描述： 本人在做quartz的开发，已经在本地运行了多个程序，都正常。直到测试环境部署上，有一天发现任务阻塞，查看日志如下：2020-02-12 15:35:59.073 [com.mchange.v2.async.ThreadPoolAsynchronousRunner$PoolThread-#2] WARN com.mchange.v1.db.sql.StatementU...

原创 【解决】HikariPool-1 - Connection is not available, request timed out / Thread starvation or clock leap

我在用quartz开发多线程任务时，使用的c3p0连接池，查看日志发现错误日志如下：2020-02-11 00:15:27.260 [SchedulerFactory_Worker-1] ERROR 插入失败：nested exception is org.apache.ibatis.exceptions.PersistenceException: ### Error updating d...

原创 vue-json-viewer实现JSON效果【高亮、可折叠、可复制】

初学前端，用的架子是 vue+element ，目前有个需求，想将string类型的json字符串，以json格式展示。利用vue-json-viewer插件，利用这个插件，可方便快速实现 高亮，JSON折叠，copy 三种功能 ！！！官网地址：https://www.npmjs.com/package/vue-json-viewer效果展示先放最终效果：...

原创 【剑指Offer】重建二叉树（根据前序中序）

题目描述（根据前序中序，重建二叉树）：输入某二叉树的前序遍历和中序遍历的结果，请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6}，则重建二叉树并返回。接题思路：递归思想：每颗子树的根节点肯定是pre子数组的首元素，所以每次新建一个子树的根节点。每次将...

原创 【剑指Offer】斐波那契数列

斐波那契数列1,1,2,3,5... 数列从第三项开始，每一项等于前两项和。递归公式为:f(1)=f(2)=1,f(n)=f(n-1)+f(n-2),n>=3。递归解法：public class Solution { public int Fibonacci(int n) { if(n<=1){ return n; ...

原创 【解决】PageHelper 分页不生效

检查流程是否正确：一、ServiceImpl层：二、application.yml：配置是否正确三、重点来了~~~~maven依赖正确配置: <dependency> <groupId>com.github.pagehelper</groupId> <ar...

转载 深入理解容器技术——基础讲解

容器技术近年来越来越火，作为云原生技术的最底层基石，要开发云原生应用，就有必要对于容器技术有一个更加深入的了解。容器的概念特别多，docker、oci、cri、runc、containerd名字容易看晕，这边做一下总结Container首先先来了解一下，什么是容器？这边我们一般说的“容器”，都是“Linux容器”（当然现在微软也在搞容器，但还没linux上面那么成熟）。不同于一般认识，...

转载 垃圾收集器之G1

G1垃圾收集器是一种工作在堆内不同分区上的并发收集器。分区既可以归属于老年代，也可以归属新生代，同一个代的分区不需要保持连续。为老年代设计分区的初衷是我们发现并发后台线程在回收老年代中没有引用的对象时，有的分区垃圾对象的数量很多，另一些分区垃圾对象相对较少。虽然分区的垃圾收集工作实际还是要暂停应用线程，不过由于G1收集器专注于垃圾最多的分区，最终的效果是花费较少的时间就能回收这些分区的垃圾。这...

转载 Hive 之 元数据表结构详解

元数据是基础，这篇文章值得一读。本文介绍Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解。1、存储Hive版本的元数据表(VERSION)该表比较简单，但很重要。 VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 ...

原创 YARN设计思路（hadoop1.0与hadoop2.x）

转载 Calcite 原理解析

Apache Calcite 是独立于存储与执行的SQL解析、优化引擎，广泛应用于各种离线、搜索、实时查询引擎，如Drill、Hive、Kylin、Solr、flink、Samza等。本文结合hive中基于代价的优化，解析calcite优化引擎的实现原理。Calcite架构  Calcite架构图如下，其中Operator Expressions 是查询树在calcite中的表示，可以直接通...

转载 计算机网络基础知识总结(笔记)

　计算机网络学习的核心内容就是网络协议的学习。网络协议是为计算机网络中进行数据交换而建立的规则、标准或者说是约定的集合。因为不同用户的数据终端可能采取的字符集是不同的，两者需要进行通信，必须要在一定的标准上进行。一个很形象地比喻就是我们的语言，我们大天朝地广人多，地方性语言也非常丰富，而且方言之间差距巨大。A地区的方言可能B地区的人根本无法接受，所以我们要为全国人名进行沟通建立一个语言标准，这就是...

转载 ElasticSearch调优指南

作者：Ghost Stories原文：http://wangnan.tech/post/elasticsearch-how-to/ES 发布时带有的默认值，可为 ES 的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用，当你更清楚的知道你想如何使用 ES 后，你可以作很多的优化以提高你的用例的性能,下面的内容告诉你 你应该/不应该 修改哪些配置。第一部...

转载 Strom架构和原理

Storm 是一个分布式的，可靠的，容错的数据流处理系统。下面我将分别从storm的整体架构以及部分原理进行讲解。一、基本的概念storm中服务器节点分为主节点和从节点,Nimbus为主节点和Supervisor为从节点。以及若干组件构成。下面为对一些术语进行简单的介绍:Nimbus：主节点，是一个调度中心，负责分发任务Supervisor：从节点，任务执行的地方Worker：...

原创 hive常用函数和运算

hive 常用运算第一部分：关系运算Hive支持的关系运算符•常见的关系运算符•等值比较: =•不等值比较: <>•小于比较: <•小于等于比较: <=•大于比较: >•大于等于比较: >=•空值判断: IS NULL•非空判断: IS NOT NULL•LIKE比较: LIKE•JAVA的LIKE操作: RL...

原创 Hive sql常用语句整理

----------------------------------------------------------------------------------------------------数据库相关操作 Hive配置单元包含一个名为 default 默认的数据库. create database [if not exists] <database na...

原创 数据库相关知识点总结

范式第一范式（1NF）字段不可分，强调表的原子性。反例：第二范式（2NF）就是要有主键，要求其他字段都依赖于主键。表中的字段必须完全依赖于全部主键而非部分主键第三范式（3NF）就是要消除传递依赖，数据只在一个地方存储，不重复出现在多张表中。非主键外的所有字段必须互不依赖索引1、B+树：B+树 结构：1、其他节点只存键，不保存数据，2、所...

转载 Hadoop的各个Web界面的地址和接口

1、HDFS页面：500702、YARN的管理界面：80883、HistoryServer的管理界面：198884、Zookeeper的服务端口号：21815、Mysql的服务端口号：33066、Hive.server1=100007、Kafka的服务端口号：90928、azkaban界面：84439、Hbase界面：16010,6001010、Spark的界面...

原创 Oozie简介和运行实例

一、oozie简介Oozie是一个管理 Apache Hadoop 作业的工作流调度系统。官网连接：http://oozie.apache.org/1、安装：一是源生的，需要自己编译；（本文暂时不介绍具体的安装步骤，可以参考https://blog.csdn.net/lucylove3943/article/details/80673962）二是CDH的包来安装，和源生类似；...

原创 高中生都能看懂的卡方检验

卡方检验卡方检验，不了解的人乍一听，心想这是啥？怎么这么唬人啊。嘿嘿，不用担心和害怕，我会尝试白话介绍卡方检验，让你搞明白不费力！下面，我将从：什么是卡方检验，卡方检验在机器学习中能干什么的，以及卡方检验的实际应用三方面来逐步递进的介绍。1、什么是卡方检验1.1、简介卡方检验，出自于统计学，是统计学中的一种方法，在机器学习中也有应用到。卡方检验是用来检验两个变量之间有没有关系。...

原创 docker安装配置Jenkins详细教程

docker部署Jenkins1.1、拉取Jenkins的docker镜像 [isi@wg-16-6 ~]$ docker pull jenkins/jenkins:lts 等待镜像下载完成1.2启动Jenkins容器通过docker命令启动Jenkins容器 docker run -p 8070:8080 -p 50000:50000 -d ...