- 博客(644)
- 资源 (13)
- 收藏
- 关注
RSS订阅
原创 Flink 1.12.2 源码浅析 : 目录汇总 [持续更新中....]
Flink 1.12.2 源码浅析 : 环境准备Flink 1.12.2 源码浅析 : 本地DEBUG环境准备Flink 1.12.2 源码浅析 : 相关启动脚本Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [一]Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [二]Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [三]Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [四]Flink 1.
2021-04-16 01:26:54
1712
1
原创 Kerberos 安装&使用
.一 .前言二 .搭建Kerberos Server2.1.使用 yum 安装Kerberos Server的套件2.2. 配置 /etc/krb5.conf2.3. 配置 /var/kerberos/krb5kdc/kdc.conf2.4. 配置 /var/kerberos/krb5kdc/kadm5.acl2.5. 初始化Kerberos的数据库2.6. xxx三 .xxxxxx3.1. xxx3.2. xxx3.3. xxx3.4. xxx3.5. xxx3.6. xxx四 .xxxxxx4.1. x
2021-03-27 01:03:42
3995
3
原创 Flink 从1.7 到1.12版本升级汇总
-------------------------一 .前言二 .Flink 1.7 版本2.1. Flink中的Scala 2.12支持2.2. 状态变化2.3. Exactly-once语义的S3 StreamingFileSink2.4. Streaming SQL中支持MATCH_RECOGNIZE2.5. Streaming SQL中的 Temporal Tables 和 Temporal Joins2.6. 版本化REST API2.7. Kafka 2.0 Connector2.8.
2021-02-18 19:51:41
3427
原创 Spark2.3.2源码解析 [目录]
Spark基础知识详解Spark2.1 内存管理详解Spark2.3.2源码分析：1.代码阅读环境准备Spark2.3.2源码解析： 2.启动master节点流程源码分析Spark2.3.2源码解析： 3.启动worker节点启动流程源码分析Spark2.3.2源码解析： 4.1.Yarn cluster 模式 SparkSubmit源码分析（一）Spark2.3.2源码解析： 4.2.Yarn cluster 模式 SparkSubmit源码分析（二）ApplicationMasterSpa
2021-01-12 20:32:47
2378
原创 Hadoop3.2.x YARN源码分析目录汇总 [持续更新中....]
Hadoop3.2.x YARN源码分析目录汇总如下:Hadoop3.2.1 【 YARN 】源码分析 : RPC通讯解析Hadoop3.2.1 【 YARN 】源码分析 : ResourceManager 浅析Hadoop3.2.1 【 YARN 】源码分析 : ClientRMService 浅析Hadoop3.2.1 【 YARN 】源码分析 : AdminService 浅析Hadoop3.2.1 【 YARN 】源码分析 : ApplicationMaster 浅析Hadoop3.2
2020-12-28 09:26:38
1878
原创 为什么HDFS文件块（block）大小设定为128M解析.
Table of Contents一.前言二. block 大小设置原则：最小化寻址开销,减少网络传输.三、为什么HDFS中块（block）不能设置太大，也不能设置太小？四、 HDFS中块（block）的大小为什么设置为128M？一.前言HDFS中存储数据是以块（block，这只是一个逻辑概念）的形式存储在DataNode，block大小可通过设置HADOOP_HOME/etc/hadoop/hdfs-site.xml中dfs.blocksize实现（设置时先stop集群，修改.
2020-10-11 23:42:31
10459
10
原创 Hadoop3.2.x HDFS源码分析目录汇总 [完结]
Hadoop3.2.0 源码编译 [一]MAC版本: Hadoop3.2.0 源码编译 [ 二 ]Hadoop3.2.0 源码分析: SHELL启动脚本 DEBUG 模式Hadoop3.2.0 源码分析: namenode 启动Hadoop3.2.0 源码分析: datanode 启动Hadoop3.2.0 源码分析: ResourceManager启动Hadoop3.2.0 源码分析: NodeManagerHadoop3.2.0 源码分析: Container 之...
2020-09-27 09:28:38
13059
2
原创 [JVM]了断局: [ 目录 ]
[JVM]了断局: 说什么也没用,背就完了[必背][JVM]了断局: “运行时数据区“理论梳理[JVM]了断局: 类文件结构梳理[JVM]了断局: JDK默认配置.[JVM]了断局: G1 入门[JVM]了断局: 类加载机制原图:https://www.processon.com/view/5cff6c05e4b0a65d8095d130未完,待补充................
2020-08-24 21:09:07
9978
原创 Hadoop3.2.1 RPC通讯 一锅端
下面是最近整理的关于Hadoop3.2.1 RPC 的通讯文章汇总,以及我最后画的一张从Client端请求到Server端的流程图.有什么不对的地方,欢迎指正...Hadoop3.2.1 【 HDFS 】源码分析 : RPC实现 [一] proto接口协议Hadoop3.2.1 【 HDFS 】源码分析 : RPC实现 [二] 概述&使用Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [三] 概述&原理Hadoop3.2.1 【 HDFS 】源...
2020-06-21 23:08:28
11120
原创 基准测试神器 - JMH [ Java Microbenchmark Harness ]
一. 简介JMH，全称 Java Microbenchmark Harness (微基准测试框架），是专门用于Java代码微基准测试的一套测试工具API，是由 OpenJDK/Oracle官方发布的工具。其精度可以达到毫秒级.可以执行一个函数需要多少时间,或者一个算法有多种不同实现等情况下,选择一个性能最好的那个.Java的基准测试需要注意的几个点：测试前需要预热...
2020-05-06 15:24:42
3628
3
原创 CentOS7.6 万兆网卡性能测试.
Table of Contents一. 物理机&软件:二.网卡信息三. 安装netperf四. 开启多队列功能五. 测试六. 查看结果七.总结最终结果极限 万兆网卡: 网络吞吐量 大约为9409.58Mbit/s ≈1176M/s本文章主要是为了测试万兆网卡的传输速率.一. 物理机&软件:1.两台装有万兆网卡的物理机, ...
2020-04-22 15:51:43
18876
原创 docker login : x509: certificate signed by unknown authority
docker login 登录harbor镜像仓库报错.
2023-08-29 20:27:55
1990
原创 k8s 重装flannel . 解决cni failed to set up pod “xxxxx“ network: failed to set bridge addr
在安装k8s的时候,采用了flannel组件. 安装完之后, 有报错. 应该是多次安装的时候, flannel没清理干净.
2023-08-28 11:12:03
729
原创 kubeadm init 失败: failed to pull image k8s.gcr.io/etcd:3.4.13-0
因为k8s.gcr.io镜像库在国内需要翻墙，所以普通下载无法成功完成，可以更改一下下载的镜像库地址为国内地址，下载后将标签打回和kubeadm config一致的方法解决。
2023-08-25 12:12:08
929
原创 docker安装报错: Requires: container-selinux ＞= 2:2.74
Error: Package: containerd.io-1.6.22-3.1.el7.x86_64 (docker-ce-stable) Requires: container-selinux >= 2:2.74Error: Package: 3:docker-ce-19.03.15-3.el7.x86_64 (docker-ce-stable) Requires: container-selinux >= 2:2.74
2023-08-25 11:27:49
541
原创 ApplicationListener , @EventListener 和 CommandLineRunner 启动顺序验证
排查线上问题, 发现一个重要功能的全局锁线程启动延迟很高. 服务启动40分钟之后, 才能拿到锁. 排查之后发现原因是因为代码引入了高优先级的ApplicationListener代码, 导致全局锁线程启动延迟.
2023-08-21 12:04:00
459
原创 Java synchronized锁 String 和 Integer 会有什么问题?
java synchronized 锁String , Integer 对象...
2022-06-21 23:45:00
924
1
原创 使用archas确定线上环境是否缺少jar包.
一. 背景 线上环境发送kakfa消息的时候, 报错:org.apache.kafka.common.KafkaException: java.lang.NoClassDefFoundError: Could not initialize class org.apache.kafka.common.record.CompressionType$SnappyConstructors at org.apache.kafka.common.record.CompressionType$3.w
2022-04-26 00:00:00
457
1
原创 NoClassDefFoundError: Could not initialize class org.apache.kafka.common.record.Compressio
一. 问题报错信息org.apache.kafka.common.KafkaException: java.lang.NoClassDefFoundError: Could not initialize class org.apache.kafka.common.record.CompressionType$SnappyConstructors at org.apache.kafka.common.record.CompressionType$3.wrapForOutput(Com
2022-04-21 00:00:00
3209
原创 Mysql 连接报错 Table ‘performance_schema.session_variables‘ doesn‘t exist
一. 报错信息2022-02-23 10:58:56,849 [4126] - ERROR [main:DBAccessorImpl@117] - Error while creating database accessorcom.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'performance_schema.session_variables' doesn't exist at sun.reflect.Generat
2022-02-23 23:30:00
639
原创 Mysql 更改用户名密码
一. 前言最近要重置mysql密码, 记录一下.二. 方案一关闭正在运行的MySQLservice mysqld stop-------或者------systemctl stop mysqld启动MySQL的安全模式,命令如下:mysqld_safe --skip-grant-tables &完成以后就可以不用密码进入MySQL了mysql -u root -p修改密码use mysqlupdate mysql.user set aut
2022-02-23 23:15:00
2158
原创 MYSQL的分区表创建示例
MYSQL的分区字段，必须包含在主键字段内。存在问题,如果按照create_time日期建立索引, 需要在唯一索引里面也要包含这个字段. 因为create_time会变,会导致唯一索引失效.如果是在程序中做唯一验证,在并发情况下,会导致唯一索引失效.建分区表SQL示例如下, 使用create_time作为分区字段.use test ;DROP TABLE IF EXISTS `t_user`;CREATE TABLE `t_user`( `id` big
2022-02-08 23:00:00
2603
原创 FileZilla通过ssh key连接服务器
一. 背景需要去服务器拿文件, 突然发现是采用秘钥登录的. 所以记录一下如何用FileZilla 登录.二. 操作.2.1. 文件 -> 站点管理2.2. 新建站点2.3. 输入连接信息 : 协议/主机/端口/登录类型/用户/秘钥文件 —> 点击连接登录....
2022-01-17 22:00:00
1704
原创 SSH登录 禁用传递语言环境到服务器.
一. 问题描述ssh指令登录服务器的时候,默认会将本地的 $LANG 环境变量传递到服务端, 这样在服务器端执行一些指令的时候,会导致环境中的语言变为中文. 比如执行java指令, 在java中获取日期函数的时候, 星期会变为中文,这样程序如果有对星期做处理的话, 就会获得中文的"星期五" . 程序处理的时候就可能报错…本地环境BoYi-Pro:~ sysadmin$ echo ${LANG}zh_CN.UTF-8服务器正常环境 : en_US.UTF-8root@master01
2021-11-17 20:41:01
1106
原创 Open JDK 8.0_152-b16 崩溃 : [libzip.so+0x12522] newEntry+0x62
一. 问题描述在执行spark任务的时候, JVM崩溃. 崩溃dump日志:## A fatal error has been detected by the Java Runtime Environment:## SIGBUS (0x7) at pc=0x00007f9adacb9522, pid=107874, tid=0x00007f9add417700## JRE version: Java(TM) SE Runtime Environment (8.0_152-b16) (buil
2021-11-15 23:36:40
2579
原创 K8S 之 Pod定义梳理
一. 前言Pod是Kubernetes中能够创建和部署的最小单元，是Kubernetes集群中的一个应用实例，总是部署在同一个节点Node上。Pod中包含了一个或多个容器，还包括了存储、网络等各个容器共享的资源。Pod支持多种容器环境，Docker则是最流行的容器环境。二. 配置信息Pod的配置信息中有几个重要部分，apiVersion、kind、metadata、spec以及status。其中apiVersion和kind是比较固定的，status是运行时的状态，所以最重要的就是metadat
2021-09-25 01:37:49
998
原创 GIT配置用户名&邮箱
一. 全局配置设置全局用户名 :git config --global user.name “FIRST_NAME LAST_NAME”是指全局邮箱:git config --global user.email “[email protected]”二. 私有项目配置设置项目用户名:git config user.name “FIRST_NAME LAST_NAME”设置项目邮箱:git config user.email “[email protected]”验
2021-08-21 19:47:34
728
原创 kubernetes 集群状态异常 [ connect: connection refused ]
获取kubectl状态有报错信息: Get “http://127.0.0.1:10251/healthz”: dial tcp 127.0.0.1:10251: connect: connection出现这种情况，是/etc/kubernetes/manifests下的kube-controller-manager.yaml和kube-scheduler.yaml设置的默认端口是0，在文件中注释掉就可以了现象[root@master01 manifests]# kubectl get csW
2021-08-21 19:46:55
4619
原创 CentOS7.x 安装make 指令
提示错误：make: command not foundmake是gcc的编译器，一定要安装 1、安装：yum -y install gcc automake autoconf libtool make2、安装g++:yum install gcc gcc-c++
2021-08-20 21:45:57
3235
jdk-8u251-macosx/linux/windows 多版本下载
2020-06-28
Flink基础教程.pdf
2019-05-28
深入理解计算机系统（原书第3版）PDF 计算机科学丛书 [美] 兰德尔 E.布莱恩特
2019-03-08
Java虚拟机规范（Java SE 8版） 带书签
2018-10-26
Thinking in UML(2 edition)
2014-06-24
JavaScript语言精粹
2014-06-24
《谁说菜鸟不会数据分析》入门篇-简版电子书
2014-06-24
[逻辑思维训练500题II].于雷.扫描版
2014-06-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人