- 博客(23)
- 收藏
- 关注
RSS订阅原创 事物方案概述
文章目录事务方案概述一、本地事务隔离问题：锁实现：数据库隔离级别对应MVCC多版本并发控制二、全局事务“两段式提交”（2 Phase Commit，2PC）协议事务方案概述一、本地事务隔离问题：脏读不可重复读幻读锁实现：1. 写锁（Write Lock，也叫作排他锁，eXclusive Lock，简写为 X-Lock）：如果数据有加写锁，就只有持有写锁的事务才能对数据进行写入操作，数据加持着写锁时，其他事务不能写入数据，也不能施加读锁。2. 读锁（Read Lock，也叫作共享锁，Sh
2022-01-24 21:59:46
789
原创 Java系列——类加载流程
文章目录类加载一、类加载流程1. 加载：把class文件读取到堆中2. 连接：对class进行校验、静态空间分配、引用连接2.1 校验2.2 准备2.3 解析3. 初始化：对类成员变量进行初始化4. 使用5. 卸载二、双亲委派类加载器双亲委派模型类加载前提—编译： java文件 ——> class文件类加载定义： 经过一系列连接、校验、初始化等操作后，将class文件装载到内存，形成jvm可以使用的数据格式什么时候类加载？ 没有明确规定，由jvm实现。但是class文件存在错误时，在第一次引
2021-01-27 20:44:00
139
原创 Java系列——事务初讲
文章目录Java系列——事务初讲脏读、幻读、可重复读Mysql事务隔离级别Spring事务隔离级别Spring事务传播机制Java系列——事务初讲脏读、幻读、可重复读脏读： 可以读到另一个未提交的事务B，当B事务回滚时，A读到的该条数据为失效的脏数据不可重复读： A事务对同一条数据读取两次，但是两次读取中间有B事务修改了该条数据，导致A事务前后读取结果不一致**幻读：**A事务里对同一条件查询两次（例如：id > 10），但是前后查询中间有B事务增/删了结果数据，导致A事务两次查询结果不一致
2021-01-26 20:29:37
118
原创 【k8s篇】k8s自动扩缩容hpa
【k8s篇】自动扩缩容hpaAPI Version版本Metric API支持使用自定义指标教程HPA behavior字段——可配置的扩缩配置扩缩策略稳定窗口behavior配置示例：常用操作命令yaml配置自动生成hpa.yamlhpa.yaml示例API Version版本autoscaling/v1 ： 只支持基于 CPU 指标的扩缩autoscaling/v2beta2：（ k8s 1.6+）自定义指标。Horizontal Pod Autoscaler 支持使用自定义指标。 你可以使用
2020-12-11 16:31:44
3323
原创 【扫盲篇】RAID磁盘阵列
RAIDRAID(Redundant Array of Independent Disks的缩写，中文简称为独立冗余磁盘阵列)，用于磁盘高可用和性能提升分类：raid0：RAID0 是一种非常简单的的方式，它将多块磁盘组合在一起形成一个大容量的存储。当我们要写数据的时候，会将数据分为N份，以独立的方式实现N块磁盘的读写，那么这N份数据会同时并发的写到磁盘中，因此执行性能非常的高。缺点：数据只有一份，如果某块磁盘损坏，会造成数据丢失总结：一份数据分成n份，并行写入多块磁盘，提升写入速度。但是不
2020-11-24 21:19:09
205
原创 K8S初探
K8S初探——基本概念+服务启动核心概念Pod：Pod是在K8s集群中运行部署应用或服务的最小单元，它是可以支持多容器的。Pod的设计理念是支持多个容器在一个Pod中共享网络地址和文件系统，可以通过进程间通信和文件共享这种简单高效的方式组合完成服务。（Pod是一组容器的组合，这些容器一起合作对外提供一个服务）复制控制器（Replication Controller，RC）RC是K8...
2019-12-30 15:31:10
190
翻译 《Effective Java》——创建和销毁对象
对象创建和构造Item1: Consider static factory methods instead of constructors （考虑使用静态工厂方法替代构造器）静态工厂方法示例Why？limitationItem2： Consider a builder when faced with many constructor parameters（拥有很多构造参数时，考虑使用builder...
2019-07-23 19:53:41
141
原创 大数据之道与术
记得曾听人说过，最重要的构建起自己的思维体系。现在隐隐约约能够有些理解，成长就是建立并不断完善自己思维体系的过程。很久没写东西，但是对于最近的这几本书我觉得带给我蛮多惊喜，给了我不同的视角去看事情，需要将自己的一点点想法化成文字记录下来。仅对于大数据这块，浅谈一下自己想法。作为一只小码农，兵来将挡水来码掩，一心扑在实现具体需求上，只注重技术实现，而没有从整体，站在更高的视角去看待数据问题。大数...
2018-12-27 23:20:50
494
原创 数据结构之链表
链表特性链表不能随机访问某一位置的节点，需要从头遍历。所以读取需要O(N)时间复杂度在链表开始或结尾增加删除操作只需要O(1)时间复杂度（双链表删除为O(1),单链表删除为O(N)）所以链表一般多用于重增删少读取的业务场景常用数据结构时间复杂度对比：单链表代码实现包含链表环检测，链表翻转，链表对称判断等leetCode题目package pers.hywel.algorith...
2018-12-05 19:28:51
149
原创 算法之动态规划DP
基本思想：若要解一个给定问题，我们可以解其不同部分（即子问题），再根据子问题的解以得出原问题的解。通常许多子问题非常相似，为此动态规划法试图仅仅解决每个子问题一次，从而减少计算量：一旦某个给定子问题的解已经算出，则将其记忆化存储，以便下次需要同一个子问题解之时直接查表。这种做法在重复子问题的数目关于输入的规模呈指数增长时特别有用。适用情况最优子结构性质：如果问题的最优解所包含的子问题的解...
2018-12-04 15:44:16
368
原创 大数据集群之CDH版本搭建完整版
如果感兴趣，可以移驾我的博客，原文地址：https://hywelzhang.github.io/2017/11/03/%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA-CDH%E6%90%AD%E5%BB%BA.html大数据集群 ，集群搭建，hadoop搭建，hive搭建，spark搭建
2017-11-03 20:45:32
10895
原创 Spark Streaming + Kafka
基于kafka低阶api的Direct访问方式(No Receivers)我的原文地址https://hywelzhang.github.io/2017/04/01/Spark-Streaming-kafka.html关于使用Direct Approach (No Receivers)方式来接收Kafka数据的好处我就不多讲了。长话短说： 1. 防止数据丢失。基于Receiver的方式，会启用一个
2017-04-01 19:38:54
1609
1
原创 【Maven】构建多模块maven开发项目
更多请参考我的博客：https://hywelzhang.github.io/2017/03/27/Maven-Multi-modules.html为什么需要构建一个多模块开发框架？项目为什么需要划分成模块： 1. 当项目越来越大，每个模块越来越可能会引用一些相同的jar包，但是版本不一致，很容易造成项目的版本冲突 2. 项目模块之间用到的一些util类，在其他项目也可能会用到。将util独立成
2017-03-27 11:09:30
450
原创 shell中常见参数及判断命令
Shell常用特殊变量经常会在shell命令中，看到$0, $#, $*, $@, $?, $$这样的取值，这些代表什么呢？ 变量 含义 $0 当前脚本的文件名 $n 传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个参数是$1，第二个参数是$2 $# 传递给脚本或函数的参数个数 $* 传递给脚本或函数的所有参数 $@ 传递给脚本或
2017-03-17 14:09:43
15769
原创 2017-02-06折腾随记
这几天也不忙就折腾了一些 小东西，随便记一下。内网穿透公司把所有上传类网站都禁掉了，当然github肯定没跑了。在公司都连不上，哪里还有后续。尝试连github一直报错误，连接非私密，感觉是证书问题，于是把现在的证书删了，重新导入，但是好像并没有什么用。第一个方法，跪掉。还是想想另一个方法，将自己家里的电脑作为跳板，通过它访问github不就好了？由于家里电脑肯定都是在内网，192.XXX.XXX.
2017-02-06 18:09:34
241
翻译 Spark Configuration
Spark PropertiesSpark properties能够控制大部分的程序设置，并且可以为每个程序分开配置。properties能够通过SparkConf直接设置然后传入到SparkContext。SparkConf允许用户配置一些公用属性（例如：master URL和程序名称），也允许使用set()方法，传入key-value键值对来设置。例如，我们初始化一个拥有两个线程的应用程序
2016-10-19 11:46:16
1578
原创 ORACLE常用函数学习记录
SUBSTR REGEXP_COUNTREGEXP_INSTRREGEXP_SUBSTRREGEXP_REPLACEREGEXP_LIKE
2016-09-28 14:20:07
228
翻译 Spark Streaming + kafka
方法一 createStream基于Receiver 这种方法基于Receiver来接收数据，使用kafka高级自定义API实现。和所有的receivers一样，这种接收方式通过Receiver从kafka接收数据存储到Spark executors节点，然后运行job通过Spark Streaming处理数据 然而，默认配置下，这种方法在执行失败时会丢失数据（查看Receiver可靠性）。
2016-04-05 17:37:02
850
1
原创 sqoop基本命令
sqoop连接 sqoop import –connect jdbc:mysql://localhost/db –username name –password 12345手动指定驱动 –driver com.microsoft.jdbc.sqlserver.SQLServerDriver 数据导入hive –hive-import 写sql语句导入 –query ‘selec
2016-03-25 16:37:42
661
原创 IPV4数据报
无连接数据包交付（IPV4）TCP/IP互联网提供三组服务： 应用服务 可靠的运输服务 无连接的分组交付服务IP数据报格式： 第一行 1.版本（4位字段）：IP协议的版本，确保与软件预期格式匹配。 2.首部长度（4位字段）:度量数据报首部长度。如果不包含可选字段和填充，长度为20位八位组，首部长度字段为5； 3.服务类型（TOS）：前6位组成码点字段，后两位
2015-11-05 11:59:18
1469
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人