DrawnBreak

原创 Spring事务管理

原创 java早期和晚期编译优化——知识点速览

早期编译优化编译过程大致分为3类：解析与填充符号表注解处理分析与字节码生成源码JavaCompiler里的关键过程：第一步：第二步语法分析、词法分析第三步:第四步：执行注解处理接着就是语义分析及字节码生成以上的关键点:词法语法解析是第一步，生成符号注解处理是第二步然后语法糖、字节码都是第三步的事情。上述步骤的详细解释：第一步：-------词法分析：就是代码转成token标记。例如int a=b+2 转成 Int \a=\b+\2 这6个to

原创 Java编译优化你真的读懂了吗？15个问题考验一下自己

文章目录早期编译过程晚期编译优化首先提出一个问题，为什么C++的编译速度会比java慢很多？二者运行程序的速度差异子啊那？ 了解了java的早期和晚期过程，就能理解这个问题了。这里会提15个问题确认是否真的理解，如果完全没这方面的概念，则好好看一下前面的早期和晚期编译优化读书笔记早期编译过程Q: java早期编译过程分为哪3步？A:词法语法解析、填充符号表注解处理语义分析与字节码生成。Q: 上面的步骤中， 符号表是干吗的？A:符号表是符号地址和符号信息构成的表格。用于后面

原创 每天1个java知识点——java语法糖

泛型擦除:java中的泛型只在 程序源码中存在， 在编译后的字节码文件中已经替换为原生类型， 并会插入一些强制转换的代码。即T f(T t) { T a = T.getA(); return a}实际上是T f(Object t) { Object a = （T）t.getA(); return (T)a;}即只在会方法的入口 和方法的出口处，做强制转换， 而实际上传入的都是原生类型，可以理解为object神奇的例子：public static

原创 每天1个算法小技巧——绝对值动态规划问题

大段整理算法太累了，但是有任务需要我这么做，只好每天写一点，后面再合并好了。涉及 绝对值的最大值问题， 或者涉及 某某距离绝对值 和另一个值做相加的总和最大值之类的问题， 要学会把绝对值拆开来， 推导出一个你可以用来做动态规划的式子。先不考虑题目内容， 直接看下面的解法，没拆开前，必须遍历m次，才能得到max。 他把绝对值拆开后，得到了一个O(1)即可确定的结果。题目来源：5815. 扣分后的最大得分...

原创 每天一个java知识点——ThreadLocal

最近感觉成长陷入了阻塞，特此给自己制定1个”每天1个XX知识点“的查漏补缺计划。Q： ThreadLocal的常见使用场景？A：每个线程中需要维护1个不同的副本， 但这个副本可能是某一个时刻一起塞入每个线程的， 只不过之后该副本的变化 不再受其他线程的影响。常见场景有连接器管理模块connectorManager， 每个线程持有的connect变量是单独使用的，不会互相影响或者需要加锁。原因就是将其作为副本放入每个线程，当线程启动连接或者关闭时，不影响其他线程里的getConnect方法。Q：

原创 当我们练习算法题时，我们究竟在收获什么？

最近某公司内部出了一则通知， 大意是要求所有在岗的技术人员必须通过内部的一系列技术考试， 内容包括leetcode这类机制的上机编程题。如果规定时间内没通过，则可能被调离到其他岗位。在寻找方法、攻略并进行练习时，不妨先思考一个问题， 备考的过程除了收获一个证书，我们还应该从中收获什么？一、提升开发者自测能力这类考试有一个特点，就是不会给出“错误用例”。有时也会听到“为什么不能提示错误用例”之类的吐槽。这种思维类似于"测试为什么没测出来这个bug" 、“缺少堆栈和日志，不能设断点，我没法排查这

原创 当我们学习TCP/IP时，我们在学什么？

春节后的1次小问题春节假期之后，我回到工位，发现开发用的3台实验机器中，有1台使用EIP（外网ip）登不上了， 只能使用vpn去连接小网ip登录。咨询了一下物理机管理员，说假期因为实验室维护, 重启了机器，线路正常， 应该是机器的网络配置之前只临时生效，重启后就没了，让我自己查查看。于是只能努力从大脑里挖掘有关计算机网络的回忆， 发现没啥好思路，去内网搜了下类似问题，才知道路由会影响eip， 对比了1下失效机器 和其他正常机器的路由表配置， 才发现缺少到NAT网关的路由，导致报文无法往回发。修

原创 《深入理解计算机系统》笔记以及知识点总结

部分补充图片和内容来自csdn文章目录1 操作系统的运行1.1运行状态1.1.1 用户态1.1.2 核心态1.2 系统调用1.3 中断和异常1.4 linux延申2 进程2.1 概念和特征2.2 进程状态机图2.3 进程状态变化时的具体过程2.3.1 进程创建2.3.2 进程的终止2.3.3 进程的阻塞2.3.4 进程唤醒2.3.5 进程切换2.4 进程的组成2.4.1 PCB进程控制块2.5 进程之间的通信2.6 linux延申3 线程3.1 概念3.1.1 目的3.1.2 组成3.1.3 实现方式3.

原创 第 230 场周赛记录（283 / 3727）

前面3题中规中矩， 思路不难，就是代码写得有点慢，被猫吵得有点烦。第四题，思路想出来了，但是运行程序时各种出错。比赛结束后重写了以下竟然就对了，看来还是太急了。以后可以加个技巧：每次把思路用文字写在注释里，这样也可以提前考虑一些边界条件，不要怕时间不够，就怕写错代码。如果动态得计算每次的情况会很麻烦。当 2俩车（高速a和慢速b)合并后，那在后面的跟车（如果速度快都）其实一开始就在追逐慢速b，那么相遇时间就是和慢速b的时间， 不用考虑a了。那么就想到了贪心，每次选相遇时间最短的出队，此.

原创 第 229 场周赛记录（460 / 3483 ）

前2题太水了忽略。结果第三题卡了1个半小时解决，差点连前500都木有了这题很容易让人想到dp，但是10^3的限制让人没办法弄二维dp数组去确认每个区间的最大结果。这里犯了错误，像这种有严格限制的提示， 区间[a,b]是肯定没那么简单，必须要我全部求出来才行。这里因为只能开头或者末尾处删除， 当我之前选择删除了k个时，末尾或者开头的数量则是有限制的，想到这点就能解了。还有就是二维dp转1维dp，如果某维度每次只会+1或者-1，则可以去掉，每次复用和更新上一次的维度。 public int.

原创 第 46 场双周赛记录（119 / 1647)

懒得总结题目了。记一下需要注意的地方：对于简单题，数量范围都在暴力范围内，这时候就考验代码能力，能否迅速写正确。 第一题我花了18分钟是因为对大小写的转换方法用得不对。第二题好像是个逻辑题，也不用算法。第三题，bfs应用，思路不难，但是花了20分钟，有一般用在确认可行性上了。 还有优先队列的比较方法总是记不清： 记住默认是小顶堆，即对数组做sort后的第一个元素默认是最小的一样。公约数应用以及树的dfs遍历题。正常思路会超时， 但只要想到怎么利用父亲节点传下来的信息，具体忘了。.

原创 计算机网络学习笔记之应用层

文章目录1 DNS1.1 域名1.2 域名服务器1.3 域名查找机制1.3.1 迭代查找（最常用）1.3.2 递归查找（很少）2 FTP文件传送协议2.1 文件上传过程2.2 文件下载过程3 TFTP 简单文件传送协议4 P2P文件传输4 SMTP电子邮件协议4.1 组件构成4.1.1 用户代理UA（user agent)4.1.2 邮件服务器4.1.3 协议4.2 通信步骤4.2.1 连接建立4.2.2 邮件传送4.2.3 连接释放4.2.4 POP推送给客户端UA5 HTTP协议5.1.1 Http为什

原创 计算机网络学习笔记之传输层

文章目录1 传输层和网络层的区别：1.1 负责对象的不同1.2 校验上的不同2 端口号2.1 端口号的意义2.2 端口号范围3 TCP3.1 TCP首部3.2 滑动窗口3.2.1发送端窗口3.2.2 接收端窗口3.2.3 坚持定时器3.2.4 糊涂窗口3.3 TCP连接流程3.3.1 握手和挥手流程3.3.2 两边同时相互建立连接会发生什么？3.3.3 两边同时关闭连接会发生什么3.3.4 交互数据3.3.5 异常情况3.4 拥塞避免机制3.4.1 建立连接后，每次发送的报文数量是固定的吗？3.4.2 慢启

原创 计算机网络学习笔记之网络层

文章目录1.IP地址1.1 分类表示法：1.1.2 分类表示地址的其他说明1.2 无分类编址CIDR2 IP数据报文格式3.路由概念3.1 路由表3.2 路由网络匹配3.3 ARP解析3.4 RARP逆地址解析协议4 ICMP协议5 DHCP协议6.路由表的最优下一跳地址如何计算？6.1 RIP协议6.2 OSPF协议6.3 BGP协议7 多播7.1 IGMP协议7.2 MOSPF多播路由选择协议8 其他网络层概念8.1 VPN8.2 NAT8.3 移动IP9 常见网络层命令1.IP地址1.1 分类表示

原创 计算机网络学习笔记之基础概念

互联网发展阶段分组交换网ARPANET——美国国家基金会NSF——三级网络模型： 主干网、地区、校园/企业往多层次 ISP 结构ISP： 互联网服务提供商， 申请ip租给用户[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ja7k64lh-1613409272592)(en-resource://database/1830:1)]IXP： 互联网交换点—— 可让2个网络直接相连，交换分组，用局域网互联。分层模型OSI七层模型应用层表示层（数据信息变化）

原创 计算机网络学习笔记之物理层

作用在传输媒体上传输比特流对链路层而言， 不需要关心通信手段、传输媒体的差异，因为这些东西都由物理层去处理这个层面怎么优化？提升线路质量，提升带宽通信原理应用，如何设计电平传输波形， 频分、波分、码分如何评价物理层接口机械特性： 接线器大小、尺寸电气特性： 电压范围高低功能特性：某电平对应某个功能， 信号线。过程特性：各事件顺序传输方式转换传输媒体导引型传输（固体传播）双绞线2根绝缘铜线并排校合，可以减少电磁干扰电话到交换机就是这个线要接的距离太长怎么办。总是

原创 计算机网络学习笔记之链路层

1.1链路层的功能控制物理介质访问，把传输协议加到链路上对传输的数据可做管理和控制，避免因为电平出错导致数据错误却无法发现1.2链路层协议设计的3个重要概念帧定界问题通过添加首部和尾部（例如SOH 0x01或者E OH0x04， 也称做界限符），把数据封装成一帧。帧的最大帧长度叫MTU透明传输问题为了避免帧中数据也存在首部尾部导致获取时出错， 填充字符时，界限符需要做转义差错控制问题纠错：为了避免传输过程因为电路波动存在问题，需要做检查。循环冗余CRC校验（ARQ方

原创 spark的master、worker、exeuctor容错机制

我们看下spark是怎么针对master、worker、executor的异常情况做处理的。容错机制-exeuctor退出首先可以假设worker中的executor执行任务时，发送了莫名其妙的异常或者错误，然后对应线程消失了。我们看这个时候会做什么事情上图总结下来就是：executor由backend进程包着，如果抛异常，他会感知到，并调用executorRunner.exitStatus()， 通知worker看下通知worker之后发生了什么：worker会通知master，mas

原创 第 228 场周赛记录（490 / 2483)

第一题（3分钟）：这题其实还是慢了， 应该1分钟能搞定， 因为数据量很小，所以可以直接考虑2个for循环验证0101 和1010这2种情况的数量， 都不用再去做什么推断之类的。。第二题（10分钟，对xxxx里包含多少个x组合计算错误）这题也很简单， 其实只要知道一个 aaaa里包含多少个同构字符串即可当时竟然算错了。。应该直接用土方法算1个简单的aaaa里包含多少个，算出来就可以4个a加上3个aa加上2个aaa加上1个aaaa， 等于4+3+2+1=10后面都好办了，按理应该5分钟搞定.

原创 第 45 场力扣双周赛对战记录（530 / 1676）

该博客纯粹用于自我分析和总结不足点， 没啥用，大家不用太关注。最后一题在比赛结束后15分钟才写正确。第一题没什么好讲的，忽略。第二题（30分钟，连续子数组和做法记忆不深刻）：这不就是连续子数组最大和吗？只不过换成了和的最大绝对值。。然后我写了30分钟，直接血崩。。。原先的连续子数组最大和做法是这样的：sum[i]代表从i位置向后的最大连续子数组和则sum[i] = Math.max(num[i] + sum[i+1], num[i+1])即要么把自己和后面拼起来，要么就不和后面拼。

原创 图解spark-local模式运行原理

local部署模式首先spark运行时有4个角色，如下：Driver:应用驱动程序, 是spark集群的客户Master：Spark的主控节点，是spark集群的老板Worker：Spark的工作节点，是集群的各个节点主管Executor：Spark的工作进程，由worker监管，负责具体任务的执行简单local模式运行流程（无集群）我们先看下启动任务前， driver和executor之间，简单发生了什么（注意local模式下，executor是在driverApp里面的）：loca

原创 第 226 场力扣周赛对战记录（排名356 / 4012）

感觉最近工作上写代码时有点力不从心，决定玩玩leetcode周赛锻炼下手感。这里记录每次周赛的心得，并且会以周赛题目中自己不擅长的地方为点，扩展题目训练或者记录技巧心得。历史周赛记录见：***第一题：做法：直接遍历所有小球， 计算小球各位之和后， 放进盒子里，最后统计一下盒子中球数量最大值。手速题。 java新手注意以下几点：因为球...

原创 图解spark之spark如何做reduce时的数据拉取

spark的reduce过程究竟做了什么呢？我们可以看一下：先拉取数据，在聚合，最后会调上一章讲map操作时的insertAll方法即缓存结果的方法。如何做reduce聚合没啥好说的，我们看下他是怎么读取中间计算结果的1.从BlockManage处获取map任务的状态信息首先会试图获取任务的状态信息，以确认当前从哪里读取数据我们看下是从具体的获取信息过程：可以看到有以下关键点：reduce的上游任务节点状态一开始是不确定的， 如果没有需要自己根据shuffleId去拉取过来。取状态信

原创 图解spark之map端计算结果缓存

当spark中做完一次map操作，准备发给下游时，究竟会做什么事呢？我按照一些问题来逐步分析。首先有个问题：map操作之后，数据是直接缓存到内存或者磁盘，等待下游client来拉取吗？spark是批处理，假设正好map处理完一批数据，会调用insertAll方法去做缓存，然而缓存并不是那么简单的存储，而是如下：可以看到，spark会判断这个map操作之后，是否会接一个聚合的操作，如果有，那么会在缓存并准备发给下游时时，提前做好聚合操作， 否则就是简单缓存。我们先看下简单缓存的分支：可以看到在这

原创 《Spring揭秘学习笔记》之 Spring IoC容器 ApplicationContext

ApplicationContext除了拥有 BeanFactory支持的所有功能之外，还进一步扩展了基本容器的功能，包括BeanFactoryPostProcessor、BeanPostProcessor其他特殊类型bean的自动识别容器启动后bean实例的自动初始化国际化的信息支持容器内事件发布等3种ApplicationContext的实现FileSystemXmlApplicationContext :从文件系统加载beanClassPathXmlApplicationCont

原创 Spring揭秘学习笔记之BeanFactory容器原理

官方关于IOC的参考图：它会以某种方式加载Configuration Metadata（通常也就是XML格式的配置信息）然后根据这些信息绑定整个系统的对象，终组装成 一个可用的基于轻量级容器的应用系统。Ioc启动过程总共分为2个阶段：容器启动和实例化阶段。并且在这里2个阶段中，加入了足够多的可扩展点。容器启动阶段：从图里可以看到， Ioc从配置中将需要加载的元素映射成BeanDefintion， 并一一注册到BeanDefinitionRegistry中。实例化阶段（简单版)当某个

原创 图解Spark和mapreducer在shuffle时的区别

书中以经典的wordCount为例子wordCount就是计算文本中a-z字母的个数，利用分布式计算的能力mapreduce做wordCount标红的地方就是关键点， mapreducer做map后直接落盘了， 落盘后进行排序，排序完取出相同键的组发送，到resultTask做聚合计算。其实不太懂mapreduce早期为什么这么做，是因为那时候还不知道怎么在内存和磁盘间切换吗？早期spark的wordCount计算标红的地方是一个关键点。map后优先根据key存到内存中， 并拆成1个个bu

原创 Spring揭秘学习笔记之BeanFactory

上一个笔记链接Spring Ioc容器体系除了IOC serviceProvider，还包括其他的东西。图上可以看到除了IocProvider， 还包括了AOP、线程管理、周期管理之类的。Spring提供2种容器 BeanFactory和ApplicationContext区别：BeanFactory: 延迟化加载。适合轻量级场景ApplicationContext: 给予BeanFacotry构建， 除了支持BeamFacotry所有功能，还提供了其他特性）Applicati

原创 《Spring揭秘》学习笔记——IOC是什么

Spring揭秘是本很老的书了，京东上想买正版书都买不到了，毕竟Spring迭代那么多版，估计文章内的很多代码都不适用了。但是在Spring系列中，这本书评分是最高的，年初疫情期间趁着工作量不大把他看完了，现在希望能结合工作项目所用的Spring框架，复习一下并来看看该框架的实际变化。IoC是随着近年来轻量级容器（Lightweight Container)的兴起而逐渐被很多人提起的一个名词，它 的全称为Inversion of Control，中文通常翻译为“控制反转”，它还有一个别名叫做依赖

原创 图解Spark的task是怎么分发到各节点上并执行的

假设此时已经构建好DAG划分好stage，接着就是要分发task了。当运行submitTask时，有如下的过程：上图可以看到，每次都会新建一个专门的taskManager，都运行ok后就会消失，并不是独立持续存在的一个角色。reviveOffers具体做什么的呢？看一下可以看到reciveOffer主要是做worker资源分配的。workerOffer列表一般需要做随机处理，避免一直分给同一个各机器上的CPU核数在分配的考虑范围之内。spark每次可能会有多个TaskSetManager

原创 图解spark的任务构建和提交流程

简述spark的任务运行流程先是在写spark代码的时候，背后做一些RDD的转换，写完后构建DAG，划分stage， 然后提交到资源管理器分配计算资源， 并在worker上执行。首先写spark代码时离不开对RDD的调用，那么：为什么需要RDD数据处理模型统一：RDD是1个数据结构， 能够获取数据的分区。不区分流式还是批式，只理解为1个数学模型。依赖划分原则：RDD之间通过窄依赖(仅1个依赖)和宽依赖（多依赖）进行关联。为什么要划分依赖？依赖数量不同，决定是否能在1个stage

原创 图解spark RDD缓存管理cacheManager和磁盘管理DiskStore/DiskBlockManager

RDD缓存管理cacheManager当需要计算RDD时，需要避免重复计算的RDD。什么时候RDD可能会被重复计算？一般是宽依赖RDD， 即RDD的下游可能有多个， 但是另一个下游的拉去可能较慢， 那么此时需要做缓存。cacheManager只是对RDD的管理， 真正的缓存以及获取是通过blockManager，然后根据内存情况选择存内存还是存磁盘。RDD不是一定会做缓存，这取决于存储级别的设定。RDD没缓存时， 不一定要重新计算， 也可能从CheckPoint中拿checkPoint概念:

原创 apache beam 入门之触发器

目录：apache beam 个人使用经验总结目录和入门指导（Java）概念触发器指 窗口的触发策略， 即窗口何时可以把该窗口内收集到的数据向下发送。而手动设定触发器可以让我们做到2件事：在窗口时间内， 我可以实现多次触发而不是像默认那样仅仅在窗口结束时触发1次我可以对延迟数据做特殊触发，而不是像默认那样，1收到延迟数据就触发。触发器使用p.apply(窗口对象.triggering(触发器对象) 来进行设定以下介绍各类触发器。默认触发器当 “当前时间” 超过了窗口右界，则触发1次，

原创 apache beam入门之 窗口水位线和超时数据概念

目录：apache beam 个人使用经验总结目录和入门指导（Java）上一章讲了窗口概念，这一章要接着窗口中很重要的窗口水位线和超时数据概念。beam如何确定当前时间？例如有1个 00:00:00-00:00:03的窗口，beam 默认是当时间过了00:00:03之后，该窗口会关闭，并将该窗口内的数据往下发送。但是有个问题，这个时间对beam来说如何确定？ 是系统时间过了00:00:03就关闭窗口吗？答案是否， 因为如果依据系统时间来确定当前时间并用来结束窗口， 那不确定性很高，因为记录到达的

原创 spark——BlockManager笔记整理和学习

spark的cacheManager这张图能知道什么？Q： spark对RDD的缓存是通过谁去做的？A： 通过BlockManager去缓存， 并且根据配置选项，决定缓存在文件还是内存中。driver、executor和BlockManager的关系从中可以看到blockManagerMaster在driver端生成executor中生成blockManager，并负责向BMM注册。spark中注册消息通过ActorSystem进行发送blockManager包含什么Blo

原创 apache beam入门之窗口概念

目录：apache beam 个人使用经验总结目录和入门指导（Java）输入时刻概念对于beam里的数据集里的每个数据，都会附带1个Instant成员(以下称为输入时刻)，指明了该条数据输入时的时间戳（单位毫秒）。如果是有限数据集(批处理方式输入的)，且未没手动设置输入时刻， 则默认输入时刻全部相同。如果是无限流式数据集，例如kafka，会根据到达的时间来设置输入时刻。窗口则就是根据输入时刻来进行划分的。伪造流式数据因为用kafka做输入数据时，不好精确地控制输入时间所以理解窗口概念和举例之

原创 apache beam KafkaIO的使用（流处理IO）

目录：apache beam 个人使用经验总结目录和入门指导（Java）这里我以下面这个为例，弄1个demo第一步建立option和pipeline PipelineOptions kafkaOption = PipelineOptionsFactory.fromArgs(args).withoutStrictParsing().as(PipelineOptions.class); Pipeline pipeline = Pipeline.create(kafkaOpt

原创 在Spark上运行apache beam

目录：apache beam 个人使用经验总结目录和入门指导（Java）为了方便，以下面这个名字替换的程序做简单例子：/** * The ReplaceMyName * 把Create数组里的myName替换成xxx * @since 2019/12/17 */public class OutpuMyName { public static void main(String[] args) { MyTestOption myTestOption = PipelineOp

原创 图解sparkContext初始化

之前看了半本书《深入理解Spark：核心思想与源码分析》， 为什么说是半本，因为看不下去了，这本书太喜欢贴scala代码却不解释，但自己那时候不太了解如何去阅读源码，所以希望借助它学习一下。这里贴一贴学习的过程。sparkContext初始化的内容一些问题和思考Q： SparkConf配置信息来自哪些？A： spark-submit时spark-default.conf里的配置， spark-submit时写入的命令参数Q： SparkContext必须指定哪2个内容？A： 指定s.