- 博客(116)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Java&JVM知识点最详细总结
自己整理的一些Java相关的知识点，内容有些比较散乱，后续会再调整对于每个知识点，建议按照 为什么需要这个技术？这个技术的原理是什么？在实践中具体是怎么用的？的思路来进行学习。类的实例化顺序1． 父类静态成员和静态初始化块 ，按在代码中出现的顺序依次执行2． 子类静态成员和静态初始化块 ，按在代码中出现的顺序依次执行3． 父类实例成员和实例初始化块 ，按在代码中出现的顺序依次执行...
2019-05-15 14:39:30
576
原创 关于资源管理与任务调度系统不得不知的基础知识和经典论文
0. 前言云计算的快速发展是目前的一个热点，同时也是推动互联网发展的下一个增长点。而要想在保证为用户提供高质量的云上服务的同时又能够尽可能的提高集群的资源利用率降低成本，就需要依靠资源管理与调度系统。对于云计算平台来说，其成本主要有：每年购买服务器的费用，这个费用是相当大的；数据中心正常运行需要的电力成本，服务器通常一直运行，非常消耗电力资源；云平台正常运行的运维成本；提高和扩展云平台的服务能...
2019-05-09 17:13:13
647
原创 Borg/Mesos/Yarn三大主流资源管理与调度系统对比
0. 前言Mesos（Twitter）、YARN（apache）和Borg(google)三个资源管理与调度系统可以说是目前资源管理和调度系统的先导者，现有的大多数资源管理和调度系统都从这三个系统中吸纳设计思想。对这三个系统的对比总结有助于更好的了解目前资源管理与调度系统的状态和未来的发展趋势。需要特别说明的是，borg系统所提出的思想直接影响了资源管理和调度系统的发展，例如其提出的在线任务和...
2019-05-07 18:00:53
4911
原创 谷歌超大规模集群管理系统Borg详细解读
0. 前言文本根据谷歌15年发表的论文整理得到，论文连接：http://research.google.com/pubs/pub43438.htmlBorg是谷歌内部的大规模集群管理系统，在谷歌内部经历数十年的打磨，应该是与谷歌三驾马车（MR,GFS,BigTable）的同时代产物，直到今天才发表论文公布其中的细节。谷歌其实很早就宣称可以在同一个集群中同时调度在线任务和离线任务，足可见...
2019-05-07 15:51:44
7025
原创 YARN简介—目前使用最为广泛的资源管理系统
0. 前言本文只对YARN进行简要总结，后续会进行详细的阐明，因为YARN内部的实现比较复杂，不是几篇文章可以讲清楚的，涉及到：服务、状态机、远程调用、各种RPC协议、各种异步处理、事件机制等。想详细了解的可以查阅2013年其发表的论文。通过本文你可以了解YARN出现的背景，基本组成部分，以及一个较为完整的调度过程。1. 介绍名称：YARN(Yet Another Resource ...
2019-05-06 01:05:30
651
原创 资源管理与任务调度系统Mesos论文及架构详细解读
0. 前言关于资源管理与任务调度系统出现的背景、发展历程及一些基础知识可以参考博客集群资源管理与任务调度系统综述Mesos2007年诞生于UC Berkeley，并在Twitter和Airbnb公司中得到实践和巩固，其论文发表于2011年的NSDI，目标是构建一个数据中心可扩展的全局资源管理器。论文原文：http://static.usenix.org/events/nsdi11/tech...
2019-05-05 23:17:01
1639
翻译 腾讯云大规模任务调度系统的架构蜕变—王旻—全球架构师峰会2017
0. 导言下文根据 腾讯云高级技术专家 王旻 在全球架构师峰会2017上的演讲《腾讯云大规模任务调度的架构蜕变》结合自己的理解整理得到。如果想从事调度系统相关工作，除了要阅读一些经典调度系统论文外还需要了解目前工业界的具体实践。通常云服务公司会针对特定的业务场景对调度系统进行完善和优化。作者简介：王旻（alexmwang） 腾讯云高级技术专家，硕士就读于中科院计算所，有丰富的分布式调度...
2019-05-04 01:27:12
976
原创 集群资源管理与任务调度系统综述
0. 集群资源管理与任务调度系统出现的背景（1）出现背景信息技术快速发展，各行各业都慢慢于互联网进行深度融合，即所谓的“互联网+”。为了提供更好的服务以吸引更多的消费者进行更多维度的消费，各个互联网公司针对不同的场景进行深度拓展，而这些业务的进行全部需要对海量数据进行大规模处理。传统的单机模式已经很难满足公司和企业的发展需求，因此各个公司开始搭建自己的数据中心，但是独立搭建的数据中心往往存在一...
2019-05-03 23:49:49
4737
2
原创 开方运算实现-sqrt(x)--阿里面试题
问题描述不使用库函数sqrt()实现对一个数的开方运算，精度为小数点后十位（1e-10）input 2output 1.4142135623思路：牛顿迭代法和二分法牛顿迭代法(牛顿-拉弗森方法)产生背景：五次及以上的多项式没有根式解（二次函数的万能公式），被伽罗瓦用群论做出的最著名结论驱动： 然而工作中有很多高次求解的需求，所以就出现了牛顿迭代法原理：切线是曲线的线性逼近，...
2019-04-29 19:18:54
2662
1
原创 求数组中的众数-京东面试题
题目描述给定一个整数数组，包含n个整数，请找出出现次数大于n/2的数，数组保证存在解。例如：input：2 3 3 3 2output：3方法一 摩尔投票法方法二 先排序后寻找方法三 map计数法方法四 暴力搜索法...
2019-04-27 20:04:30
1670
原创 面试中常见的位运算题目
0. 常见位运算及操作简介1. 求二进制中1的个数2. 判断一个数是否为2的幂3. 位运算实现两数交换4. 找出唯一出现一次的数（1个版本和2个版本）5. 位运算实现加法和减法6. 输入两数m,n，计算需要改变多少位能使m变成n7. 位运算解决N皇后问题8. bitmap...
2019-04-26 20:38:48
440
原创 如何实现一个高效的单向链表逆序输出？-阿里面试
如何实现一个高效的单向链表逆序输出？0. 需要考虑因素，高效应权衡多方面因素数据量是否会很大 空间是否有限制 原始链表的结构是否可以更改 时间复杂度是否有限制 一个链表节点需要输出的元素有多个，例如链表中存的是自定义对象，有多个字段1. 直接递归（简单，但O(n)空间复杂度不支持大数据量）// 直接递归实现核心代码片段public void reverse(head){...
2019-04-25 23:28:21
2533
2
原创 全排列JAVA实现
前言参考资料全排列：即所有的排列情况数，例如1,2，3的全排列包括：123,132,213,231,312,321这几种情况，可以通过编程实现。思路：fullSort方法接收三个参数，数组arr，起始位置start，终止为止end，意思就是完成arr数组从start到end之间记录的全排列。分两个步骤：（1）确定第一位的字符数组arr从start到end的所有记录都可以出现在第一个位...
2019-09-22 01:17:51
388
原创 并查集与常见面试题总结
简介参考链接并查集是一种树形的数据结构，用于处理不相交集合的合并和查询问题。在判断连通图个数、朋友圈个数等有重要应用。并查集主要涉及三个基本操作：makeSet(n):初始化一个独立的集合，开始时每个元素的最高祖先为自身 parent[x]=x;findSet(x):寻找x所在集合的最高祖先，通过递归的方式进行查询，并且在查询时进行路径压缩。例如：开始有一个集合中1->2->...
2019-09-21 22:42:39
580
原创 单调栈与单调队列
简介单调栈：栈中的元素从栈底到栈顶满足单调性。以递增栈为例，如果新来元素大于等于栈顶元素则直接入栈，否则从栈顶开始依次将比新来元素大的元素出栈，以此来保证单调性。单调队列：队列中的元素从头到尾满足单调性。以递增队列为例，如果新来元素大于等于队尾元素则直接入队，否则从队尾开始依次将比新来元素大的元素出队，以此来保证单调性。单调栈和单调队列的概念很好理解，实现也很方便，关键在于应用，能够将一些算...
2019-09-01 18:53:40
449
原创 剑指offer题目解析简要总结
只简要总结最优解思路和一些核心代码1 二维数组查找描述：一个二维数组满足每一行从左到右递增，从上到下递增。给定这样数组和一个值，判断其是否在数组中。思路：从数组右上方开始寻找，如果当前值等于目标值返回，如果当前值大于目标值则剔除该列，如果当前值小于目标值则剔除该行。int row = 0;int column = n - 1;while(row < rows &&am...
2019-08-23 00:26:28
515
原创 Leetcode1--50题目思路简要整理
下面只是对LeetCode1–100题最优思路和核心代码的简要整理，以应对面试中的手撕代码环节。对于一般计算机专业出身的人来说，对于一个算法题目给定一个思路实现起来应该问题不大，关键在于找到这个思路。根据自己的面试经历来看，面试中的题目描述不会很复杂，一般情况下只要分析出思路很快就可以写出来。且大多数面试官喜欢在LeetCode中找一些小而简练的题目，前100道题目出现的频率很大。先把所有的考...
2019-08-22 17:05:35
422
原创 Spring学习实践思考-Spring中的数据操作
如何配置输入源（一）通过直接配置依赖方式引入对应数据库驱动–H2（在pom文件中书写或者在生成的时候在界面上选中相应驱动项）引入JDBC依赖–spring-boot-starter-jdbc（二）通过在代码中添加数据源相关参数配置，例如：// 在启动类中添加如下配置@Autowiredprivate DataSource dataSource;@Bean(destroyMeth...
2019-07-27 15:26:10
218
原创 Spring学习实践思考-第一个Spring应用HelloSpring
Spring Initializr-访问start.spring.io，进行相关配置，自动生成工程；选择依赖管理工具，开发语言和SpringBoot的版本填写相应的Group名称和Artifact名称选择自己可能会用到的依赖（程序中需要用到的第三方包）可以点击“switch to the full version ”来选择自己需要的依赖点击生成并在IDE中打开简单的hello工...
2019-06-16 00:14:25
206
原创 Spring学习实践思考-从Spring中看技术发展趋势
Spring 5.x 的改变暗示什么支持Java8+，Kotlin。说明语言车轮滚滚向前。支持WebFlux。异步编程模式的崛起。去掉了很多支持例如Portlet，Velocity,JasperReport。SpringBoot和SpringCloud出现是历史必然历史必然下的原因：开箱即用与生态圈深度整合注重运维CloudNative的大方向最佳实践不嫌多，固化到系统...
2019-06-15 16:28:00
699
原创 Spring系列学习实践思考-初识Spring家族特性
Spring Framework的历史诞生于2002年，成型于2003年，最早的作者是Rod Jonnson目前发展到Spring 5.x版本，支持JDK 8-11 和JAVA EE 8Spring ，始于框架，但不限于框架Spirng:the source for modern java ；your app -> SpringBoot (构建)-> SpringCloud（...
2019-06-15 16:16:18
192
原创 二维矩阵中1所构成的块个数（孤岛问题）—头条笔试题
问题给定一个二维数组，数组中仅包含0和1，上下左右和对角线相连的1构成一个块，求该二维数组中块的个数。例如：input：31 0 11 1 01 0 1output：2(最后一个1构成一个单独的块)思路（1）采用深度优先搜索，遍历1在数组中的位置，对于遍历得到的1，先将其置位0再递归遍历该位置周围8个方向上是否为1，如果为1将其值变为0。这样顺次得到的1的个数就为最终结果；（...
2019-05-25 12:11:45
1874
2
原创 给定一个整数数组，求a[i]+a[j]+i-j的最大值—头条笔试题
问题给定一个整数数组，求数组中两个数关于公式 a[i]+a[j]+i-j 的最大值，即找两个数，这两个数相加并减去两个数之间的下标距离，求得最大值。例如：input:31 2 3output:4(选择的两个数是2和3)扩展：这个题目可以有变形，例如求一个数组中两数和的最大值，两数差的最大值，或两数和差和某些变量构成的公式的最大值。思路（1）基本思路：暴力搜索，遍历每一个数对，进...
2019-05-25 11:57:58
2207
原创 Java 13个语法糖梳理总结
0. 前言为什么需要语法糖？语法糖可以让程序更加简洁，有更高的可读性。举个不太恰当但是可以说明问题的例子，很多饭店每天需要买菜，一般的买菜单都是由厨师手写的，而有些蔬菜的名字比较难写，所以他们在写的时候跟采购的人达成一致，例如：厨师写的是“九菜”，采购员采购的时候会自动购买“韭菜”，这没有改变和影响采购过程，但是厨师在写菜单的时候方便了不少。什么是语法糖？语法糖（Syntactic Suga...
2019-05-20 20:22:30
489
原创 链表—删除一个未排序链表中的重复节点
问题删除一个未排序链表中的重复节点，例如输入：1-4-2-6-3-2-4-1输出：1-4-2-6-3方法方法：（1）使用hashset来检测节点是否重复，如果重复则删除节点；time:o(n)space:o(n)（2）不使用额外的空间，对于每一个节点，遍历后续节点看是否存在重复，如果重复则删除；time:o(n^2)space:o(1)/** * 问题：删除一个未排...
2019-05-17 20:04:24
2014
1
原创 大数据基础理论—一致性协议
0. 前言一致性协议的出现主要是为了保证大规模分布式系统的数据一致性，对分布式系统设计具有很重要的作用。1. 两阶段提交2. 向量时钟3. RWN协议4. Paxos协议5. Raft协议...
2019-05-17 01:02:34
828
原创 计算机网络面试必知知识点汇总—cookie && session
HTTP作为无状态协议，必然需要在某种方式保持连接状态。这里简要介绍一下Cookie和Session。CookieCookie是客户端保持状态的方法。Cookie简单的理解就是存储由服务器发至客户端并由客户端保存的一段字符串。为了保持会话，服务器可以在响应客户端请求时将Cookie字符串放在Set-Cookie下，客户机收到Cookie之后保存这段字符串，之后再请求时候带上Cookie就...
2019-05-14 20:47:46
227
原创 计算机网络面试必知知识点汇总—HTTP状态码及https工作原理
HTTP状态码10X 这一类型的状态码，代表请求已被部分接受，需要继续处理20X 这一类型的状态码，代表请求已成功被服务器接收、理解、并接受200 OK请求已经成功201 Created请求已经被实现，有一个新的资源已经依据请求的需要而建立，且其URI已经随location头信息返回。202 Accepted服务器已接受请求但尚未处理204 服务器成功处理了请求，但不需要返回任何实体...
2019-05-14 20:46:35
325
原创 计算机网络面试必知知识点汇总—典型协议介绍
TCP/IP 互联网层协议 ：ICMP 协议 ： 网际消息控制协议 。它是 TCP/IP 协议族的一个子协议，用于在 IP 主机、路由器之间传递控制消息 。（差错报告、查询、应答）NAT 协议 ：网络地址协议，让一个合法的地址给多个内部主机共享，通过端口号对不同主机进程加以区分，用来解决 IP 地址不足的问题。TCP/IP 应用层协议：HTTP 协议 ： 超文本传输协议，实现万维网功能 。...
2019-05-14 20:44:23
409
原创 计算机网络面试必知知识点汇总—DNS解析过程
DNS解析过程1.浏览器检查缓存种有没有这个域名对应的解析过的ip地址，如果有该解析过程将会结束。2.检查本地的hosts文件是否有这个网址映射关系3.如果hosts种没有这个域名映射，查找本地DNS解析器缓存，如果有直接返回4.通过首选DNS服务器(本地域名服务器)，以递归或循环的方式查询域名对应的ip地址并返回。(顶级域，二级域，三级域)一个详细过程1.查询 浏览器、操作系统 缓存...
2019-05-14 20:43:15
1722
原创 计算机网络面试必知知识点汇总—浏览器输入www.baidu.com的执行过程
事件顺序(1) 浏览器获取输入的域名www.baidu.com(2) 浏览器向DNS请求解析www.baidu.com的IP地址(3) 域名系统DNS解析出百度服务器的IP地址(4) 浏览器与该服务器建立TCP连接(默认端口号80)(5) 浏览器发出HTTP请求，请求百度首页(6) 服务器通过HTTP响应把首页文件发送给浏览器(7) TCP连接释放 （http1.0是短链接，之后使用...
2019-05-14 20:34:49
428
原创 计算机网络面试必知知识点汇总—TCP三次握手和四次挥手过程及原因
建立连接三次握手第一次握手：起初两端都处于CLOSED关闭状态，Client将标志位SYN置为1，随机产生一个值seq=x，并将该数据包发送给Server，Client进入SYN-SENT状态，等待Server确认；第二次握手：Server收到数据包后由标志位SYN=1得知Client请求建立连接，Server将标志位SYN和ACK都置为1，ack=x+1，随机产生一个值seq=y，并将该数...
2019-05-14 20:32:28
216
原创 计算机网络面试知识点汇总—ARP和RARP协议工作原理
ARP地址解析协议根据IP找对应的MAC地址1：首先，每个主机都会在自己的ARP缓冲区中建立一个ARP列表，以表示IP地址和MAC地址之间的对应关系。2：当源主机要发送数据时，首先检查ARP列表中是否有对应IP地址的目的主机的MAC地址，如果有，则直接发送数据，如果没有，就向本网段的所有主机发送ARP数据包，该数据包包括的内容有：源主机 IP地址，源主机MAC地址，目的主机的IP 地址。3：...
2019-05-14 20:28:40
707
原创 计算机网络面试必知知识点汇总—IP地址分类
IP地址={<网络号><主机号>}32位A类地址：以0开头， 第一个字节范围：1~126（1.0.0.0 - 126.255.255.255）；最大主机数：16777214B类地址：以10开头， 第一个字节范围：128~191（128.0.0.0 - 191.255.255.255）；最大主机数：65534C类地址：以110开头， 第一个字节范围：192...
2019-05-14 20:26:52
513
原创 计算机网络面试必知知识点汇总—OSI，TCP/IP五层协议体系结构以及各层协议
OSI分层 （7层）：物理层、数据链路层、网络层、传输层、会话层、表示层、应用层。TCP/IP分层（4层）：网络接口层、 网际层、运输层、 应用层。五层协议 （5层）：物理层、数据链路层、网络层、运输层、 应用层。每一层的协议如下：物理层：RJ45、CLOCK、IEEE802.3 （中继器，集线器）数据链路：PPP、FR、HDLC、VLAN、MAC （网桥，交换机）网络层：IP、ICM...
2019-05-14 20:24:00
394
原创 计算机网络面试必知知识点汇总—TCP与UDP
TCP 和UDP的区别（1）TCP提供的是面向连接的(虚拟信道在关闭连接前一直存在，来自物理信道的信道复用技术)；可靠的数据流传输(无差错，不丢失，不重复，且按序到达)；传输单位为TCP报文段；注重数据安全性；相关的协议有：FTP文件传输协议21端口；Telnet远程登录端口23端口；SMTP邮件传送协议用于发送邮件25端口；POP3接受邮件在110端口；HTTP超文本传输协议；（2）UDP提...
2019-05-14 20:22:14
225
原创 跑马（马拉松）哪有那么难—细致的赛前赛中赛后建议，你也可以完成自己的马拉松
0. 前言就在昨天（2019年5月12号）完成了北京长城马拉松超级马拉松的比赛，顺利完赛，最终和女子亚军一起撞线，完成了北京长城马拉松的大满贯（半马（21.0975km），全马(42.195KM)，超马(45.195km)），完成了一幢心愿。从接触马拉松，到现在对马拉松有些上瘾，这是马拉松带给我的改变和其独有的魅力。下面是完赛证明：个人对这个成绩比较满意，这次完成超马的过程中，从10公里开始下雨...
2019-05-13 17:35:05
1079
原创 何为产品人的解读
“以下内容来自白鸦和 Angela 在做 UCDChina 的 Design IT 培训课件，有些我自己的臆测和篡改。” --知识星球——产品学徒wulujia产品人的四个关键能力：看得到：很多时候，你接触不到信息（比如你不是小镇青年，你的视野里就不会第一时间出现快手），有些时候，你视而不见（比如我几乎一开始就知道了比特币和区块链，但是……）；想得清楚：需要有一些方法论帮助分析和思考（...
2019-05-11 21:04:27
553
原创 产品场景拆解的步骤样例
内容学习整理自 知识星球——产品学徒（wulujia）很好的进行产品分析的一些问题和步骤，以供参考描述一个场景时，有哪些关键要素你可以先试试：找一个耳熟能详的产品，组织语言，说明白这个产品的使用场景。比如：摩拜单车滴滴饿了吗冲顶大会如果不是训练有素的话，一开始你应该会有些懵——可能将某些不那么重要的细节描述得过分清晰，但却遗漏了关键点（或许你行，但我一开始真有不少错漏...
2019-05-11 21:00:11
1214
Large-scale cluster management at Google with Borg
2017-09-18
Apollo: Scalable and Coordinated Scheduling for Cloud-Scale Computing
2017-09-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人