- 博客(286)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 命令行下安装并运行 Pycharm
系统版本：uname -aLinux violet 4.15.0-45-generic #48~16.04.1-Ubuntu SMP Tue Jan 29 18:03:48 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux安装：其实官网给了具体的教程了，传送门：https://www.jetbrains.com/pycharm/download/#section=linux教程里面直接就写了需要用 snap 这个工具来安装 pycharm，那就先下载个 snap
2020-10-10 14:28:12
2513
1
原创 Ubuntu 修改启动时默认内核版本
最近机房总是停电，每次停完电我就需要去手动重启一下改一下我需要的内核版本，太过麻烦，一周恨不得停八次电。。。。目前 Ubuntu 的默认启动版本为 4.15.0，我想将其修改为4.15.0-45-generic需要修改的目标文件：sudo /etc/default/grub修改默认启动的内核GRUB_DEFAULT=0 即为默认的启动内核，这个 0 是啥。。。假设，在启动选...
2019-12-30 14:51:00
7638
原创 docker login多次登陆失败 too many failed login attempts for username or ip address 解决办法
在 linux 登陆 docker 失败时，它就会提示你以下内容，导致就算输入了正确的密码也没办法在登陆了too many failed login attempts for username or ip address此时删除以下文件再重新登陆就好了rm ~/.docker/config.jsondocker login...
2019-12-05 20:00:57
5326
原创 国内 Go 代理汇总
golang 国内的代理总是一个很头疼的问题，这里汇总一下国内几个可用的代理，到时候有些包下不下来就换几个代理多试试代理1:阿里云 Go Module 代理传送门：https://mirrors.aliyun.com/goproxy/简介go module公共代理仓库，代理并缓存go模块。你可以利用该代理来避免DNS污染导致的模块拉取缓慢或失败的问题，加速你的构建使用帮助使用go1...
2019-12-01 14:54:12
2850
原创 ubuntu 下彻底卸载 vim 并重新安装
最近服务器不知道出了什么鬼，vim 莫名其妙的打开后一直死在那里了，kill 掉进程重来也不行，那就只能重装了，然而单纯的 remove vim 并没有彻底卸载干净。记录一下// 彻底卸载 vimsudo apt-get remove vim vim-runtime vim-tiny vim-common vim-scripts vim-doc// 重新安装 vimsudo apt-g...
2019-11-29 15:29:02
17127
翻译 无服务计算的未来和挑战: A Berkeley View on Serverless Computing
本文首发自知乎专栏：https://zhuanlan.zhihu.com/p/82152859转载请注明出处加州大学伯克利分校继 2009 年发布 《The Berkeley View on Cloud Computing》一举拨开云计算迷雾，十年后又一次发布了 《A Berkeley View on Serverless Computing》，试图再次指出下个 10 年云计算的发展方向及...
2019-11-25 20:42:35
1599
原创 谁限制了数据中心的资源使用效率：阿里巴巴数据集分析
Who limits the resource efficiency of my datacenter: an analysis of Alibaba datacenter traces这篇文章发在 IWQoS 2019，是包云岗老师团队的工作，对阿里巴巴 2018 年公布的第二版开源数据进行了详细的分析，主要聚焦在数据中心资源使用效率上。阿里巴巴在 2018 年 12 月公布了其第二版开源...
2019-07-01 20:45:52
2363
3
原创 数据中心开源数据集及相关论文整理
数据中心开源数据集及相关论文整理近些年，各大公司都开始公开自己集群的数据集，给予学术研究者更广阔的视野来了解数据中心可能面临的情况。以下为整理的部分公司开源的数据集和传送门，会在慢慢的更新。Google传送门：https://github.com/google/cluster-data公开时间：2011年数据集时间跨度：30天Microsoft Azure传送门：https...
2019-06-27 20:33:52
3565
3
原创 【每周论文】Bubble-Up: Increasing Utilization in Modern Warehouse[MICRO 2011]
这篇文章来自于MICRO 2011，作者是Jason Mars，传送门来~~随着云计算的发展，越来越多的计算任务移到了云上来进行，运营商常常通过过度分配（overprovisioning）资源的方式来保证延迟敏感型应用的性能，因为没有办法精确预测应用因资源的竞争而产生性能的下降，为了避免干扰也就没有办法将这些高优先级、延迟敏感型应用和其他的作业混合部署起来，就产生了资源的空闲，这样就是导致...
2018-08-16 08:53:46
815
1
原创 HCloud: Resource-Efficient Provisioning in Shared Cloud Systems【ASPLOS 2016】
好久没有写东西了，赶紧保持自己读论文的这个习惯。这篇文章是我开始读论文已来读的第二篇顶会文章，第一篇当然是PARD，这篇文章也是我第一次在组会上讲的文章（都已经是前年的事情了），当时的自己居然是用英文讲的。由记得当时是CC哥哥直接发给我的一篇文章，因为当时的自己连去哪里找文章还不知道，读了特别久还没明白这篇文章的意思，当然当时对整个背景还处于不了解的状态。现在重读这篇文章，对于之前没懂的地方有...
2018-07-24 23:57:35
1037
1
原创 【游记】北京-张北草原-锡林郭勒盟自驾4日游（更新中。。。）
趁端午节和一帮小伙伴去草原和内蒙古浪了一波，玩的超级爽，当然代价就是回来疯狂的赶ddl，但是如果回过头来想一下，在知道自己要这么赶ddl结果下，我依旧选择出去浪，因为真的玩的太嗨了，这种经历真的太难得了，关键还有4位非常给力的小伙伴。第一次自驾游，说实话，基本没做啥准备，攻略提前看了一些，但是都是3天或者5天，而且攻略上写的都超级模糊。那我们就继续发扬我们浪的精神，就不做啥准备攻略了。这是...
2018-06-22 21:12:04
9507
1
翻译 分布式系统设计：批处理模式之协调批处理
本文首发于知乎专栏：进击的云计算 本书翻译于：Designing Distributed Systems 望小伙伴们多多支持原版。前面的章节描述了一系列将队列拆分和连接在一起以实现更复杂批处理的模式，复制和生成多个不同的输出是批处理的重要组成部分，但有时将多个输出合并到一起以生成某种聚合输出也同样很重要，如图1所示。这种聚合最典型的例子是MapReduce模式中的Reduce部...
2018-03-17 13:43:32
4065
1
翻译 分布式系统设计：批处理模式之事件驱动的批处理
本文首发于知乎专栏：进击的云计算 本书翻译于：Designing Distributed Systems 望小伙伴们多多支持原版。在前面一篇文章中，我们看到了一个通用的作业处理框架，以及一些简单的作业队列处理的程序。作业队列非常适合将一个输入转化为一个输出，但是，有许多批处理应用程序需要执行多个操作，或者需要将单个数据输入生成为多种不同的输出。在这种情况下，我们开始将作业队列连接在一起...
2018-03-17 01:40:41
987
翻译 分布式系统设计：批处理模式之作业队列系统
本文首发于知乎专栏：进击的云计算 本书翻译于：Designing Distributed Systems 望小伙伴们多多支持原版。之前的文章讲述了关于可靠的、长时间运行的应用（long-running server applications）的设计模式，本篇介绍批处理的模式。与先前介绍的长时间运行应用所不同的是，批处理的过程预计只能运行很短的时间。例如，通过汇总用户的数据来分析每天或每...
2018-03-13 20:59:01
2057
原创 【每周论文】Design patterns for container-based distributed systems（HotCloud 2016）
首先介绍下第一作者Brendan Burns，他2008-2016年在Google工作，是Kubernetes的首席工程师，k8s容器编排的主要创始人之一，他在2016年的7月份宣布加入了Microsoft。第二作者David Oppenheimer，他参与了Google的三大数据中心管理系统的开发——Kubernetes、Omega和Borg的开发，同时也是论文Borg的作者之一。那篇非...
2018-03-07 08:53:20
1306
原创 2018年上半年阅读书单
已经连续4年的时间来记录自己的阅读书单了，近两年因为自己的懒惰导致读书的数量在严重的下降中，在寒假时也在考虑这件事情，决定从今年开始给自己换一种方式来进行记录，在每半年的开始，制定好下半年的阅读计划，先试验一下从10本开始算，6个月10本书，就是18天一本，应该是没问题的，现在是二月中旬了，只读完了一本书，时间还是够的。这个半年先试验一下，在已经定好的十本书的基础上，如果时间充足，可以再多读一...
2018-02-17 13:11:50
2503
转载 什么是P问题、NP问题和NPC问题
本文转自：http://www.matrix67.com/blog/archives/105什么是P问题、NP问题和NPC问题这或许是众多OIer最大的误区之一。你会经常看到网上出现“这怎么做，这不是NP问题吗”、“这个只有搜了，这已经被证明是NP问题了”之类的话。你要知道，大多数人此时所说的NP问题其实都是指的NPC问题。他们没有搞清楚NP问题和NPC问题的概念。NP问题并不是那种
2018-01-17 16:01:10
754
原创 2017年下半年阅读书单
自己是越来越懒了，这半年看的书基本上是9月份去怀柔之前看的，来到怀柔之后，只把之前没看完的那本《进击的局座：悄悄话1》给看了。需要逐渐开始思考自己需要看什么方面的书了，而不再是根据别人的推荐书单这样漫无目的的看书了。2017年下半年阅读书单BookList:1. 《虫子的世界》 刘慈欣看完三本三体后，对刘慈欣的好感度直线上升，开始慢慢的看他其他的书，这本书是一个长篇小说集，里面一共有七篇，个人感觉
2018-01-02 12:01:14
586
3
原创 Finding the number of inversions
Recall the problem of finding the number of inversions. As in the course, we are given a sequence of n numbers a 1 ,··· ,a n , which we assume are all distinct, and we difine an inversion to be a pair
2017-12-28 16:04:37
2468
原创 【Leetcode】Kth Largest Element in an Array
Find the kth largest element in an unsorted array. Note that it is the kth largest element in the sorted order, not the kth distinct element.For exampleGiven [3,2,1,5,6,4] and k = 2, return 5.Note: You
2017-12-28 15:46:28
506
原创 使用快排和归并求解逆序对
The attached file Q8.txt contains 100,000 integers between 1 and 100,000 (each row has a single integer), the order of these integers is random and no integer is repeated.Write a program to implement
2017-12-22 11:07:45
1763
1
转载 MSI cache一致性协议
文章转自：MSI cache一致性协议按照高速缓存的写策略的不同，有写直达和写回WB两种高速缓存：写直达高速缓存：一旦高速缓存中的一个字被修改，则在主存中要立即修改写回高速缓存： 并不是立即写回，而是当被修改的字从高速缓存中被替换或清除时，才真正修改主存在侦听协议的设计中，主要有两种设计选择：一是写直达高速缓存还是写回高速缓存，二是写无效WI，还是写更新WU协议
2017-12-19 10:16:44
6387
2
原创 在Ubuntu下使用Python驱动MongoDB
又到了大作业时间，需要对yahoo和csdn的密码进行分析，几百万条的数据如何能更好的存和操作，大神第一时间就想到了mongodb，加上老师给的数据又要去分割并存到数据库里，这里选择用python来进行驱动。
2017-10-17 14:17:17
546
原创 【每周论文】Apollo: Scalable and Coordinated Scheduling for Cloud-Scale Computing
依旧是关于集群作业调度的文章，发表在OSDI 2014，是微软的工作。与之前看的中心化调度工作不同，Apollo与Sparrow一样采用了分布式框架，并且和Omega一样采用了共享集群状态的方式让每个调度器都拥有全局视角。最重要的是Apollo已经部署在微软的生产环境上了，每天都要对数十亿个作业进行合理的调度，其性能肯定没得说了。以微软当时的并行计算的生产环境为例，每个集群有超过2万台服务器，有成千
2017-10-08 14:24:08
1606
原创 Latex编辑器（Atom+TexLive）
写算法作业，老师让用Latex来写，反正以后写论文总是要用的，就先学一下好了。网上那么多Latex的编辑器，到底选哪个呢，最后选择了Atom，它是Github发布的一款免费的跨平台的编辑器，和 Sublime有一些类似，可以自定义插件，通过安装Package的方式来增加功能。在配这个Latex编辑器时，我们需要以下两个软件：AtomTex Live在以上这两个软件装好之后，打开Atom后，右边
2017-10-05 09:23:05
24361
5
原创 【每周论文】Paragon: QoS-Aware Scheduling for Heterogeneous Datacenters
还是关于集群调度的文章，发表在ASPLOS 2013，作者是斯坦福大学的Christina Delimitrou和Christos Kozyrakis，这一年真的没少看他们的文章。该文章依旧是在数据中心下如何保障应用性能和提高资源利用率的大背景下的文章，其主要关注于两点，数据中心中硬件平台的异构性和应用负载之间的干扰。硬件平台的异构性主要是因为数据中心的机器是在不断的更新中的，比如3年前进的一批机
2017-10-01 18:06:07
1028
转载 C语言正则表达式 regcomp&®exec
标准的C和C++都不支持正则表达式，但有一些函数库可以辅助C/C++程序员完成这一功能，其中最著名的当数Philip Hazel的Perl-Compatible Regular Expression库，许多Linux发行版本都带有这个函数库。C语言处理正则表达式常用的函数有regcomp()、regexec()、regfree()和regerror()，一般分为三个步骤，如下所示：C语言中使用正则表
2017-09-18 23:39:17
854
原创 【每周论文】Xen and the Art of Virtualization
这篇论文发表自SOSP 2013，出自剑桥大学计算技术实验室。在当时一台物理机的成本很高，为了提高机器的资源利用率，一台物理机上通常会运行着好多程序，当其中有一个程序导致了机器崩溃会影响到在其上运行的其他程序，所以就有人提出来，将一台物理机通过一些技术将其分割为很多台机器来为不同的应用提供服务，这就是虚拟化技术。现在已经有了很多虚拟化基础来对物理机的资源进行切分，有一些需要专门的硬件支持，有一些则不
2017-09-17 15:03:39
1737
原创 【每周论文】Quasar: Resource-Efficient and QoS-Aware Cluster Management
记得从去年第一次在组会上讲论文时讲了Christina Delimitrou的HCloud论文后，陆陆续续的一直在读她的论文，并在今年4月份的ASPLOS和她有了一张合影（当时我心里的那个忐忑啊，想和她搭讪又不敢）。这篇论文发表自2014年的ASPLOS（这些年她好像每年都会中一篇ASPLOS，膜拜），依旧是关于数据中心非常棘手的一个问题：现在数据中心的成本都非常高，各大厂商都在努力提高集群的性能和
2017-09-11 00:23:26
1453
2
原创 【每周论文】Heracles: Improving Resource Efficiency at Scale（ISCA 2015）
这篇文章发表在ISCA 2015，其中一作 DAVID LO 2015年毕业于斯坦福大学，是Christos Kozyrakis的学生，毕业之后去了Google的Platforms team，这个工作就是他在Google实习期间做出来的工作。各大公司为了提高自己数据中心的资源利用率，常常将延迟敏感型应用（latency-critical，LC）和其他应用（best-effort，BE）混合...
2017-09-03 16:24:40
1492
原创 在中科院计算所实习的一年（更新中。。）
周六就要开学去怀柔了，开始一年的集中学习的生活。细算起来，从去年七月份来到计算所，已经一年多了，这一年经历了很多、成长了很多，想在这里把这一年实习的经历和感受都记录下来，为已经保研成功的小伙伴做一个参考。在写的过程中，这一年的一幕幕在脑海中像过电影一般，有很多的遗憾，很多的不舍，去了怀柔，暂时离开这个小家庭，开始新的生活~工作篇 && 学习篇很多人比较担心，现在啥都不会，导
2017-08-28 09:42:26
14923
1
原创 【每周论文】Sparrow：Distributed， Low Latency Scheduling
这篇论文发自SOSP 2013，又是AMPLAB的牛文（就是发Spark的那个组）。一作是Kay Ousterhout，有幸在10月底在上海开的SOSP大会上目睹作者真容，她今年在SOSP斩获两篇文章，已经从 UC Berkeley 毕业了，现在自己创业公司名为Kelda。她在Ada Workshop上分享了自己做学术的这么一个经验，有机会写篇博客分享一下。以下为正文。当下的数据分析集群运行越来越多
2017-08-22 16:03:05
1032
转载 京东从OpenStack切换到Kubernetes的经验之谈
京东从2016年底启动从OpenStack切换到Kubernetes的工作，截止目前(2017年2月）已迁移完成20%，预计Q2可以完成全部切换工作。Kubernetes方案与OpenStack方案相比，架构更为简洁。在这个过程中，有这些经验可供
2017-08-21 08:32:23
1104
原创 【每周论文】Time, Clocks, and Ordering of Events in a Distributed System
这篇文章是Leslie Lamport于1978年发表的，并在2007年被选入SOSP的名人堂，被誉为第一篇真正的“分布式系统”论文，该论文曾一度成为计算机科学史上被引用最多的文章。文章的作者Lamport享有分布式计算原理之父的美誉，并且因其对分布式系统研究作出的卓越贡献，2013年他被授予了图灵奖。在分布式系统中的时钟同步是一个非常难的问题，因为在分布式系统中，是使用消息进行通信的，若使用物理时
2017-08-20 17:18:29
1591
原创 【每周论文】Graphene： Packing and Dependency-aware Scheduling for Data-Parallel Clusters（OSDI 2016）
【每周论文】Graphene： Packing and Dependency-aware Scheduling for Data-Parallel Clusters（OSDI 2016）论文的一作Robert Grandl在OSDI 2016斩获两篇论文，非常的高产，这里先介绍他其中的一篇论文，关于集群调度有关的。作者提出了一个全新的集群调度器——Graphene，它主要用于调度那些有很复杂的依赖
2017-08-16 15:03:54
1409
原创 博士第一年的计划
一年的实习马上就要结束了，打算着慢慢写一些这一年的收获和感悟，这里首先做一下第一年的计划吧。9月初就要去雁栖湖报道并开始一年的学习生活，对于读博士的娃来说，最不能缺少的就是阅读量，不是课外书的阅读量，而是论文的阅读量。这一年的实习深深感受到，在开始自己的研究之前，一定要熟知我这个领域大家都在做什么，存在什么问题，哪些问题被解决了，是如何解决的，做研究的思路是什么，用BB的话来说就是“要慢慢找到做系统的感觉”。
2017-08-16 09:30:13
5734
3
翻译 集群调度框架的架构演进过程
原文：The evolution of cluster scheduler architectures 作者：Malte Schwarzkopf之前组会上，有幸与大家探讨 Firmament: Fast, Centralized Cluster Scheduling at Scale 这篇文章（OSDI 2016），文章的作者同时发表了一篇博文，讲述了集群中调度框架的演进过程，读...
2017-07-21 09:39:12
6072
原创 2017年上半年阅读书单
2017年上半年阅读书单BookList:1 . 《鬼吹灯1：精绝古城》2 . 《鬼吹灯2：龙岭迷窟》3 . 《硅谷钢铁侠》 [美] 阿什利·万斯杰夫·汉默巴彻说过“我们这一代人中最优秀的头脑，都在思考如何让人们点击广告，这太糟糕了”，而马斯克是实实在在为了心中的远大理想而工作的，这些想法初期是那么的疯狂，让人望而却步，他却坚持的做了下来，而且特斯拉、SpaceX、太阳城都取得了非常大的成功。我认为
2017-07-02 13:52:15
1105
原创 ASPLOS 2017体会
第22届国际计算机体系结构支持、编程语言和操作系统领域顶级会议（ASPLOS’17）于2017年4月8日到4月12日在中国陕西西安顺利召开。ASPLOS是计算机系统结构领域的顶级国际会议，涉及体系结构、硬件、编程语言、编译器、操作系统和网络等多个方向，尤其重视不同方向之间的交叉。在历史上，ASPLOS曾推动了多核处理器、虚拟化、RAID、RISC、深度学习处理器等计算机系统结构领域的核心创新，因此无
2017-04-17 08:44:42
3924
3
原创 使用pdb调试python程序
使用python自带的pdb库对python的程序进行调试，简直方便到家~~以下是常用的命令： 命令 用途 break/b 设置断点 continue/c 继续执行程序 step/s 进入函数 return/r 执行代码直到从当前函数返回 exit/q 终止并退出 next/n 执行下一行 pp 变量 打印变量的值 help 帮助
2017-02-28 15:51:56
1052
who limits the resource efficiency of my datacenter.pdf
2019-06-27
我的保研经历——中国科学院计算技术研究所
2018-08-03
中科院杨立祥老师操作系统课程思考题整理（2017版）
2018-01-17
集群调度发展历史ppt
2017-12-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人