- 博客(12)
- 收藏
- 关注
RSS订阅原创 Scala继承与Java的区别
在之前的笔记Java静态属性和方法的继承问题中，通过具体的实验证明，在子类中重写父类的字段时并没有覆盖父类的字段，只是隐藏了父类的字段。而在scala中则不同，scala子类的同名字段会重写且覆盖父类的同名字段，这里做了个简单实验，并记录下来。
2016-06-06 18:02:56
1740
原创 Spark RPC阅读笔记（初稿）
阅读代码的版本为2.0.0-SNAPSHOT。在最新的Spark源码中，RPC统一采用了Netty作为传输框架。主要由RpcEnv,RpcEndpoint和RpcEndpointRef组成，他们之间的关系图如下： RpcEnv必须由RpcEnvFactory实现，RpcEnv可以理解一个容器，所有的RpcEndpoint都必须像RpcEnv注册，并得到对应的RpcEndpointRef，这样就可以
2016-06-01 19:07:48
643
转载 双重检查锁定与延迟初始化
在java程序中，有时候可能需要推迟一些高开销的对象初始化操作，并且只有在使用这些对象时才进行初始化。此时程序员可能会采用延迟初始化。但要正确实现线程安全的延迟初始化需要一些技巧，否则很容易出现问题。
2016-05-31 17:16:13
471
原创 理解PCA和SVD
这篇文章推导的很好，由于复制过来太难看，所以这里记录个网址。http://www.fuzihao.org/blog/2015/12/04/%E7%90%86%E8%A7%A3PCA%E5%92%8CSVD/
2016-04-27 19:41:43
616
原创 Compressed Sparse Column format(CSC)
CSR(Compressed Sparse Row format)和CSC(Compressed Spare Column format)都是一种稀疏矩阵的存储格式。这里分别给出实例：假设有如下矩阵： ⎡⎣⎢⎢⎢⎢⎢⎢1360004000007100258110000012⎤⎦⎥⎥⎥⎥⎥⎥(3) \left[ \begin{matrix} 1 & 0 & 0 & 2 & 0\\ 3
2016-04-27 14:06:56
2009
原创 Ubuntu 安装scipy错误解决办法
在ubuntu 14.04使用pip3 install scipy时报错：numpy.distutils.system_info.NotFoundError: no lapack/blas resources found百度了一圈，都没什么实质性的解决方法，google一下就在stackoverflow上找到了同样的问题。具体解决方法如下：sudo apt-get install libblas-d
2016-03-28 11:03:33
1617
原创 HashMap的containskey源码分析
HashMap作为util包中比较常用的一个数据结构，充分理解内部代码的逻辑是有很必要的，这里做一个对HashMap 的containsKey函数的源码分析笔记。containsKey的代码如下： /** * Returns <tt>true</tt> if this map contains a mapping for the * specified key. *
2016-03-11 10:53:18
3297
转载 共享内存
共享内存 共享内存是被多个进程共享的一部分物理内存。共享内存是进程间共享数据的一种最快的方法，一个进程向共享内存区域写入了数据，共享这个内存区域的所有进程就可以立刻看到其中的内容。原理图如下：共享内存的实现分为两个步骤：一、 创建共享内存，使用shmget函数。二、 映射共享内存，将这段创建的共享内存映射到具体的进程空间去，使用shmat函数。
2016-01-23 13:17:34
460
原创 解决.gitignore无法忽略部分文件
解决.gitignore无法忽略部分文件 在使用git时，有时忘了写.gitignore文件。即先执行了诸多git add,git commit,git push等，然后加上了.gitignore文件。此时会发现.gitignore没用了，往往反复改正.gitignore，结果都没用。 其实，git已经tracking了某些想忽略的文件。
2016-01-20 20:11:53
727
转载 Tachyon--以内存为核心的开源分布式存储系统
Tachyon是一个以内存为核心的开源分布式存储系统，也是目前发展最迅速的开源大数据项目之一。Tachyon为不同的大数据计算框架（如Apache Spark，Hadoop MapReduce, Apache Flink等）提供可靠的内存级的数据共享服务。
2016-01-15 22:57:35
1321
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人