fenghaichun-CSDN博客

原创 2. IOC 容器的简单实现（附源码）

IOC 容器的简单实现之前一直想深入研究下IOC容器的原理，无奈最近去搞大数据了实在没时间。今无意间看到了深入理解Spring–动手实现一个简单的SpringIOC容器，没想到确实会这么简单，原文章中没有属性注入的代码，我做了简单的补充。该代码对IOC容器的理解很有帮助。故记录。源码上传至：http://download.csdn.net/download/fadetoblackfff/10

2017-12-27 11:52:44 214

原创管道模式(pipeline)

读tomcat源码时碰到管道模式（PiepeLine），整个阀门的结构类似一个单链表，在处理数据需要在各个部件中流动处理的场景时非常有用，其原理如下：流水线模式的几个角色阀门处理数据的节点管道组织各个阀门客户端构造管道，并调用接口代码建模阀门接口public interface Valve { public Valve getNext();

2017-11-21 16:01:46 5220 1

原创 spark与scala版本问题

异常信息：java.lang.NoSuchMethodError: scala.Product.$init$事情的经过是这样的：1. 使用spark最新版本2.2.0测试SparkSql的DataFrame及Dataset的时候抛出这个异常。2. 开始怀疑是scala版本问题，于是没多想安装了scala最新版本2.1.2.4，然而依然报这个错。3. 郁闷好久，甚至去研究ca

2017-11-14 16:06:45 13447 2

原创 spark windows环境下开发环境快速搭建。

spark本地练习环境搭建练习环境搭建为了避免搭建环境阻塞对spark本身的学习（当然这部分也很重要，当对spark本身有了基本了解后应该学习这部分内容），可采用本地的模式快速搭建练习环境，具体环境搭建参考：Spark在Windows下的环境搭建本人亲测可用，希望对入门大数据的朋友有所帮助。IDEA开发环境搭建在有了上面的环境之后，可以在spark-shell下进

2017-11-09 18:32:40 556

原创 spark官方文档阅读笔记1

spark官方文档阅读笔记1sparkContext的初始化val conf = new SparkConf().setAppName(appName).setMaster(master)new SparkContext(conf)如果在本地运行，则master的值为"local"，如果在集群运行，则值为master主机的ip地址，问题：如果在yarn运行呢？参考文档

2017-11-09 18:29:09 308

原创 linux免认证登录

1. 安装sshcentOS:sudo yum install sshubuntu:sudo apt-get install openssh-server2. 生成密钥ssh-keygen -t rsacp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keysssh-copy-id -i ~/.ssh/id

2017-09-22 20:29:56 961

原创 1. 引子

尽管现在看起来用面向对象的方法给世界建模是理所当然的，但是从面向过程到面向对象的转变依然是很突破性思维转变，它使得给事物建模的复杂性降低了很多，你无法想象只使用面向过程的方式去给事物建模有多复杂。但是面向对象并不是没有缺点。例子：假设模拟人使用手机发短信这个场景，一开始，我们可能会这么写：手机的接口：public interface Phone { void sendMe

2017-09-16 19:04:17 230