- 博客(22)
- 收藏
- 关注
RSS订阅原创 Spark学习-关于Spark的开发语言Scala
说到Spark,我一定要先说说Hadoop及Java.现在我是一个Java开发者,几年前就开始接触和使用Hadoop. 最初的一个项目其实是一个后台并行计算的项目，那时经过选型后，最后决定使用Hadoop,当时是基于几个原因：1. Apache下的项目质量都是很高的，很多项目都广为Java开发者使用，到今天来看，这个结论也不为过，如(Ant, ActiveMQ, Axis2,CXF,C...
2014-10-26 12:10:33
722
原创 Spark学习-关于云平台的一个问题
这几天接触了 OpenStack和Docker - 一个是比较成熟的云平台，另外是一个发展中的，增长很迅速的新云平台，其中的一个问题又引发我的深思。问题: 云平台与大数据平台Hadoop怎么进行融合？先说一下云平台的几个概念：计算(Compute),存储(Storage),网络(Network).关于存储，在云上的管理一大部分是共享存储，如磁盘阵列什么的。当然也可以是由很多...
2014-10-26 11:22:50
243
原创 Spark学习-3 运行一个example
开始学习Spark了，先看看Spark能做点什么吧。最好的方式就是先运行个例子程序。先从Spark网站下载一个运行环境(我的运行环境是Win7, 64bits) 。我们在官方网站: http://spark.apache.org/downloads.html下载一个版本：我选 Spark 1.0 + Prebuild for Hadoop 2.3, Link为 http:/...
2014-10-15 11:10:28
724
原创 Spark的学习2-IDE
当使用Maven构建好项目后，现在要开始学习Spark的设计及具体实现，就是源码了。 在Google上查到的比较多的IDE就是Scala + Eclipse , Scala + NetBeans和Scala + IntelliJ Idea. 因为以前一直使用的Eclipse,所以Scala + Eclipse当然是优选了。下了一个ScalaIDE,它的Eclipse的Sc...
2014-10-15 09:36:19
110
原创 Spark的学习1-编译
这两天开始学Spark, 因此把相应的步骤记录下来.下载最新的Spark代码,使用maven进行编译在win8(64位）上进行编译：（参考https://spark.apache.org/docs/latest/building-with-maven.html)现在Spark主要以Standalone方式或Spark on yarn方式运行，因此在使用maven构建时，使用以下...
2014-10-13 23:40:52
322
原创 大数据处理-序
这一个月来，都在忙大数据处理的项目，主要接触了Hadoop系列，如MapReduce V1, HDFS, Hbase, Hive, Yarn(MapReduce V2) 和 Hyracks,另外一个开源框架，号称速度提升是MapReduce的几倍. 经过一段时间的使用和测试，感觉Hadoop系列已经做得很好，很成熟了,同时又逐渐形成了一个以HDFS,HBase为中心的套生态系统。很多...
2013-04-17 22:01:52
109
原创 Windows7 (杂)
新装了个Win7,整体感觉还不错，就是有些地方不爽，特和大家分享一下：1.显示桌面按钮到了右下角.使用太不习惯，于是将xp的显示桌面.scf拷到了win7下,还好，能用。然后把它建了一个快捷方式放在了传统的左下角上，嗯，不错！不过，浪费了我1.5个小时的时间。2.关了一些没用的服务，结果访问不了服务器的共享目录了，Ping服务器却可以Ping通,把其它服务都检查了一番，也没找出是什...
2010-07-19 23:31:35
89
Jar包整理
随着产品功能的不断增加,使用的jar包也越来越多,体积越来越大。更新和上传下载时的时间花费也会慢慢增多。现在是要给jar瘦身的时候了,哪些包需要用,哪些包里的哪些类需要用,需要把他们区分开来,对于某个开源框架使用的私有包,可考虑合并,对一些常用的jar包,如记录日志相关的,处理xml文件的包,可以独立放置,以便可以方便升级. 如何才能有效地把不需要的类移除,但又不影响整个包的其它部...
2009-12-04 00:10:35
82
Eclipse下的User Library的发布(20091126-23:25)
一直在用eclipse+WTP做Java的开发,也见证了WTP直至今天的发展历程.总的来说,还是不错的,但是在使用过程中,经常会遇到这样或那样的问题,WTP的布署方式也是在不断地优化，不断地改进,不断地有错误出现,不断地修复. 不过因为是做企业应用开发,所以可能考虑更多的是能够提供一个强大的,稳定的开发平台.使用过各种版本的eclipse+WTP,最后还是定位到了WTP-2.0....
2009-11-26 23:26:22
73
ExtJS的内存泄露问题(2009-11-14)
现在公司的产品已经使用了Ext框架,主要使用了Grid控件,感觉还不错。运行了没几天,问题来了,IE下消耗的内存太大了,一下子消耗了我400M, 好家伙, 真厉害.我的1G的笔记本都吃不消了,赶紧到网上查ExtJs内存泄露的解决方案,还真有。因为是公司使用Ext,所以只能使用2.0.2版,这个下载的patch是2.2版本,但我比较下来,这个patch在2.0.2下也是可能用的.为保险起见,...
2009-11-14 21:22:59
108
SVN不能更新本地的目录(20091105)
使用SVN已经有很长一段时间了,那段时间里还比较顺畅,没有遇到什么问题.后来,有的同事反映说有的目录更新不下来,当时没注意.这几天在用更新功能时,也出现了这样的问题,暂时不知道为什么? 临时的解决办法,就是删除上一级目录,然后重新下载,这样就可以了,估计是本地svn文件与远程服务器的时间比较上 出了问题?真是奇怪....
2009-11-05 13:49:18
350
学习Ext框架有感 (20091104)
随着接触Ext的时间越来越多,越来越了解,越来越对Ext的设计感到满意。Ext在很多地方都用到了设计模式,如flyWeight, adapter等.在给我们使用Ext时,提供了性能的提高,实现的便捷,的确是一个不错的框架,通过它,我也有意识无意识地去改进产品的设计,真是受益匪浅,强烈建议大家多看看Ext的源码,充分理解它的设计思想....
2009-11-04 19:01:27
74
BorderLayout与GridPanel,GridPanel不能自动调整行高
今天在Web页面布局时遇到一个问题.GridPanel不能自动调整行高 .页面的布局是这样的: 1.上面一个TabPanel,region属性设为'north' 2.中间有一个GridPanel区域,region属性设为'center' 3.采用BorderLayout布局 4.奇怪的是,GridPanel下面的分页部分看不到,还有一部分数据也被档住了一部分,本想利用B...
2009-11-02 20:55:11
181
ExtJs的布局管理
这两天一直在搞布局管理.虽然ExtJs提供了不少布局管理方式.我觉得最有用的还是BorderLayout。它在应用中,使用的最广泛。比如,在Web开发中的列表页面,上面显示查询条件,下面显示查询数据。在布局上要求上面的查询区域不要占太大空间,下面的数据显示区要自动凋整高度,宽度,这种情况下使用BorderLayout的布局方式就很合适. 使用BorderLayout的步骤也不复杂.大...
2009-11-02 17:22:30
66
轻装前进（随笔) (2009.10.31)
web开发的路,一直就没有平坦过。做过C/S架构的人,都会怀念那段快速开发,快速调试的时代。不过时光不会倒流,社会也会一直发展,所以要适应现在的形式. 我用来开发的笔记本,速度和内容一直都是处于比较落后的水平。没办法,只能从系统的各个部分想办法来节约内存,CPU的占用.能不开的服务一定不开,有些不经常使用的服务,等使用时再启动它,用完后再关掉.开发工具等也选用较轻的,有一定功能的...
2009-10-31 09:10:23
75
扩展Ext.TabPanel的一个问题 (2009-10-30)
又开始学习并应用Ext了,前一段在搞其它的东西,就又把Ext给放下来.这一段又重拾起Ext来。做了一个简单的TabPanel的封装,运行一下, 竟然报错,代码挺简单的,代码如下:[code="javascript"]XXX.widget.TabPanel= Ext.extend(Ext.TabPanel,{ activeTab : 0, height : 400...
2009-10-30 21:42:48
145
我的Js日志组件 logger for js (log4js)- (2009-10-30)
前一段使用了一下blackbird(一个js logger框架),效果还不错,不过还达不到我的要求,而且界面略显笨重。而以前,我是用的Adobe的Spry组件,界面效果没有blackbird好看.功能也一般.考虑到项目/产品的实际需要,结合着log4j的设计思想,把blackbird改造成自己的log框架log4js.呵呵,这个名头好象有点大, :）.不管了,先把我的这个log4js的功能...
2009-10-30 11:12:41
189
Listener中遇到的问题 (2009-10-16)
今天在做一个web应用, 环境是: Tomcat -6.0 JDK -1.5 Hibernate 3.x 新写了一个listener,部署到Tomcat里, 在eclipse中调试中, 出现了一件奇怪的事. tomcat不断的重启,最后定位到出现问题的地方, 就是在 contextInitialized中我调用了Hibernate的查询方...
2009-10-16 08:54:06
145
Ant Copy任务的几个有用参数 (最后修改时间, 覆盖, 目录结构)
在使用Ant的copy任务过程中,我们有时会用到几个有用的参数:1. preservelastmodified 缺省值: false 建议值: true 看字面意思,就大概能猜到这个参数是做什么用的.使用copy任务时, 默认拷贝会修改文件的最后修改时间,这是我们一般情况下不想看到的。 所以一般来说,会将此参数设为 true2. overwrite ...
2009-10-13 12:49:40
865
TONG LI DIAN ZI - 你要害人害到什么时候
今天去超市买东西,拿了几个硬币。结果售货员告之,叫我换一个硬币给她。我不解,拿来看了一下,好象没什么问题啊? 翻过来一看,可不是嘛,正反两面都是一样的,都是印着一朵菊花,菊花的周围还印着字。我想,这不会是错币吧,要是的话就发了! 出了超市大门,又拿出一枚1元硬币, 再和这枚硬币比较一下.KAO,这两个真的不一样,不光是花的精细程度,还是花周围的一圈字上,假币的那一圈字竟然印着"TON...
2009-09-09 11:32:35
2328
ExtJs 的学习历程-Grid篇(1)
一直在找一个功能强大的Grid,能够满足我在工作中的大部分需求。自从认识Ext Grid后,我就被深深住了,这不就是我要找的东西吗? 看了它的例子,就想着手用一下.但是,真正要将此控件用到工作中，还需要做许多处理,于是我把工作分成几个阶段.-------------------------------------1. Grid显示2. Grid编辑3. Grid的综合应用...
2009-09-01 14:04:23
51
ExtJs的学习历程(序)
2009.8.31[[b]序[/b]] 这算是我的第一篇正式博客吧.平时都比较忙,一直没机会来写一写我的经历,但是在查阅资料过程中,我发现很多网上的文章都是一样的,基本上都是抄别人的, 放在自己的博客,而且还不注明出处.有很多技术文章,要不就是断章取义,要不就是丢三落四,叫用户花费了大量的精力,也得不到正确的答案. 所以,我觉得,我也要写点什么,尽量能给在黑夜的...
2009-08-31 12:48:17
77
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人