- 博客(33)
- 资源 (85)
- 收藏
- 关注
原创 Spark的flatmap与map.filter.map有什么异同
A => Option[B] => B 这个过程scala的 aList.map(B(_)).filter(!_.isEmpty).map(_.get) 和 aList.flatMap(B(_)) 有什么差别? 在 spark rdd 以及 sparksql 同样的操作又有什么异同呢?--Scala对Option而言,逻辑上flatMap就是map.f...
2016-10-11 10:15:59 564
原创 利用maven的资源提交spark任务
官网的教程提交依赖的jar,使用 --jars 参数来添加额外的jar。这种方式比较费劲,如果依赖比较多需要一个个的弄,挺麻烦。 查看 SparkSubmit 源码时(结合help帮助),可以通过 --packages --repositories 两个参数来添加需要的包(当然也可以包括 primaryResource )。packages写法类似于sbt类似,多个包通过逗号分隔;...
2016-10-09 22:03:52 235
原创 MessageFormat的pattern中含有单引号的问题
类似于linux字符操作,如果被单引号包裹的字符不会被替换。 如果需要输出单引号,又要替换其中的字符,需要使用双单引号来表示单引号! public class MessageFormatTest { @Test public void testPatternUncorrect(){ String UPDATE_SQL = "update t_handle_ti...
2013-03-18 09:42:25 947
原创 编译hadoop的jsp源码
从apache下载的tar.gz的hadoop-1.1.0包中本来就包括了src的源码。可以方便我们查看源码调试。 (从github上下载了最新的hadoop-common的源码,发现hadoop-2.0已经是使用maven管理代码了。) 在eclipse中新建java project,去掉“Use Default location”的复选框的勾,自定义项目为hadoop-1....
2013-03-15 23:21:54 204
原创 shell使用实践
通过shell来获取视频地址,简化生活,所以这个分类到编程之美下面。 这里讲的是使用shell获取163 ted视频下载地址。 效果如图: shell脚本如下: #!/bin/shwget -qO- http://open.163.com/ted/ | iconv -f gbk -t utf-8 | awk '{if($0 ~ /<a hre...
2013-03-07 00:02:45 137
原创 快速搭建第二个hadoop分布式集群环境
万事开头难,第一次搭建集群环境确实是比较难,比较苦恼。但,也不是说第二次搭建集群环境就会容易。 一般,第一次操作我们都会在测试环境中进行,当我们要搭建正式的环境时,是否还要像第一次那样搭建环境呢?在搭了2^n次环境后,这里提供一种稍稍便捷一点的配置方式来搭建集群,所有的操作都在namenode上面进行! 192.168.3.100 h100可以认为是测试环境的namenod...
2013-03-02 00:06:41 135
原创 top命令使用
使用过linux的系统的人,应该都用过top命令。top集成了系统的许多功能,可以查看时间,查看系统的负载,查看cpu和mem的使用情况,查看系统运行的程序等。 top命令显示界面可以分成3部分:系统总体性能(Summary_Area),命令输入光标(Message/Prompt line),任务显示区(Columns Header,Task Area)。 1、 常用的...
2013-02-26 01:07:12 248
原创 hadoop集群增加节点
hadoop的集群的优势,其中之一就是可以灵活的增加数据节点,简简单单的实现扩容! 1、 最好安装统一的操作系统。安装的时刻把防火墙关了! 2、 在新节点使用root用户,修改系统的一些参数修改时间。date -s 12:00:00 设置IP地址。vi /etc/sysconfig/network-scripts/ifcfg-eth0service ne...
2013-02-22 22:14:04 397
原创 使用powerdesigner导出数据表的结构图
http://www.5iphp.com/node/28一、 根据表结构生成powerdesigner模型:导入工作分成几步,工作很简单,步骤如下:第一步:将要导入的库的所有表的表结构(不要表数据,只要表结构)导出成一个.sql文件。第二步:在powerdesinger里找到 File >> Reverse Engineer >> Database ,然后出来...
2012-12-25 19:09:14 712
原创 oralce to_clob使用笔记
在写试图view的时刻,把所有字段拼接成一个字符串,但是有个表比较特殊有个clob字段,如果使用to_char转成varchar的化,只能处理最大4000个字符。。。。最后,在其他字段加入一个to_clob('')处理,转换为clob类型。(clob+varchar=clob类型)to_clobhttp://www.techonthenet.com/oracle/functions...
2012-12-04 19:56:12 8561
原创 url-pattern that excludes subdirectoriesy
需求其实就是把eclipse osgi导出的应用嵌入到原有的ssh开发的程序中。 <filter> <filter-name>struts-cleanup</filter-name> <filter-class> org.apache.struts2.dispatcher.ActionContextClean...
2012-07-26 14:04:06 121
原创 To embed OSGi in servlet container
环境:Eclipse Modeling ToolsVersion: Indigo Service Release 2Build id: 20120216-1857 操作系统:win7tomcat: apache-tomcat-7.0.27 1、 简单操作(在bridge基础上再添加jar)主页:http://eclipse.org/equinox/serv...
2012-07-20 12:44:18 140
原创 android生成R.java文件
eclipse生成R.java文件:保存后工程rebuild,最终调用android-sdk-windows\platform-tools\aapt.exe执行命令来生成文件,然后刷新eclipse-project的gen目录。 #com.android.ide.eclipse.adt.internal.build.builders.PreCompilerBuilder.build...
2012-07-13 16:02:16 172
原创 android-eclipse-plugin 源码
https://android.googlesource.com/platform/sdk/+/tools_r20/eclipse/plugins/ git clone https://android.googlesource.com/platform/sdk com.android.ide.eclipse.adt.overlay/com.android.ide.eclips...
2012-07-12 16:33:00 119
原创 ERROR “An API baseline has not been set for the current workspace”
导入eclipse插件,出现错误。错误提示:Description:An API baseline has not been set for the current workspace. Type:Unknown Default API Baseline Problem解决方法:把 Missing API Baseline option 的级别设置的低一点就可了~~ 参考资...
2012-05-07 11:12:29 1338
原创 TreeItem实现Hyperlink的效果
在swt中,Hyperlink可以实现 '点击跳转' 的效果。例如,在PDE的MANIFEST.MF的 Activator 点击该标签可以跳转到对应的Activator的类。org.eclipse.pde.internal.ui.editor.plugin.rows.ReferenceAttributeRow.createLabel(Composite, FormToolkit) ...
2012-04-01 13:08:06 220
原创 HashMap的keyset与value的对应
在改一个bug的时刻,把原来的老大写个map.values()改成了map.keyset()。前面通过循环得到一个prepared sql,后面再把对象的数据放入到PreparedStatement中。下班后,感觉不是很对劲。Map怎么确保得values()和keyset()的顺序是一样的呢? 原来用map都是先取key然后得到value。由于在map上封装了,不能直接取得ent...
2012-03-31 08:50:25 508
原创 嵌套类命名
class CopyOfDDDD implements IServiceTaskProcessor { @Override public Serializable process(IItemInstance data) throws TaskException { return null; } /*static*/ class CopyOfDDDD imple...
2012-03-29 16:50:28 160
原创 GMF编辑器中,图形可以放大不能缩小
同事和我做同一件事情,但是我弄的总有个问题。对比了我们各自写的文件,在表面上完全没有那里存在问题。 在前段的时间中也遇到相应的问题,原来是加上一个布局就可以了。 setLayoutManager(new ConstrainedToolbarLayout()); 再次遇到一样的问题,想查查到底是什么问题。经过对比使用布局和不使用的调试结果后。大概问题如下: G...
2012-01-11 10:04:25 184
原创 finally抛出异常
问题: http://www.iteye.com/problems/77232 抛出异常:finally中的异常会先于try中的异常。 public static void test11() { try { System.out.println("try"); int i = 1 / 0; } finally { String s = n...
2012-01-02 19:24:04 300
原创 Java HashMap冲突实例
参考:PHP数组的Hash冲突实例 http://www.laruence.com/2011/12/30/2435.html 看到这篇帖子,其实数据结构真实的存在于身边。模仿上文,弄个Java版的。1、重写hashcode,最好(一定)要重写equals。即hashcode相同则equals返回true import java.util.HashMap;public ...
2011-12-31 15:31:08 466
原创 String,StringBuilder
参考:http://www.blogjava.net/chenpengyi/archive/2006/05/04/44492.html 关于String的+操作和StringBuilder#append的效率问题,以前也遇到过,不过没有太多的关注。 1、String+操作,当单行使用时完全不用考虑效率的问题,因为在生成字节码的时刻已经把这种操作优化为StringBuidler。...
2011-12-13 09:24:13 150
原创 draw2d中的数学公式
图形就必然会存在几何的数学问题:点的旋转,求交点。 1、求点A(a,b)旋转β弧度后B的坐标: /** * Returns a new transformed Point of the input Point based on the * transformation values set. */ public Point getTransformed(Point...
2011-08-30 09:00:48 165
原创 Can't find genFeature for feature ...
问题场景:<quesiton>通过Annotated java生成genmodel和ecore后,在ecore的EClass下增加了属性。 然后生成代码,一步一步的按照http://gmfsamples.tuxfamily.org/wiki/doku.php?id=gmf_tutorial5进行。从gmfmap生成gmfgen是出现了一下错误提示:Can't...
2011-08-23 13:56:14 139
原创 java2html 使用分享
java2html.de使用的详细说明:http://lavasoft.blog.51cto.com/62575/43548源码目录结构:de.java2html 入口de.java2html.converter 转换,生成对应style(高亮)的对应格式文件de.java2html.javasource 源文件处理,格式的解析,词法分析|-IJavaSourc...
2011-07-30 17:15:22 139
原创 @Override annotation error(Eclipse导入原有的Android Projects)
导入原有程序出现下面的errors提示: Description Resource Path Location TypeThe method onClick(View) of type new View.OnClickListener(){} must override a superclass method DeliverActivity.java /HelloAndroid/...
2011-03-10 21:10:59 101
原创 Win7下安装Fedora(linux)
(用虚拟接vmware安装,就不说了,这个相对来说没有心理压力。如果没装好,删掉就可以了。) 看了一个视频,热血沸腾的要转Linux,准备了老半天。 1、查了一些资料,有硬盘安装的下载EasyBCD做多系统启动的(Win7下Fedora14硬盘或U盘安装指南http://www.linuxidc.com/Linux/2010-12/30459.htm)。比较麻烦,手边也有空白光...
2011-02-28 18:26:40 188
原创 UltraEdit去除“File is probably not DOS format”提示
UltraEdit去除“File is probably not DOS format”提示:
2011-02-22 16:49:35 341
原创 Android常用组件
Android操作系统是一个复杂的平台,其中包含了多种功能模块,比如用户界面系统、系统间通信系统、数据库系统和定位服务等,各种功能模块之间相互配合为应用程序提供服务。Android架构里定义了4种应用程序,用户的Android应用程序都是由这4种构建组成的。活动activities——桌面操作系统中独立的应用程序类似可以通过查询queries和意图int...
2011-02-22 16:42:18 126
原创 第一个Android应用程序HelloAndroid
在Eclipse强大的组件ADT的基础之上,可以很简单的建立和开发Android应用程序。对于第一个Android程序来说,基本上不用去敲入代码就可以完成HelloAndroid程序的实现。1、新建一个Android Project。2、填写和配置 3)填写完成,点击Finish按钮,第一个Android程序,就实现了。4)运行,选择Run As-&...
2011-02-22 16:39:47 178
原创 环境说明与搭建
1、操作系统Win72、Eclipse(3.6.1)3、Java SDK(JDK)jdk-6u24-windows-i586.exe http://www.oracle.com/technetwork/java/javase/downloads/index.html4、Android SDK1)现在SDK Manager工具developer.android.co...
2011-02-22 16:35:37 173
Web选择日期时间控件
2019-03-11
图解设计模式 pdf
2019-03-10
linux下基于QT和v4l2驱动的USB摄像头视频采集与显示
2019-03-10
c#引用ThoughtWorks.QRCode.dll生成二维码支持中文
2019-03-08
如何在Visual Studio(VS)里使用libsvm工具箱 与博文相关的代码包
2019-03-07
markdown toc 生成--自动生成markdown文档侧边栏目录
2019-03-06
网络安全基础+网络攻防、协议与安全.pdf
2019-03-06
各种最小二乘法汇总(算例及MATLAB程序)
2019-03-05
用C/C++编的海龟作图
2019-02-26
deepin下数据库管理工具2
2019-02-24
jsp+servlet+mysql企业人事管理系统
2019-03-23
Java实现XML导入不同数据库,从数据库导出数据到XML
2019-03-23
iOS 简单抠图 更换背景
2019-03-22
EMI EMC等的几本书籍
2019-03-22
ISO8583标准资料以及实现代码
2019-03-21
机器人VJC1.5仿真版
2019-03-20
Python Web开发实战.pdf
2019-03-19
基于J2EE的 学生宿舍管理系统(内含数据库代码、WEB网页代码)
2019-03-18
Intel parallel studio xe 2013 update2 授权文件
2019-03-18
PTP协议_IEEE1588_V2_中文版
2019-03-15
矩阵的特征值与特征向量的计算的matlab实现,幂法、反幂法和位移反幂法、雅可比(Jacobi)方法、豪斯霍尔德(Householder)方法、实对称矩阵的三对角化、QR方法、求根位移QR方法计算实对称矩阵 的特征值、广义特征值问题
2019-03-15
Java开发技术大全(500个源代码).
2019-03-13
Realtek PCIe GBE Family Controller WIN7/WIN2008 驱动
2019-03-13
STC12C5A60S2的原理图库和PCB库
2019-03-12
C#做的漂亮的仪表盘
2019-03-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人