- 博客(33)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 groovy脚本使用map
private Map parseUrl(String str) { Map rsltMap = new HashMap(); String[] strList = str.split("&"); for(int i=0; i String[] kv = strList[i].split("=");
2015-02-02 16:52:41
963
原创 groovy分析脚本基本组成文件详解和运行过程中出错分析
在本公司搭建的hadoop运行平台上，主要利用groovy进行数据分析并输出分析结果到数据库报表。每一个分析需要编写DataTypeConfig.xml、ReportConfig.xml和.groovy脚本文件。在进行数据分析的过程中，也会出现一些常见的错误，现在逐步总结如下。一、DataTypeConfig.xml、ReportConfig.xml和.groovy脚本文件字段分析
2015-01-30 10:31:52
1167
原创 groovy脚本中输出调试信息到文件
在进行本地调试时，有时需要将相关的调试信息输出到文件中进行分析，那要怎么做呢？很简单。.groovy脚本中：public class xxxxxxxx extends ScriptOper { public void preProc_xxxx (DataRecord record, List lstMap) { ScriptMap map = Scrip
2015-01-22 22:42:59
4890
原创 array数组中数据的读取
在用groovy脚本分析用户模型数据的过程中，由于用户模型数据中有一个字段是appInfo, 该字段是一个自定义AppInfoModel类的列表List ，那在groovy脚本中应该如何获取该列表进而获取AppInfoModel中的内容呢？也很简单。在groovy脚本中：public class xxxxxxxx extends ScriptOper { public v
2015-01-21 17:28:31
1963
原创 txt格式数据的逐条处理
最近在搞hadoop和mapreduce处理大数据，在用groovy脚本编写分析（需要编写DataTypeConfig.xml、ReportConfig.xml、.groovy脚本）时遇到一个问题：就是数据格式为txt，非avro数据；那要如何读取呢？其实很简单，在几个地方设置一下就可以了。具体说明如下：DataTypeConfig.xml中：txtline.groovy脚本中
2015-01-21 16:31:54
768
原创 linux下grep实现某目录下所有目标字符串的递归(包含子目录)查找
命令如下：grep -r -E 'word1|word2|word3' dir/ > gather.logdir表示要进行查找的目录；-r 表示需要查找子目录;-E：扩展模式，可指定对多个目录字符串进行查找，多个字符串之间是“或”的关系；>：重定向符，表示将匹配结果输出到后面的文件中；
2014-12-16 16:30:14
2663
转载 maven资源文件.properties的引用
转载自：http://stonedeng.iteye.com/blog/1394882maven资源文件引用博客分类：mavenmaven资源文件引用： 1、maven默认系统的资源文件在src/main/resources下，在执行mvn process-resources的时候会将此文件夹下的东西全部拷贝到classes文件夹下，同时对文件中含有${}中
2014-10-21 14:02:28
4321
转载 JAVA中ArrayList的自定义排序
Java中本身自带对ArrayList中的元素进行排序的函数sort()。然而，如果想对元素进行自定义排序，需要重载Compare方法！
2014-08-04 14:58:40
1510
1转载 eclipse安装pydev插件
可用的pydev插件下载站点：PyDev，Location是http://pydev.org/updates下面的步骤参照http://wenku.baidu.com/link?url=v-H3dlAPTkGM3la9AVB_EM5KHPvb0QnMjyAEQMwW8CgGozakQ2LdHIMfpQVw5a7ZYw3phEGSOMs9GOJV7bMZuh2nmTcz2QY
2014-03-28 11:11:33
505
转载 eclipse中添加相对路径的外部jar包
在eclipse中进行java编程的时候，常常需要引用外部jar包。而采用相对路径引用jar包可以大大方便java工程的拷贝，这样使得java工程从一个路径转移到另一个路径时不用大费周章的修改外包jar包的路径了。下次总结在eclipse中引用外部jar包的步骤：1.在相应的java工程目录下建立lib目录，将所有需要引用外部jar都放到该目录下；2.重新import工程，使lib目录加入
2013-12-09 21:07:39
4950
转载 Perl中字符串编码的处理
在 Perl看来, 字符串只有两种形式. 一种是octets, 即8位序列, 也就是我们通常说的字节数组. 另一种utf8编码的字符串, perl管它叫string. 也就是说: Perl只熟悉两种编码: Ascii(octets)和utf8(string).utf8 flag在perl内部, 字符串结构由两部分组成: 数据和utf8 flag. 比如字符串"中国"在perl内部的存储
2013-10-12 12:32:24
806
转载 ubuntu如何切换中文语言及中文输入法
一般安装ubuntu的时候都是用默认的英语来安装，免得在安装的过程中下载 语言包（下载速度很慢）。安装玩之后又怎样切换呢1.从system settings –>language support 点击 install/remove languages 勾选 chinese(simplified) 点击apply changes 输入密码，等待下载安装。安装完后重启N遍电脑，语言还是英文的，
2013-08-21 11:02:55
3275
转载 java下的字符编码转换总结
在java下进行软件开发的过程中，难免会遇到乱码的问题。如果不了解java字符编码转换的相关知识，很有可能就会对乱码一头雾水，搞不清道不明，活活恶心死！！其实，只要认真搞清java下的编码知识，避免出现乱码、解决乱码问题都很简单！一、各种编码的基本知识1. iso8859-1 属于单字节编码，最多能表示的字符范围是0-255，应用于英文系列。比如，字母'a'的编码为0x
2013-08-15 11:40:53
861
转载 unicode编码各模块的说明
Character.UnicodeBlock中cjk的说明Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS ： 4E00-9FBF：CJK 统一表意符号 Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS ：F900-FAFF：CJK 兼容象形文字 Character.Unic
2013-08-06 19:24:35
1720
原创 关于java下的明确编码方式的文件读写操作总结
在java下主要通过file类来对文件进行操作！一.创建文件//创建一个文件对象，如：File f1=new File("E:\\test.txt");//实实在在的创建一个文件f1.createNewFile(); 二.文件读String encoding="GBK"; //设置读文件的编码方式InputStreamReader read = new Inpu
2013-08-01 17:22:36
1173
转载 将eclipse java程序打包成jar的总结（包括工程中没有引用外部jar包和有引用外部jar包两种情况）
一.当eclispe java工程中没有引用外部jar包时：选中工程---->右键，Export...--->Java--->JAR file--->next-->填写jar file的路径及名称-->next-->next---> 填写main class--->finish，然后就在相应的目录下得到jar file文件！ 然后可以在cmd命令行下执行：java -jar 存放路
2013-08-01 11:56:53
2238
转载 HashMap排序的两种方法总结
/***************result是排序的目标HashMap***************///统计词频，并存入HashMap result中 tmp1=lineTxt.split("\t")[3]; if(result.get(tmp1.trim())!=null) { result.put(tmp1,
2013-07-31 17:54:49
1059
转载 TinyXml解析复杂xml字符串总结
TinyXML是一个开源的解析XML的解析库，能够用于C++，能够在Windows或Linux中编译。这个解析库的模型通过解析XML文件，然后在内存中生成DOM模型，从而让我们很方便的遍历这棵XML树。 下面我用个简单的例子说明如何使用tinyXML操作xml文件。在讲例子之前我先说说tinyXML中主要类和xml文档之间的对应关系。下面是tinyXML中主要class的类图，反应各
2013-07-31 16:59:38
5531
转载 perl文件编码处理问题
在看perl时，发现文件编码处理问题不是很懂。BG了下，发现还是有点东东，so，收藏下：--------------------------1-----------------------------------一个脚本用于分析应用程序的日志,但是在这些日志文件中,有的编码是utf-8的,有的编码是gbk的.对于utf-8的日志文件,需要将内容转换成gbk的编码,这样看到的中文才不至于乱码
2013-07-30 11:00:22
4141
转载 perl下关于文件读写，hash统计频数并排序的总结
很少用到perl，这次用了一把，特意记录一下关于文件读写和hash统计频数并排序的总结：1.文件读写perl下读写文件非常简单：，首先是读：#打开文件open(FILE_NAME, $_)||die "can't open part-m file";一行一行读出来并处理：while () { chomp; print $_,"\n"; ###
2013-07-30 10:52:43
3284
转载 window平台下eclipse设置应用程序能够使用的最大内存数的总结
Xmx是java的一个选项，用来设置你的应用程序能够使用的最大内存数，一个操作系统通常都只使用jvm，所以也就是设置jvm虚拟机能够使用的最大内存数,如果你的程序要花很大内存的话，那就需要修改缺省的设置，比如配置tomcat的时候，如果流量啊程序啊都很大的话就需要加大这个值了，不过有一点是要记住的，不要大得超过你的机器的内存，那样你的机器会受不了的，到时候就死翘翘了。 Xms是另一
2013-07-23 17:15:23
1956
转载 遍历hashmap、hashset的方式总结
一般有两种，但只推荐下面效率高的一种：以遍历HashMap为例：Iterator> iter = hashTemp.entrySet().iterator(); while (iter.hasNext()) { Map.Entry entry = (Map.Entry) iter.next(); String key = entry.getKey(); Str
2013-07-22 16:22:25
1309
原创 关于expat第三方源码生成静态库并被其他程序加载的总结
expat是解析xml的一个工具，项目需要本人最近在使用，可以到点击打开链接下载到expat包！在讲expat编译生成静态库并被其他程序加载的过程，遇到一个问题，就是：每次expat都能正常编译生成静态库，但是在vs2010中被其他程序加载并调用expat的函数时总会报错：一般这种错误都是库没链接上！所以一开始以为是自己在vs中主程序工程里的静态库加载路径没设置正确，仔仔细
2013-07-03 17:37:40
1178
原创 嵌入式LINUXshell编程中的引号
在上文根文件系统建立的过程中，需要制作一些可执行的脚本文件,比如rcS,profile。这些脚本里编程使用的是shell语言，需要注意其中的引号。如下：在shell中引号分为三种：单引号，双引号和反引号。 1.单引号 ‘ 由单引号括起来的字符都作为普通字符
2011-09-02 09:58:16
423
原创 at9261根文件系统的建立
这两天自己动手焊了块9261的工业级ARM板，然后就打算在上面搭建系统。相应的bootloader和内核（linux-2.6.24）都是从相应的9261光盘里得到并成功烧写，至于文件系统，我自己就打算搭建NFS网络文件系统，一来方便调试，二来是自己从头开始搭建的系统，用起来肯定非
2011-09-02 09:11:47
456
原创 Q4.7.0T操作EXCEL
这两天杨老师让我处理一下学校EXCEL课表的数据，需要筛选整理出用到的信息，于是我就用编了一个QT程序处理了一下，两天的时间总算完成了任务。源程序代码如下： qtandexcel.pro#----------------------------------------------
2011-08-31 21:18:40
615
python+numpy+scipy
2014-08-25
tinyXML第三方源代码包
2013-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人