- 博客(54)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Storm基本概念
2.1 Storm基本概念在运行一个Storm任务之前，需要了解一些概念：TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfiguration Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，...
2014-12-05 16:49:45
183
原创 linux 日期转换
date -d '1970-01-01 UTC 946684800 seconds' +"%Y-%m-%d %T %z" start_time=`date -d "1970-01-01 UTC $date_start seconds" +"%Y-%m-%d %H:%M:%S"`;
2014-05-23 18:27:22
360
原创 crontab与环境变量
2. crontab与环境变量不要假定cron知道所需要的特殊环境，它其实并不知道。所以你要保证在shelll脚本中提供所有必要的路径和环境变量，除了一些自动设置的全局变量。所以注意如下3点：1）脚本中涉及文件路径时写全局路径；2）脚本执行要用到java或其他环境变量时，通过source命令引入环境变量，如：cat start_cbp.sh#!/bin/shsource /etc/profilee...
2014-05-23 11:15:10
221
原创 mysql小技巧
order by null用途是强制对查询结果禁用排序。通过explain检查查询语句时候，如果看到Extra列中有Using filesort，这是对性能有一定影响的，特别是使用了group by时，就算你没有显示的指定order by，mysql会默认按照分组字段进行排序。某些情况下是没有必要使用排序的，例如在处理表报数据的时候（把原始表数据统计后插入到一个用于报表查询的表），则完全可...
2014-05-22 14:21:26
92
原创 hive sql 优化
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。 基本原则：1. 尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段select ... from Ajoin...
2014-05-22 14:21:17
126
原创 oracle 相关
找表select * from all_tables where table_name like '%NGINX_LOG_REPORT%' =========任务运行=============== ---任务列表select spend_time/60,t.* from SPEND_TIME t--where lower(t_name)=lower('P_TADU...
2014-05-21 15:21:03
81
原创 hive查询相关
一、嵌套查询统计数量去重问题描述：如果子查询中对统计的字段已经去重，外面一层就不能同时有distinct（目标统计字段）和group by操作，否则查询结果不是统计的数量而是统计的字段数据。如：selectplatform_id, count(distinct user_id) uv_countfrom(selectplatform_id, user...
2014-05-21 15:12:57
92
原创 shell 时间处理
start_dt="20130101";end_dt="20131231";for ((i=0;i<= $(($(date +%s -d "$end_dt") - $(date +%s -d "$start_dt")))/86400 |bc ;i++)) ;doreport_day=$(date -d "$start_dt +$i day" +%Y%m%d)ec..
2014-05-21 15:11:57
180
原创 hadoo安装常见问题
遇到问题以后先查看日志，以下是常见的错误情况及解决方法，希望对大家有所帮助。1、启动hadoop时没有NameNode的可能原因：（1） NameNode没有格式化（2） 环境变量配置错误（3） Ip和hostname绑定失败2、地址占用报错：org.apache.hadoop.hdfs.server.namenode.NameNode: Address already ...
2014-05-21 15:10:48
114
原创 防止误删文件无法恢复
rm -rf 慎用命令敲得多了，常在河边走，难免会湿鞋rm 特别是rm -rf之前，小心，三思，提前做好备份为了避免因为误操作而导致文件无法恢复的问题，特在hadoop集群的每台机器上添加了"回收站"机制。首先,在~下 .bashrc（或者.bash_profile）加入mkdir -p /ty/.trashalias rm=trashalias r=trash...
2014-05-21 14:50:26
146
原创 plsql相关
plsql中 perferences 下的 user interface 下的editor 中的 autoreplace。在definition file中指定自己定义的文件的路径就可以了。 f = FROM s* = SELECT COUNT(*) FROM w = T WHERE st = SELECT T.*,T.ROWID FROM s = SELECT * FROM l = LI...
2011-12-02 16:43:35
152
原创 windows-xp-home-to-professional
http://www.mydigitallife.info/2008/06/13/convert-and-upgrade-windows-xp-home-to-professional-without-reinstalling/ 1 依次点击：开始->运行，输入regedit 2 找到 HKEY_LOCAL_MACHINE/SYSTEM/ControlSet00X/Contro...
2010-07-12 11:07:29
101
原创 oracle相关
oracle 建立数据库1、怎么查看我总共建了几个库？答：一个叫install的文件夹下的portlist.ini2、开始菜单里的oracle文件夹的配置和移植工具Database Configuration Assistant 菜单3、建好了后再去看那个.ini文件，里面应该有你这个库的管理配置页面的端口了（http）4、开始里的oracle菜单Net Configuration Assista...
2010-07-09 10:34:33
143
原创 Ue使用技巧
Ctrl+b 选中括号内的F3 查找下一个相同的选中的内容ctrl+tab 多个文件切换ctrl+g 到所在的行ctrl+f2 建立标签，然后alt+f2切换ctrl+e 删除整行F7 插入系统时间...
2010-06-30 17:56:04
117
原创 查看端口占用
假如我们需要确定谁占用了我们的9050端口1、Windows平台在windows命令行窗口下执行：C:\>netstat -aon|findstr "9050"TCP 127.0.0.1:9050 0.0.0.0:0 LISTENING 2016看到了吗，端口被进程号为2016的进程占用，继续执行下面命令...
2010-05-25 16:21:42
80
j2me写文件
FileConnection fc; try { String elem = null; Enumeration e = FileSystemRegistry.listRoots(); while (e.hasMoreElements()) { elem = e.nextElement().toString(); } System.out.p...
2010-04-29 10:54:21
110
java 文件(临时文件)操作
public static void doFile(String fileName) { try { File file = new File(fileName); if (file.exists()) { file.createNewFile(); } if (!file.getParentFile().exists()) { file...
2010-04-09 11:12:32
267
short 数组和int转换成byte数组
short［］转换成byte［］byte a[] = new byte[out.length * 2]; for (int i = 0; i < out.length; i++) { a[i * 2] = (byte) (out[i] & 0xFF); a[i * 2 + 1] = (byte) ((out[i] >> 8) & 0x...
2010-04-08 14:18:49
749
Java与其他语言数据类型之间的转换方法
public final static byte[] getBytes(short s, boolean asc) { byte[] buf = new byte[2]; if (asc) for (int i = buf.length - 1; i >= 0; i--) { buf[i] = (byte) (s & 0x00ff)...
2010-04-07 11:33:13
102
wav格式详解
一、综述 WAVE文件作为多媒体中使用的声波文件格式之一，它是以RIFF格式为标准的。RIFF是英文Resource Interchange File Format的缩写，每个WAVE文件的头四个字节便是“RIFF”。 WAVE文件是由若干个Chunk组成的。按照在文件中的出现位置包括：RIFF WAVEChunk, Format Chunk, Fact Chunk(可选), Data...
2010-04-07 11:30:10
983
OGG流媒体文件格式分析
摘自：http://www.studa.net/yingyong/080505/16283240.html摘 要 流媒体文件格式在流媒体系统中占有重要地位，设计合理的文件格式是提高流媒体服务器工作效率最直接和最有效的办法。该文在剖析常用流媒体系统和文件格式的基础上，特别地对美国xiph.org基金会的开源流媒体工程Ogg文件格式子项目做了深入的分析，指出Ogg格式对媒体编码数据的存储...
2010-03-30 11:25:13
777
ArrayBlockingQueue
import java.util.concurrent.ArrayBlockingQueue;public class Producer implements Runnable { private ArrayBlockingQueue<String> queue; private String producerName; ...
2010-03-02 15:05:09
126
Unicode 码转成汉字
/** * Unicode 码转成汉字 * * @author peidw * */public class CodeFormTest { public static void main(String args[]) throws UnsupportedEncodingException { String a = "&#24320;&#21...
2010-02-26 14:16:30
86
使用java.util.concurrent实现的线程池、消息队列功能
ThreadPoolManager类：负责管理线程池，调用轮询的线程来访问字符串缓冲区的内容，维护缓冲区，当线程池溢出时抛出的Runnable任务被加入到字符缓冲区。public class ThreadPoolManager{ private static ThreadPoolManager tpm = new ThreadPoolManager(); // 线程...
2010-02-25 13:46:07
332
线程的创建与启动
方法1：自己的类extend Thread，并复写run()方法，就可以启动新线程并执行自己定义的run()方法。例如：public class MyThread extends Thread { public run() { System.out.println("MyThread.run()"); }}在合适的地方启动线程：new My...
2010-02-24 09:43:59
74
原创 base64
// 将 s 进行 BASE64 编码 public static String getBASE64(String s) { if (s == null) return null; return (new sun.misc.BASE64Encoder()).encode(s.getBytes()); } // 将 BASE64 编码的字符串 s 进行解码 ...
2010-02-04 15:27:20
60
原创 C++ 一些应该注意的问题
1、字符数组是以\0为结束标志char ca[100] = "Good\0Day!";如果cout<<ca<<endl，那么结果为Good,并不会输出Day;那么Day存在数组ca中吗？存在的ca[5]就是D,ca[6]就是a,ca[7]就是y.2、假设输出cout<<"good" + 1<<endl;结果为ood输出cout<<
2010-01-28 14:37:12
113
原创 怎样建立无线局域网
计算机A上的设置： 第一步：首先对计算机A进行操作，进入系统桌面后找到“网上邻居”点鼠标右键，选择“属性”。 第二步：在打开的网络连接窗口中我们会看到无线网络连接的图标，由于当前计算机没有连接到任何无线网络，所以该连接图标显示“未连接”。 第三步：在无线网络连接图标上点鼠标右键选择“属性”。 第四步：在无线网络连接属性窗口中找到“无线网络配置”标签。 第五步：在无线网络配置标签下点“高...
2010-01-10 22:44:20
417
原创 jsp验证码刷新
1. 直接点击验证码，刷新验证码 具体代码 Javascript的一个函数 <script language="javascript"> /*验证码上刷新 */ function chk_image(){ var img = document.getElementById("pic"); img.src = "image.jsp?" + Math.rando...
2010-01-04 15:05:04
106
遍历打印出文件夹下的所有文件的路径
import java.io.File;public class Test3 { public static void main(String[] args) { File file = null; file = new File("c:\\page2"); File[] files = file.listFiles(); for (int i = 0; i <...
2009-11-16 14:12:06
217
js获取url参数的function
<script language="javascript" type="text/javascript"> //js获取url参数的functionfunction request(paras){ var url = location.href; var paraString = url.substring(url.indexOf("?")+1,url.length...
2009-11-13 22:34:33
181
fterm 控制台乱码解决
/home/zyxug下有一个.bash_profile文件，修改其如下[zyxu@www ~]$ cat .bash_profile# .bash_profile # Get the aliases and functionsif [ -f ~/.bashrc ]; then . ~/.bashrcfi # User specific envir...
2009-11-12 15:52:29
223
ajax的二级联动菜单
package com.pynon.crawler;import java.io.IOException;import java.io.PrintWriter;import java.sql.Connection;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statemen...
2009-10-22 14:51:20
59
原创 url的js判断
<script language="JavaScript"><!-- function IsURL(str_url){ str_url=str_url.toLowerCase(); var strRegex = "^((https|http|ftp|rtsp|mms)?://)" + "?(([0-9a-z_!~*'().&=+$%-]+: )...
2009-10-13 10:52:30
87
给定url得到相应的html值
<script language="JavaScript"> <!-- function get() { var url = document.getElementById("url").value; // alert(url); var XMLHTTP = new Act...
2009-10-13 10:51:24
95
ajax实例
<script>var XmlHttpRequest;function callAjax(){ document.getElementById('tips').innerHTML='正在合成......'; //创建ajax核心 xmlHttpRequest Xm...
2009-09-28 09:25:01
69
编码过滤器
package com.pynon.webapp.action;import java.io.IOException;import javax.servlet.*;public class EncodingFilter implements Filter { protected String encoding = null; protected F...
2009-09-27 17:27:07
82
servlet文件下载
response.setCharacterEncoding("GBK"); ServletOutputStream out1 = response.getOutputStream(); int act = Integer.parseInt(request.getParameter("act")); String filename=""; if(act==1)filename...
2009-09-21 17:42:32
58
鼠标滑过显示文字，动态显示文本框中的字数
<script>//定义文本框当前长度var slength = document.getElementById('textarea').value.replace(/\s/gi, "").length;//定义文本框最大长度var maxLength=500;var initStr="\n欢迎使用派能在线语音合成系统。\n" ...
2009-09-21 17:33:13
236
空空如也
ajax请求三次为什么就无效了
2009-10-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人