- 博客(83)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Dynamo: Amazon’s Highly Available Key-value Store 读书笔记
第一节 介绍 介绍Amazon的面临的情况：在高峰期面临百万级客户的并发访问，所以可靠性尤为重要，任何的小的"断档期",都会带来财务上的损失和影响客户的信任。随着业务量的增长，平台也要有更高的可伸缩性(scalable)。第二节 背景 Amazon有数以百计的服务需要暴露，后面支持的服务器数以万计，部署在世界各地的数据中心。这些服务分有状态的（依赖其他服务）和有状态的(
2013-11-28 08:44:38
5515
原创 Hadoop MapReduce Task Log 无法查看syslog问题
Hadoop MapReduce Task Log 无法查看syslog问题
2013-11-14 19:23:18
2605
原创 Hive内置row_number
hive rownumber内置函数使用例子Hive-0.11.0中内置row_number函数org.apache.hadoop.hive.ql.exe.FunctionRegistry registerHiveUDAFsAsWindowFunctions();registerWindowFunction("row_number", new GenericUDAFRo
2013-07-16 10:08:44
21382
2
原创 linux下jdb远程调试tomcat源码
jdb远程调试tomcat在tomcat打开调试设置jvm参数-Xrunjdwp:transport=dt_socket,server=y,address=9090,suspend=y在linux命令行jdb连接9090端口jdb -attach ip:9090 -sourcepath /softwares/apache-tomcat-7.0.40-src/j
2013-05-13 19:01:44
3113
原创 hadoop集群hdfs磁盘划分
namenode做法1:所有盘-1做raid5,拿1块做热备。做法2:用2块盘sas/sata做raid1,用作安装os+soft+config,其他盘-1 sas/sata 做raid5,用作数据盘,拿一块做热备datanode用2块sata做raid1,用作安装os+soft+config，其他sata盘做raid0，用作数据盘.通过dfs.data.dir配置多个da
2013-03-27 17:20:16
4836
原创 Oozie 调用sqoop导数据出现NoClassDefFoundError问题
异常Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class org.apache.log4j.LogManagerat org.apache.log4j.Logger.getLogger(Logger.java:105)at org.apache.sqoop.ut
2013-03-11 17:34:16
2695
原创 大数据笔记(一)
大数据特点-4个V巨大的数据量 Volume集中储存/集中计算已经无法处理巨大的数据量新浪微博用户数2亿+，高峰每天几亿条 仅一个百万家庭级别城市的智能电网每月可产生数十亿的智能电表数据 2015年全球移动终端产生的数据量将达到6300PB 非结构化数据无固定格式变化多 Variety文本/图片/视频/文档等 并发极高
2013-01-17 13:28:57
1684
原创 Spring3.2 Http 请求处理过程笔记
Spring3.2请求处理大致过程处理过程初始化:DispatcherServlet.onRefresh()DispatcherServlet.initStrategies()DispatcherServlet.initHandlerMappings()处理请求:DispatcherServlet.doDispatch()Reques
2012-12-21 14:16:33
9088
原创 Spring Servlet3 扩展模块笔记
Servlet 3.0AsyncWebRequest.java异步请求接口,继承NativeWebRequest接口 /** * Set the time required for concurrent handling to complete. * This property should not be set w
2012-12-21 08:34:58
6304
原创 Jsp tag file例子以及说明
简介Jsp2.0后，实现tag的方式除了taglib(TLD)的方式外，还可以通过定义tag文件来代替taglib类。tag file一般放在/WEB-INF/tags目录或者其子目录,需要在jsp文件中指定uri。参考 例子来源http://today.java.net/pub/a/today/2003/11/14/tagfiles.htmlhttp://tod
2012-12-12 10:45:42
7984
1
原创 tomcat对于web.xml的security-constraint使用的处理机制
知识点web.xml中 的子元素 是可选的，如果没有 元素，这表示将禁止所有 HTTP 方法访问相应的资源。子元素 需要和 相配合使用，但可以被单独使用。如果没有 子元素，这表明任何身份的用户都可以访问相应的资源。也就是说，如果 中没有 子元素的话，配置实际上是不起中用的。如果加入了 子元素，但是其内容为空，这表示所有身份的用户都被禁止访问相应的资源。 问题对于
2012-11-22 11:34:02
31012
2
转载 SAP论坛收集
1.思互圈子 它的英文叫做“No matter who justshare。”这个论坛最大的特色是推出了“SAP搜索引擎”，大家可以在里面搜索SAP方面的内容。2.SAP纵横网 它的最大特点是几乎包含了所有SAP的模块，在这里你可以很方便的找到自己喜欢的SAP模块。3.ITPUB论坛 ITPUB论坛是IT168旗下网站，应该算是最古老的SAP论坛，论
2012-11-21 10:17:34
2308
原创 web.xml配置jsp-file例子
需求 直接使用jsp文件作为servlet来服务。配置 web.xml 注意metadata-complete要设置为false,否则不生效. <web-app xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSc
2012-11-07 17:46:23
9706
原创 HttpServletRequest几个常用方法的区别
Demohttp请求http://localhost:8080/examples/1.jsp?a=11&b=22Jsp测试代码<% out.println("\t ContextPath: " + request.getContextPath()+""); out.println("\t ServletPath: " + reque
2012-10-19 11:29:49
1375
原创 整理文件比较的Shell脚本
问题如何对不同环境生成的文件进行比较？方案通过对文件进行消息摘要计算，例如MD5，SHA-1，通过比较摘要来判断文件的一致性脚本md5sum例子，生成文件对应的md5码 $ls *.jarweblogic.jar wlclient.jar$ md5sum *.jar >> mymd5result.txt$cat mymd5result.txt c97f8d9aae6ed
2012-10-17 12:41:31
3362
原创 HTTPS重定向到HTTP
一.场景： 在企业内网应用，以及一些安全要求不高的网站会有一些https转http的需求，例如只是登陆https协议，其他请求都是走http协议,走http协议不再需要重新登陆一次。 二.解决方案 Cookie时效： 当cookie是secure的情况下，当服务器从https协议重定向到http协议后，这样的cookie就不会随请求发送到服务器。 当co
2012-09-29 11:35:17
20318
原创 集成环境注意事项小结
集成环境相对于开发环境而言，更接近生产环境，所以下面几个方面需要注意:1.权限 相对于开发环境而言，集成环境的权限更严谨，需要确认目录和程序的权限，防止应用出现莫名的IO异常。2.用户/密码 集成环境的用户和密码与开发的不同，所以需要有机制去校验，而且密码为密文，需要依靠工具来保证其准确性。3.与环境相关的配置参数 例如url地址等与环境密
2012-09-19 10:39:30
1030
原创 SiteMinder SSO在weblogic10的变化
1.问题描述： 在weblogic8下，siteminder sso agent(Servlet) 如果用户没用权限会跳转到wls_http_bridge_not_authorized.jsp页面，而在weblogic10下却直接跳转到403页面? 2.问题定位： 首先说明一下Assert Provider的作用： .认证cookie的
2012-09-11 17:00:13
2302
原创 iReport-4.7.0转pdf中文字符集问题
如何解决ireport设置pdf encoding为中文后不生效的问题。一．选项-->工具-->Font二．Install Font注意选择的是ttf,而不是ttcPdfencoding：Identity-H三．导出export as extension四．把字体jar加入开发project的classpath。这样就解决PDF显
2012-08-21 11:12:01
2017
原创 GBK字符集碰到的问题
问题：出问题的系统是j2ee架构，JSP页面采用的字符集是GBK，在录入一个生僻字"㛃"字后，查询显示在页面时出现问题。分析：首先，这个生僻字不在GBK字符集，因为eclipse编辑器无法save为GBK格式。所以，在HTML里面出现了Http Entity Code,㛃 （即生僻字"㛃"）,浏览器自动通过unicode来解决。碰巧我们使用了c:out标签
2012-08-10 18:23:19
4798
原创 Spring JMX 注入的一些问题和说明
项目中使用Spring JMX来直接把Bean 暴露成MBean,发现用简洁标签会一直报Jndi的错误，初步猜测是从远端查找。首先，看了http://www.springframework.org/schema/context/spring-context-3.1.xsd其中一段：对容器做了特殊处理。查看标签对应的解析类MBeanServerBeanDefi
2012-06-19 10:19:20
1800
原创 Ant编译Enum类型的错误
@Retention(RetentionPolicy.RUNTIME)@Target({ ElementType.FIELD })public @interface EsbArray { String name(); Class objectClass(); String description() default ""; // List中的元素定义 EsbDataType
2012-06-06 16:28:05
1528
原创 Spring3中@Autowired注入的顺序
一、问题问题；Spring3中在Bean中多个属性，多个方法@Autowired的顺序是怎样执行的？Demo@Componentpublic class MyBean { @Value("#{properties['security.token.default']}") private String expiretime; //1 public String getEx
2012-05-25 19:00:54
19048
1
原创 Servlet方法说明
Serlvet接口只定义了一个服务方法就是service，而HttpServlet类实现了该方法并且要求调用下列的方法之一：doGet：处理GET请求doPost：处理POST请求doPut：处理PUT请求doDelete：处理DELETE请求doHead：处理HEAD请求doOptions：处理OPTIONS请求doTrace：处理TRACE请求通常情况下，在开发
2012-03-22 17:11:47
8932
1
原创 Grizzly RoundRobinConnectionDistributor 的变化
grizzly1.9:private SelectorRunner getSelectorRunner(int interestOps) { SelectorRunner[] runners = getTransportSelectorRunners(); int index; if (interestOps == Select
2012-03-19 14:37:12
1134
原创 Disruptor笔记(五)-FAQ
1. MultiThreadedClaimStrategy.java中pendingPublication的用处：参考：http://blogs.lmax.com/How does this apply to our concurrentsequencing problem? We could allow threads to continue to make progress whil
2012-03-08 11:45:43
4797
原创 Disruptor笔记(四)-关键类和代码
AggregateEventHandler.java对EventHandler列表的封装，类似EventHandler List的功能，还实现了生命周期的管理,onStart onShutdown。 Sequence.java Cache line padded sequence counter 补齐Cache line的序列计数器,ringbuffer和BatchEventPro
2012-03-08 11:40:00
6739
原创 Disruptor笔记(三)-处理模式
常见模式：1.UniCast a series of items between 1 publisher and 1 EventProcessor:一个publisher 一个eventprocessorP1 - Publisher 1RB - RingBufferSB - SequenceBarrierEP1 -EventProcessor 1
2012-03-08 11:23:48
7913
原创 Disruptor笔记(二)-测试
引入Hamcrest:是一个书写匹配器对象时允许直接定义匹配规则的框架.更丰富的表达方式，不侵入代码使用Jmock来做Mock库使用Junit4 工具类Util工具类提供计算容量2的n次方的方法 /** * Calculate the next power of 2, greater than or equal to x. * From Hac
2012-03-08 11:06:27
3728
原创 Disruptor笔记(一)-预备知识
Memory Barrier 内存障.它是一个CPU指令。是的，再一次，我们在思考CPU级的东西以便得到我们需要的性能（Martin著名的MechanicalSympathy）。基本上它是一个指令，为了a)确保特定运算的执行顺序和b)影响一些数据（可能是一些指令的执行结果）的可见性。.编译器和CPU能对指令重新排序，来尝试优化性能，最终执行结果是一样的。插入一个内存障会告诉CP
2012-03-08 11:03:07
3820
原创 SSLSession中的PacketBufferSize和ApplicationBufferSize
看了API描述还是不太清楚，所以翻源码来读，就清楚多了。//定义的SSL 常量interface Record { static final byte ct_change_cipher_spec = 20; static final byte ct_alert = 21; static final byte ct_handshake
2012-01-11 23:12:06
1221
原创 Jetty7配置双向SSL
参考Tomcat7配置双向SSL配置客户端pck12证书。（自签名证书）导入trust key store:keytool -keystore truststore -keypass 123456 -storepass 123456 -alias ca -import -trustcacerts -file ca-cert.pemkeytool -keystore truststore
2012-01-11 23:10:47
4541
原创 Tomcat7配置双向SSL
根证书1.建立CA工作目录mkdir cacd ca2.生成CA私钥openssl genrsa -out ca-key.pem 10243.生成待签名证书openssl req -new -out ca-req.csr -key ca-key.pem//ca-cert.pem即为CA根证书，可将其下发到客户端，导入作
2012-01-11 23:10:00
5152
原创 SSL Demo说明
1.单向ssl和双向ssl网上有些例子可以参考：http://www.yeeach.com/digg/story/11964http://www.bluedash.net/spaces/SSL介绍与Java实例第一步: 客户端发送ClientHello消息，发起SSL连接请求，告诉服务器自己支持的SSL选项（加密方式等）。单向SSL：1 *** ClientHello, T
2012-01-11 23:09:22
2476
原创 SSL原理笔记
搜索SSL握手的原理，最多是网上转载的Alice和Bob的对话。用生动、形象的场景说明了一个复杂SSL握手原理。用公钥加密的数据只有私钥才能解密，相反的，用私钥加密的数据只有公钥才能解密，正是这种不对称性才使得公用密钥密码系统那么有用。认证是一个验证身份的过程，目的是使一个实体能够确信对方是他所声称的实体。下面的例子包括Alice和Bob，并且向我们演示了如何使用公用密
2012-01-11 23:04:35
2081
1
转载 使用 Python 和 Oracle 数据库实现高并发性
转自http://www.oracle.com/technetwork/cn/articles/vasiliev-python-concurrency-100575-zhs.html了解如何借助线程和并发性提升支持 Oracle 数据库的 Python 应用程序的吞吐量和响应性。随着趋势发展的核心转向更多而不是更快发展，最大限度地提高并发性的重要性日益凸显。并发性使得编程模
2011-12-22 14:32:43
4077
原创 记录JavaScript混淆和格式化的网址
看到packer就想到edwards，很多网站的js都可以通过packer的decode来看源码http://dean.edwards.name/packer/格式化JS的网站http://jsbeautifier.org/
2011-12-15 15:11:23
798
原创 weblogic DataSource 配置注意事项
weblogic 创建datasource时，配置注意事项，记录一下weblogic 的doc。事务选项使用管理控制台配置 JDBC 数据源时，WebLogic Server 会根据 JDBC 驱动程序的类型自动选择特定的事务选项：对于 XA 驱动程序，系统会自动选择用于全局事务处理的两阶段提交协议。对于非 XA 驱动程序，将按照定义支持本地事务，并且 We
2011-12-06 09:46:39
7853
原创 siteminder sso agent 初探
siteminder sso agent 初探公司一直用weblogic开发,CA有现成的sso agent for weblogic,只需要简单封装即可，主要是通过filter+serevlet来实现的。后来又有了sso agent from jboss,自己也设想一下tomcat/jetty 替换weblogic 来作为web server,所以考虑custom sso age
2011-12-03 10:27:43
7275
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人