- 博客(64)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 我的博客
欢迎朋友们访问我的博客：技术：http://yangyi.iteye.com/心情：http://blog.sina.com.cn/yiprogs
2007-06-12 20:41:00
345
Mesa数据模型
Mesa的数据组织单元叫做表. 每张表都有独立的模式信息描述表的组织结构. 主要包括K集合和V集合，即键和值区间 , 其他模型表述还包括聚合函数F，其值集合由集合V聚合得到，即：F : V × V. 聚合函数满足结合律，即 F(F(v0, v1), v2) = F(v0, F(v1, v2). 此外，模式中还包括对于表中K结合的索引. K和V的集合以列和元组的形式表述, 每一列都有固定...
2014-08-22 19:04:11
1408
原创 批处理和实时数据的矛盾
Storm绝对是Hadoop的进化。是有生命力的系统。批处理本身的目的就是聚合和关系优化，实时系统和批处理系统的结合方式是两者最大的区别
2014-07-29 16:29:16
245
机器学习常用方法
相似度分析：欧式距离（坐标距离）皮尔逊相关系数非监督聚合：K-均值聚合(随机选聚合数量值，就近聚合)分类聚合（两两聚合形成树）搜索引擎：爬虫（URL追踪，去环）分词（最小词串法，统计语言模型法-相近词条件概率计算乘积）索引/检索（Big Table/Nosql DB）排序（词频，词距，PageRank，点击率-样本学习，首段出现位置，URL，M...
2014-06-11 23:24:53
160
Predicted transactions
When you put something into a dynamic array, it won't grow by just 1 when reaching the limit. This is important because changing size is an expensive operation. For example if I have a job to ex...
2014-05-03 15:41:26
154
原创 An enhanced model to deal with large/complex data queries
When talking about Big data, most people think of data in the volume perspective, which is essentially true, but there are also other dimensions such as data variaty and data relationships. Just...
2014-05-03 15:23:53
145
原创 关于大数据架构设计-翻译manning新书的要点
Nathan Marz的书还是要看一看的，毕竟那个墙外的网站经受住了美国大选结果出炉的考验为什么要讨论大数据设计电子数据已成为每天生活的一部分，不论是网络上，还是科学实验的记录上数据的增长影响到业务的开展，引发了传统关系型数据库的性能瓶颈，传统的设计管理方式很难扩展到大数据上为解决大数据带来的问题，不同的软件开发领域以NoSQL的名义引入了很多新的技术，这些新技术可以在某种程度上...
2012-11-10 17:10:15
170
profiling java applications with jvisualvm
1) Open jvisualvm, which is bundled with the standard javase 6 release. It is placed under $JAVA_HOME/bin, implemented with the Netbeans framework.2) Click on the samples tag. Here we have 2 factors...
2011-09-29 18:52:29
107
Powerful LDAP client
Here is a brief introduction of the LDAP protocol, which is used extensively in large organizations:[url]http://quark.humbug.org.au/publications/ldap/ldap_tut.html[/url]Before integration progra...
2011-06-18 20:58:55
96
Be careful about the snapshots
We are a global team with around 30 devs that generally focusing on the same product. And we have a mirror site of maven repo maintained using Nexus. The proxy server is placed in the US and when we s...
2011-06-18 20:00:05
88
How to install pgsql on Solaris 10
1) Check out the OS version and architecture, such as:bash-3.00# cat /etc/releaseSolaris 10 5/08 s10s_u5wos_10 SPARCbash-3.00# isainfo -b642) Although it's not hard to build code from sc...
2011-06-18 19:32:07
92
static import
Static import支持略去类型名的public static字段使用如：import static java.lang.Math.PI;import static java.lang.Math.pow;或全部:import static java.lang.Math.*;例子：[code="java"]public class HelloWorld {...
2011-05-22 10:51:39
89
JPA的一些知识（Entity）
[b]何为Entity[/b]Java EE规范中关于Entity的第一句就是An entity is a lightweight persistence domain objectentity应该和E-R图中的E是一个意思就是实体，接下来是“轻量级的持久化domain object”，啥是domain object？按维基上的解释就是一个多层的业务系统中持有状态的对象，用来进行层...
2011-05-21 22:54:12
183
多线程过桥的问题
题目:有一个南北向的桥，只能容纳一个人，现桥的两边分别有10人和12人，编制一个多线程序让这些人到达对岸，每个人用一个线程表示，桥为共享资源。在过桥的过程中显示谁在过桥及其走向。[code="python"]import threadingimport timefrom collections import dequeclass Person(threading.Threa...
2011-05-14 17:50:23
489
两种数组逆序算法
commons-lang里StringUtils的实现 [code="java"] int i = 0; int j = array.length - 1; while (j > i) { swap(array, i, j); j--; i++; ...
2011-04-27 11:38:48
138
关于Java中的编码
编码转换，实际就是把byte数组转换为char数组的过程，或者是其逆过程在Java中，前者通过new String(byte[], Charset) -> StringCoding.decode，后者通过getBytes(Charset) -> StringCoding.encode在encode和decode时，默认会采用Charset.defaultCharset()，jvm一般是...
2011-04-26 17:30:06
95
用蒙特卡罗法求圆周率
用蒙特卡罗法求解圆周率，很简单，很慢。问题是怎么才能知道已经达到了所需要的精度，还是需要利用概率论对数据进行加工[code="c"]#include #include #include #include int main(int argc, char** argv){ double insideCount=0, loopCount=300000000, i;...
2011-04-10 17:17:26
590
windows下对chunked模式web services做服务集群的一些问题
公司的产品各个分布式组件之间使用基于xfire的web service进行行为触发和信息传递。之前一直通过网络层虚拟IP工具进行集群，因本人最近要搭建一套开发的测试环境，但硬件集群昂贵，所以想通过Web server反向代理来实现局域网内地址和端口的转发。备选有两个：nginx和apache，下面做一些探索和分析，希望对大家有帮助nginx这个反向代理的工具不错，但是就是不支持...
2011-04-06 21:11:56
145
关于数独地图的产生
如何生成一个数独的地图，并且保证是有解的？我能想到的办法就是先产生一个解，然后做减法，产生解的过程可以通过迷宫的回溯方法解决，每个位置有9个选择。初始化时，可以把前9个位置按照乱序的1-9进行排列，然后顺序求出下面的解。但是这样随机性不怎么好，应该可以指定地图上任何9个不重复的数据，这个是肯定无害的，当回溯的时候，不能改变这些固定数据的值，即在地图上随机产生9个位置。不过显然这样可以求出解...
2011-04-02 13:30:10
251
浅谈Java中的同步的方法和原理
Java的内存模型中Thread会附有自己的堆栈，寄存器，必要时需要和主存即heap之间同步。可以使用Synchornized关键字和Concurrent包中的Lock可以保证线程互斥和可见性。互斥性体现在类锁或者对象锁上，每个对象自身都包含一个监视器，该监视器是一个每次只能被一个线程所获取进入的临界区，可以通过wait和notify来退出和准入临界区。可以看出这是一个生产者-消费者的...
2010-07-09 19:30:07
154
commons-net FTPClient API存取设计
文件系统无非就是文件的存取和组织结构。访问一个文件系统的API也应该是写，读，定位方法（Pathname?/URI?）FTPClient针对文件的保存和获取各提供了两个方法，分别是：[code="java"]public boolean storeFile(String remote, InputStream local)public OutputStream storeFil...
2010-07-07 22:51:47
135
关于ThreadLocal的内存泄露
ThreadLocal是一种confinement，confinement和local及immutable都是线程安全的（如果JVM可信的话）。因为对每个线程和value之间存在hash表，而线程数量未知，从表象来看ThreadLocal会存在内存泄露，读了代码，发现实际上也可能会内存泄露。事实上每个Thread实例都具备一个ThreadLocal的map，以ThreadLocal Ins...
2010-07-02 18:19:49
76
关于文档
文档应该包括两大部分，一部分是清晰的代码结构和注释，比如Concurrent API就是这样，还有一部分是文字文档，包括三个小部分：一是开发文档，应该讲架构和功能；二是索引文档，详细介绍功能和参数，三是用户文档，包括安装和使用说明文档最困难的莫过于版本的一致性，当软件升级后，一些obsolete的内容和新的feature很难同步。要是架构发生了变化，那就更困难了。一般document te...
2010-06-29 18:22:10
91
NIO Web服务器示例
1 根据cpu core数量确定worker数量2 selector服务accept和read3 accept selector作为生产者把获得的请求放入队列4 当获得read信号时，selector建立工作任务线程worker，并提交给系统线程池5 worker线程排队后在线程池中执行，把协议头读入缓冲区，然后解析，处理，响应，关闭连接[code="java"]impor...
2010-06-25 18:58:27
159
多线程的知识
[b]多线程的优点：[/b]1 多核利用2 为单个任务建模方便3 异步处理不同事件，不必盲等4 现代的UI也需要它[b]风险：[/b]1 同步变量易错误2 因资源限制导致线程活跃性问题3 因2导致的性能问题[b]用途：[/b]框架，UI，Backend[b]线程安全的本质是什么：[/b]并非是线程和锁，这些只是基础结构，本质是如何控制共享变量访问的状...
2010-05-25 07:57:13
132
Ext Store Filter的实现和问题
Store包含两个数据缓存 - snapshot和data，grid，combo等控件的显示全部基于data，而snapshot是数据的完整缓存，当首次应用过滤器时，snapshot从data中备份数据，当应用过滤器时，filter从snapshot获取一份完整的数据，并在其中进行过滤，过滤后的结果形成了data并传递给展示，及data总是过滤后的数据，而snapshot总是完整的数据，不过看名字...
2009-08-18 15:17:03
264
Ext中Combo组件的联动封装
在Extjs中构造N级联动下拉的麻烦不少，需定制下拉数据并设定响应事件。通过对Combo集合的封装，无需自己配置Combo，只需设定数据和关联层级，即可自动构造出一组支持正向和逆向过滤的联动下拉并获取其中某一个的实例。[code="js"]Ext.custom = {};/** * 封装了联动下拉的数据和数据结构转换的Ext类 * 需要传入数据： * 1 联动下拉数...
2009-07-02 15:28:22
196
是动态组件还是代码生成？
目前主流的SSH开发架构中，为减轻开发者工作，便于管理开发过程，往往用到一些公共代码和组件，或者采用了基于模版的代码生成机制，对于后台的DAO，Service等因为架构决定，代码生成必不可少，但是在前端页面的实现上，却可以有两种不同的思路，一种是把配置信息直接封装成更高级别的组建，一种是进行代码生成。请大家讨论一下这两种方案的优劣，这里先抛砖引玉了。相同点：配置信息：XML OR 数据...
2009-06-18 10:48:25
116
Javascript工作流引擎代码及实例
最近在学习jBPM和Javascript，所以按照一些相关概念自己写了下面的200行代码的“工作流引擎”，工作流管理系统包含了流程定义，引擎，及应用系统三个主要部分，下面的代码实现了流程的分支合并，目前只支持一种环节上的迁移。下载html附件双击就可以跑起来。[code="js"]/*/////////流程定义/////////// start / \ 1 ...
2009-03-06 16:53:35
402
Spring Security 2 中动态角色实现的讨论
安全框架的主体包括两部分即验权和授权。Spring Security2可以很好的实现这两个过程。Spring Security2对其前身acegi最大的改进是提供了自定义的配置标签，通过Security的命名空间定义了http和authentication-provider等标签，这样做的好处是极大地简化了框架的配置，并很好地隐藏了框架实现的细节，在配置的表述上也更清晰，总体上提高了框架的易用性。...
2009-03-04 13:04:45
127
原创 Ext Checkbox group表单提交
1 对于类型是checkboxgroup的数据，数据库中保存数据的格式是value1,value2...valueN，其中1~N的数据有可能不存在，如果选中则存在，最后拼接成一个串。在Ext中，通过Record对象向FormPanel中的内置对象BasicForm加载数据时，采用的是setValues方法，而setValues第一步要通过Record中定义的name使用findField方法找...
2009-02-23 17:07:40
219
富客户端技术中的JavaScript脚本国际化
当前的富客户端可以包含两部分：分别为JSP页面和通过富客户端js组件（如extjs）渲染的组件化窗口页。针对这两部分分别做如下处理： 对于JSP页面的部分采用JSTL标准库的fmt标签，如通过： <fmt:message key="page.login.title"/>这样的形式进行展现，其中message对应的文本在服务端配置，并在web.xml中配置资源文件的位置，也可以采用spr...
2008-12-24 13:31:27
90
windows中不能双击打开jar文件的解决办法
看此文前请保证jar包中有至少一个Main方法入口，及图形化的界面。并保证META-INF/MANIFEST文件中的Main-Class已经指向之前实现的main方法入口。最近硬盘坏了，于是重新安装了OS，发现拷贝后的jdk或jre（未经安装的版本），不能打开jar文件执行（jdk版本1.6_11），于是在打开方式中指向了javaw程序，发现无效，并提示"cannot find m...
2008-12-22 18:23:58
533
JSON通用服务端处理
最近在学习JavaScript，发现不论是ext还是prototype都很推崇json这种通信协议的格式，但是这两个框架都是比较偏前端的，和dwr不同，dwr是一个一站式的ajax框架，不仅提供了客户端的工具方法，也包括服务端的配置和通信的处理。而ext和prototype等仅仅设置好了json的接口并对ajax通信做了封装，相对而言是一种比较“纯粹”的AJAX实现，当然ext还包括了大量的图...
2008-11-24 18:18:51
99
纯AJAX的项目的分层
一个纯的AJAX项目如何进行分层，这里没有了form请求就没必要一个请求转发结构了吧，也就没有了针对页面的action处理了吧，后面听论坛上人们常说的service也要进行变化了吧？还是我把所有的AJAX请求当成一个Action来处理？（没有了数据的转换，不知道Action还有什么用？）那么我是否应该针对每个功能设计一个Service，然后呢把公共的Service抽象出来被继承或包含呢...
2008-11-07 16:18:10
133
框架、平台存在的意义
学过软件工程的都知道，软件产品的生产周期是一个经历若干阶段的漫长过程，包括需求获取 - 设计 - 开发 - 维护等等。 需求阶段 - 总想考虑到所有的问题，或是一切按合同办事。但在现实中根本不得能，因此很多公司开始提倡“随需而变”的能力，希望快速的响应用户的需求变化维护阶段 - 总希望自己开发出来的东西一劳永逸，永远不要再产生任何麻烦，产生了麻烦也不要找到我。甚至有些项目组的人员开发出来一大堆...
2008-10-26 13:22:30
330
形式化与自动化
本科读书时，曾听过离散数学老师一句很精彩的论断：“只要能够形式化的东西，就可以自动化”。可是今天我不谈离散数学，倒想说说其他不相关的东西。你一定听到过“一流的企业卖标准，二流的企业卖品牌，三流的企业卖产品”。什么是形式化？为什么形式化的东西就可以自动化呢？撇开数学符号不谈，对企业来说，形式化的东西可以是一些规章及做事的方法，生产产品的方法等等。为什么人民币稍一升值，中国的中小制造型企业就要痛苦不堪...
2008-09-17 18:43:31
270
也谈普元
偶然间看到一个网友慨叹普元的强大，而开发人员的渺小。不才刚刚参加工作，也在项目中接触到了普元的EOS。对这个平台的初步印象，就是乱用XML，或者说Spring没做好的结果。同后者相比该平台同时失去了类型的表述。一部机器要进行装配需要组件和零件，软件应该自上而下，分而治之，这是上个世纪70年代，学者们就达成的共识，所以关于“银弹”神话的唯一结论就是——“没有银弹”。为什么说EOS是没有做好的Sp...
2008-09-17 18:41:31
777
OA的杀手级应用
在远古时期人们靠结绳纪事，据说美洲的玛雅文明在覆灭之前都一直没有自己的文字，而采用这种古老的方法。后来我们的祖先发明了文字，在竹简上，布帛上书写文字，竹简和布帛就是信息的载体，这样的载体造价不菲，所以我们的文言和白话就有这么大的差距，留下的论语也要微言大义。再后来我们的祖先发明了纸张，严重地降低了承载信息的开销，于是人类的文明得以更好地记录和更快地发展。今天，我们的信息载体又有了新的变化，一张光...
2008-03-05 13:31:00
114
Agile Web D with Rails 3rd 的第一个magic
2009-03-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人