- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark中External Datasource实现数据迁移
一、简介1．技术说明通过一套DataSource API的扩展机制，可以访问（读、写）外部的数据源。将外部数据源按照表的方式注册，提供sql查询、数据插入（insert）能力。将外部数据源读取为RDD，提供RDD的算子（group、where、agg）、ML能力。当前可以对接的外部数据源：JDBC、ElasticSearch等。2．优点n 将外部数据源纳入到spark的生态系统，如
2017-06-09 00:21:37
1318
原创 maven错误处理
错误信息见 附录。如何定位：1、开启 -X模式，打印详细日志。进入到子的module，执行mvn eclipse:eclipse-DskipTests -X2、从-X的日志中看到如下信息，从调用堆栈的函数，如下是三个参数，对第二个参数做getCanonicalPath的时候报错。中间有个G:无法解析！[DEBUG] Making relative and fixing se
2017-04-18 23:47:03
7758
转载 云计算和大数据的区别
第一，在概念上两者有所不同，云计算改变了IT，而大数 据则改变了业务。然而大数据必须有云作为基础架构，才 能得以顺畅运营。 • 第二，大数据和云计算的目标受众不同，云计算是卖给 CIO的技术和产品，是一个进阶的IT解决方案。而大数据 是卖给CEO、卖给业务层的产品，大数据的决策者是业务 层。由于他们能直接感受到来自市场竞争的压力，必须在 业务上以更有竞争力的方式战胜对手。
2014-09-03 06:48:08
1507
原创 查询执行的代价衡量
数据库在执行SQL操作的时候，经过语法分析、SQL重写、生成物理查询计划等步骤。语法分析也即查询编译，生成SQL树。SQL重写根据代数规则（如结合律、交换律等）变换SQL执行计划。物理查询计划设计到具体的算法，如表扫描选择顺序扫描还是索引扫描；join算法选择nest loop join、merge join还是hash join等。 在生成物理查询计划的时候，需要由优化器来衡量最
2011-11-22 23:07:14
914
原创 Microsoft 脚本编辑器怎么安装
在IE上开发B/S应用的时候，常用的编辑器有Microsoft Scirpt Debuger和Microsoft 脚本编辑器。比较之下还是Microsoft 脚本编辑器更好用。Microsoft Scirpt Debuger网上很容易下载安装，但是Microsoft 脚本编辑器如何安装呢？看了网上提供的很多回答都不容易实施。其实Microsoft 脚本编辑器是office 2003带的一个编
2008-12-09 23:41:00
7495
4
原创 hibernate问题：缺少包org.hibernate.hql.antlr
在搭建HSS（hibernate,spring,struts）环境的时候，没有使用hibernate的jar包，而是直接使用源代码，结果缺少org.hibernate.hql.antlr。从网上找答案，没有解决。Csdn给出的回答也是有问题的。答案应该是：org.hibernate.hql.antlr包的源代码是需要使用antlr动态生成的，hibernate的源代码包提供了批处理命令可以
2008-09-08 00:02:00
946
原创 Eclipse中启动Tomcat无任何反应
推动了软件业不断发展的可以说有3个方面的东西，过程，方法，技术。方法附会到哲学上应该就是方法论了，做很多事情都是需要方法的，比如写一篇案例，随心随意写也可以写出来，但是别人能否理解，如何检测自己描述清晰都是没有参考的。如果有个模板的，这样按照模板写，把模板填充了，自己的意思也表达清楚了，别人应该也可以理解了，因为模板就是成功经验的总结。这个案例按照我自己找的一个模板写。 现象：ec
2008-09-07 23:59:00
5185
3
原创 一个tomcat上开启多个tomcat服务的方法
项目开发中有很多版本需要发布到tomcat。以前是在一个tomcat上部署多个应用，或者拷贝多个tomcat。前者单独部署一个应用，后者需要多个tomcat软件的拷贝。项目使用了集群软件Terracotta ，其上自带了一个tomcat，但是可以多个应用可以单独部署，大家可以下载下terracotta看看。
2008-06-26 21:21:00
1127
原创 项目秀-开篇
这是我做的第3个CMM项目，想把做项目过程中的项目活动记录下来。第一个CMM B070 1人一个月 7人月 20071013~20071120第二个CMM B120 5人4个月 20人月 20080110~20080510现在做的 B150 3个人项目5-14号开始的。20080514PL已经完成 包需求->设计需求->需求分解和分配表的工作，形成3篇文档。PPL把完
2008-05-17 00:20:00
670
正则表达式30分钟入门教程
2008-12-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人