shipengyy-CSDN博客

原创一次诡异的日志死锁

先说下项目背景，为了统一公司的schedule job，做了一个job的框架，定时任务统一接入到这个框架里面。job框架用java开发，原理很简单，解析用户输入的crontab表达式，到了schedule的时间，用ProcessBuilder把用户的程序给带起来。今天有同事反应，程序在本地可以正常运行，接入job框架后出现大量的SOA远程调用timeout。第一反应是资源文件加

2015-12-05 11:56:18 3741 1

原创 Spark故障排除

使用spark有一段时间了，期间遇到了不少问题，诸如out of memory，java.io.IOException: Filesystem closed，task任务过多导致性能低下等等。现一一列举如下，并给出解决方案。1. 内存问题，heap error，java.lang.OutOfMemoryError: PermGen spacespark的作业节点有driver和execut

2015-04-13 09:34:21 3203

原创 Spark Hive使用中遇到的坑

当前使用的spark版本是1.0.2，spark-assenbly已经包含了hive，可以直接使用。Spark hive通过把hive-site.xml加载到classpath中的方式来读取hive连接元数据，我这里通过java代码动态的把hive-site.xml加载到classpath里String hiveConfDir = System.getenv( "HIVE_CONF_D

2014-10-29 09:35:02 6270

原创 Cassandra HUnavailableException: : May not be enough replicas present to handle consistency leve错误处理

今天在向cassandra插入数据的时候抛错“HUnavailableException: : May not be enough replicas present to handle consistency level”

2014-09-22 15:02:52 1422

原创 nodejs 下载文件

项目中web上需要提供一个下载文件的功能，我们的web服务器用的是nodejs，nodejs提供了一个非常方便的下载功能，

2014-09-21 20:09:52 3727

原创 Apriori算法在spark上的java实现

计算频繁项集是经典的数据挖掘算法，著名的啤酒和尿布就是pi

2014-09-19 23:18:13 4163 2

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 一次诡异的日志死锁

原创 Spark故障排除

原创 Spark Hive使用中遇到的坑

原创 Cassandra HUnavailableException: : May not be enough replicas present to handle consistency leve错误处理

原创 nodejs 下载文件

原创 Apriori算法在spark上的java实现

空空如也

空空如也

原创一次诡异的日志死锁