yo8237233-CSDN博客

原创 YARN中自己总结的几个关键点

以前在Hadoop 1.0中JobTracker主要完成两项功能：资源的管理和作业控制。在集群规模过大的场景下，JobTracker存在以下不足：1）JobTracker 单点故障。2）JobTracker 承受的访问压力大，影响系统的扩展性。3）不支持MapReduce之外的计算框架，比如Storm、Spa rk、Flink因此在YARN的设计中，资源的管理和作业控制是分...

2016-12-11 15:43:43 2220

原创将博客搬至cnblogs

地址：http://www.cnblogs.com/qiaoyihang/

2016-12-11 15:36:29 177

原创 Flume应用场景及架构原理

Flume概念Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制[size=large]各类数据发送方[/size]，用于收集数据；同时，Flume提供对数据进行简单处理，并写到[size=large]各种数据接受方[/size]（可定制）的能力。flume 特点：1、可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flu...

2016-12-10 18:53:58 387

原创遍历Map的四种方法

[code="java"]public static void main(String[] args) { Map map = new HashMap(); map.put("1", "value1"); map.put("2", "value2"); map.put("3", "value3"); //第一种：普遍使用

2016-12-09 15:38:29 122

原创 zookeeper集群某个follower启动失败

配置完成zookeeper集群，发现有一个节点，进程正常但是状态异常[img]http://dl2.iteye.com/upload/attachment/0121/8256/5d31e28b-19b6-3638-aa19-337d43671f1a.jpg[/img]查看日志一开始进入歧途了，查看的是这个目录[img]http://dl2.iteye.com/uploa...

2016-12-07 20:28:23 2723

原创 HDFS 和YARN HA 简介

HDFS：[img]http://dl2.iteye.com/upload/attachment/0121/8139/4bc1aec8-749d-35b2-87b4-83a9572d1c58.png[/img]基础架构1、NameNode（Master）1)命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。...

2016-12-07 13:34:14 176

原创 cdh集群数据恢复

CDH 数据库磁盘坏了所有集群配置都没了而且还没备份 .... 元数据还在 cdh 软件配置和安装软件不能用了下载 apache hadoop 重新配置 namenode datenode journode 加载以前的数据读出来了 ..强制了 namenode 主把数据迁移到其他节点因为重新 ...

2016-12-01 22:03:23 648

原创 mapreduce流程中的几个关键点

MapReduce中数据流动（1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程：　map - combin(本地reduce) - partition -reducemap函数的处理...

2016-11-12 20:46:04 312

原创 MapReduce二次排序

默认情况下，Map 输出的结果会对 Key 进行默认的排序，但是有时候需要对 Key 排序的同时再对 Value 进行排序，这时候就要用到二次排序了。下面让我们来介绍一下什么是二次排序。二次排序原理我们把二次排序主要分为以下几个阶段。Map 起始阶段在Map阶段，使用 job.setInputFormatClass() 定义的 Inpu...

2016-11-07 14:51:05 2448

原创 Hadoop自定义分组Group

matadata：[code="java"]hadoop a spark a hive a hbase a tachyon a storm a redis a [/code]自定义分组[code="java"]import org.apache.hadoop.conf.Configuration;impo...

2016-11-07 12:35:48 335

原创编译hadoop2.6.0

具体情况比较曲折：hadoop2.6.0编译不过错误如下：[img]http://dl2.iteye.com/upload/attachment/0120/9044/7f4f4d5e-4cc6-375a-8820-57bfb914e901.png[/img]这个kms模块始终编译不过，最后得出结论国内的aliyun maven仓库有问题，在编译hadoop2.2.0 可...

2016-10-29 23:24:00 108

原创 ERROR [org.apache.hadoop.security.UserGroupInformation] - PriviledgedActionExcep

换了个环境，出现此异常016-10-18 23:54:01,334 WARN [org.apache.hadoop.util.NativeCodeLoader] - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable2016-10-18 2...

2016-10-20 10:23:33 1371

原创 Java集合分组

[code="java"]public class Data { private Long id ; private Long courseId ; private String content ; public Long getId() { return id; } public Data setId(Long id) { this.id = ...

2016-10-17 16:25:25 2453

原创 Mysql hql字符串字段中是否包含某个字符串，用 find_in_set

有这样一个需求，在Mysql数据库字符串字段（权限）中，有范围在 1 到 N 之间代表不同权限的值，分别被‘,’分开，现在要取出具有某权限的所有成员列表。创建表：[code="sql"]1 CREATE TABLE users(id int(6) NOT NULL AUTO_INCREMENT,PRIMARY KEY (id),name VARCHAR(20) NOT NULL...

2016-09-27 17:25:05 1720

原创 org.apache.hadoop.ipc.RemoteException(java.io.IOException)

昨晚突然之间mr跑步起来了jps查看进程都在的，但是在reduce任务跑了85%的时候会抛异常异常情况如下：[code="java"]2016-09-21 21:32:28,538 INFO [org.apache.hadoop.mapreduce.Job] - map 100% reduce 84%2016-09-21 21:32:30,623 INFO [org.a...

2016-09-22 15:38:28 1178

原创 jenkins打包成功，部署失败

环境一直正常，更新了tomcat版本后自动部署报错[code="java"]ERROR: Publisher hudson.plugins.deploy.DeployPublisher aborted due to exceptionorg.codehaus.cargo.container.ContainerException: Failed to deploy [/var/lib/j...

2016-09-01 17:41:34 4357

原创 druid连接池异常

[size=large]在从excel导入10W条数据到mysql中时，运行一段时间就会抛这个异常，连接池问题[/size][code="java"]org.springframework.transaction.CannotCreateTransactionException: Could not open Hibernate Session for transaction; n...

2016-08-31 14:24:55 830

原创 Lock wait timeout exceeded; try restarting transaction

查看innodb的事务表INNODB_TRX，看下里面是否有正在锁定的事务线程，看看ID是否在show full processlist里面的sleep线程中，如果是，就证明这个线程事务一直没有commit或者rollback而是卡住了，我们需要手动kill掉。mysql> SELECT * FROM information_schema.INNODB_TRX\G;trx_mysq...

2016-08-24 15:36:18 131

原创 MySQL substring：字符串截取 (转载)

MySQL 字符串截取函数：left(), right(), substring(), substring_index()。还有 mid(), substr()。其中，mid(), substr() 等价于 substring() 函数，substring() 的功能非常强大和灵活。1. 字符串截取：left(str, length)mysql> select left('exam...

2016-08-24 10:10:41 453

原创 Maven项目无法引入 Maven Dependencies Libraries 问题

昨天在check下来maven项目之后一些配置好了，就是下载不是maven 依赖库，后面再网上找到如下解决方案。在.classpath文件中加入如下代码就好了.[code="xml"] [/code]...

2016-08-23 10:53:10 720

原创 mysql regexp用法

正则表达式作用是匹配方本，将一个模式（正则表达式）与一个文本串进行比较。MySQL用WHERE子句对正则表达式提供了初步的支持，允许你指定用正则表达式过滤SELECT检索出的数据。MySQL仅支持多数正则表达式实现的一个很小的子集。----------------------1、基本字符匹配REGEXP后所跟的东西作为正则表达式处理。[code="sql...

2016-08-23 10:49:49 1769

原创 mysql 去重,跨表更新,跨表删除

一、去重1.查询出重复的记录[code="sql"]CREATE TABLE push_log_full_2013_10_30_tmpSELECT * FROM `push_log_full`WHERE time BETWEEN FROM_DAYS(TO_DAYS(NOW()) - 1) AND FROM_DAYS(TO_DAYS(NOW()))AND (imsi, and...

2016-08-16 14:15:28 237

原创 mysql动态行转列

测试数据[code="sql"]DROP TABLE IF EXISTS `score`;CREATE TABLE `score` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `class` VARCHAR(255) DEFAULT NULL, `score` DOUBLE DEFAULT NULL, `userid` INT...

2016-07-21 09:27:57 169

原创 pentaho cde popup弹出框口

弹出窗口在pentaho cde里面相对比较容易，不过还是记录一下，以防时间久了，忘记关键参数。先看一下效果图：[img]http://dl2.iteye.com/upload/attachment/0113/1946/de74d150-64c1-3960-bdc4-f7640343f87b.png[/img]画出自己想要在弹出框展示的图形，把他的HtmlObject设置成...

2015-11-19 19:33:32 115

原创 pentaho cde 封装自定义图形控件，动态传参

在实际项目中经常会用到将经常用到的图形表格组成一个控件，其他地方直接调用，类似于服务器开发的接口，而现在就需要将一些常用的图形做封装，这样就不必重复多次创建相同的内容。下面就简单的定义一个自定义柱形图组件吧！代码不多说，自己随心所欲的更具业务需要来画图，需要注意的是：在保存的时候一定要勾选最下面的Widget Parameters 这个复选框，不然传不过去参数。如图所示[img...

2015-11-19 17:37:39 188

原创数据库事务介绍

今天编码遇到一个问题，花费了很长时间，最后才知道是忘记提交事务照成的，所以来温习了一下oracle的事务机制1.事务定义事务是保持数据的一致性，它由相关的DDL或者DML语句做为载体，这组语句执行的结果要么一起成功，要么一起失败。我们知道SQL92标准定义了数据库事务的四个特点：原子性 (Atomicity) :一个事务里面所有包含的SQL语句是...

2015-11-17 16:11:01 163

原创访问连接过多

今天开发中启动服务器，发现不管怎么样都会报连接池已满，随后删除数据库中的连接，发现可以启动，后来关闭后重新启动又出现连接池已满的错误。后监控数据库发现，当我关闭服务的时候，数据库的连接并没有关闭，随后通过更改端口解决了此问题（把原先的80端口改为8080）了，结果关闭服务同时是可以关闭数据库连接的。show full processlist...

2015-11-17 16:10:43 231

原创 pentaho cde数据联动，下拉框，文本框，图形

先看一下效果：[img]http://dl2.iteye.com/upload/attachment/0113/1282/0117beaa-b6f8-3eb2-a2e2-0e1936f1ce42.png[/img][img]http://dl2.iteye.com/upload/attachment/0113/1284/f09aba05-c3db-337f-854a-aa6583b...

2015-11-17 16:06:58 315

原创 pentaho cde 选择性的显示多列数据

在业务需求中，有时候会有这种需要，就是查出来可多列数据，而我只想画出来其中的一列或者说某一列，而pentaho会默认画出查出来的所有数据，而不断的更改数据源又太麻烦，这时就要用到resders方法了。比如这里我只想显示一列数据isMultiValued 和 dataMeasuresInColumns 设置为true然后更改readers为你想显示那一列dimensions对应的值即可。...

2015-11-17 16:06:16 168

原创 pentaho cde 画图参数介绍

初步接触pentaho，由于在国内的资料很少，唯有看英文文档，做了N次反复尝试，挖掘了pentaho CDE中画图的一些基本参数。下面就列出来了一些常用参数介绍：crosstabMode：表明如果数据源是交叉表的格式,反之为关系格式。为true的时候能显示多种对比数据//pie chartselectable:说明图表的视觉元素是否能被用户选择hovera...

2015-11-17 15:32:16 283

原创 android + red5 + rtmp

背景:在已有的red5服务器环境下实现android客户端的视频直播要实现客户端视频直播就先先对服务器端有所了解Red5流媒体服务器是Adboe的产品,免费并且是开源的，与Flash搭配的时候可谓是天生一对，但使用Java和Android作为客户端调用却可谓一波三折。Red5是一个采用Java开发开源的Flash流媒体服务器。它支持：把音频（MP3）和视频（FLV）转换成播放流...

2015-04-14 16:00:43 451

原创 android中基于HTML模板的方式嵌入SWF

[size=large]继上一篇[url=http://qiaoyihang.iteye.com/admin/blogs/2196064]利用webview实现在andorid中嵌入swf[/url]这篇继续说说通过html模板的方式来嵌入SWF,这样做的好处最直观的就是可以把html,swf和android代码串起来,交互操作很方便(虽然这样最后没实现我最终的需求)代码比较简单,上代...

2015-04-03 16:38:46 200

[size=large]项目背景是这样的,一套系统有三个客户端分别是网页,flex和android,现在已经在flex上面做好了一个在线客户视频聊天系统,然后在这个基础上修改打包成了SWF,放在网页上面使用效果不错,但是利用这样的方式放在移动端就是会卡在连接服务器的地方(初步了解应该是服务器是基于RTMP的Red5服务器,android目前不支持RTMP协议),然后网上这方面的都是利用webvie...

2015-03-27 11:06:36 274

原创利用iframe实现无刷新上传处理

继上一篇对上传异常进行处理之后，当上传异常的时候的错误体验并不是很好，这里介绍用iframe来进行错误提示拦截错误[code="java"] @ExceptionHandler(MaxUploadSizeExceededException.class) public String handleException(Exception ex,HttpServ...

2014-11-10 10:56:17 162

原创 spring mvc CommonsMultipartResolver上传文件异常处理

近期已经上线的项目出现了一个异常[code="java"]严重: Servlet.service() for servlet JeeCmsAdmin threw exception org.apache.commons.fileupload.FileUploadBase$SizeLimitExceededException: the request was rejected be...

2014-11-10 10:27:48 906

原创文件件监听器，android系统拍照功能调用后删除系统生成的照片

先说说要实现的功能：android调用系统拍照功能实时预览删除上传保存（用户不能再本地文件夹中看到拍的照片）再说说遇到的问题：1、调用系统拍照在系统自带的拍照文件夹中生成一张随机命名图片，此图片不好删除2、在onActivityResult方法中的data下面拿到的照片是缩略图3、你不能指定自己所照的目录为系统自带目录，这样系统会在其他地方生成一个新的目录PS...

2014-08-28 20:53:18 537

原创自定义悬浮在界面上的数字键盘

近期由于项目中很多EditText控件都是输入纯数字，不停的弹出和关闭系统自带的键盘体验很差，所以决定做一款悬浮在EditText控件旁边的数字小键盘。当用户点击EditText控件的时候会弹出数字键盘，用户输入完成之后点击确定会把输入的内容显示在EditText中，这样就避免了弹出系统键盘这种不友好的体验先上效果图[img]http://dl2.iteye.com/uploa...

2014-08-28 20:34:43 522

原创 view组件的duplicateParentState属性

[size=medium]今天做页面的时候遇到一个小问题，在点击的时候改变组件的图片来源，这个很简单大家都知道，用selector可以很快实现。但是现状有点特殊，是 LinearLayout 中包裹着一个 ImageView需要当点击LinearLayout 的时候ImageView图片来源的改变，试了好久还是不行，其中还牵扯到了组件的冒泡，结果在activity中实现的，后来想想不是很好，随...

2014-07-25 11:43:34 108

原创 Android海康监控视频调用demo

一、开发环境1、操作系统：windows7（X64）2、开发工具：eclipse adt Build: v22.2.1-833290 JDK7 android SDK3、客户端设备版本：HUAWEI C8813 android 4.1.14、监控设备型号：HIK/DS-8116HC-F/AF-DVR-II-B/16-165、所需库文件（SDK）：海康视频8116 播...

2014-04-17 15:51:21 1586 13

原创 android中的万能适配器BaseAdapter的总结

有时候，列表不光会用来做显示用，我们同样可以在在上面添加按钮。添加按钮首先要写一个有按钮的xml文件，然后自然会想到用上面的方法定义一个适配器，然后将数据映射到布局文件上。但是事实并非这样，因为按钮是无法映射的，即使你成功的用布局文件显示出了按钮也无法添加按钮的响应，读者可以试试用SimpleAdapter添加一个按钮到ListView的条目中，会发现可以添加，但是却无法获得焦点，点击操作...

2014-04-03 17:35:36 219