leehsiao的专栏

原创 Hive体系架构、使用场景以及常用操作

一：Hive体系结构(架构)的介绍1、Hive的概念：①Hive是为了简化用户编写MapReduce程序而生成的一种框架，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用户编程接口。Hive提供了一套类SQL的查询语言，称为QL，而在创造Hive框架的过程中之所以使用SQL实现Hive是因为大家对SQL语言非...

转载 Flink Slot 详解与 Job Execution Graph 优化

转载：https://www.infoq.cn/article/ZmL7TCcEchvANY-9jG1H前言近期公司内部将 Flink Job 从 Standalone 迁移至了 OnYarn，随后发现 Job 性能较之前有所降低：迁移前有 8.3W+/S 的数据消费速度，迁移到 Yarn 后分配同样的资源但消费速度降为 7.8W+/S，且较之前的消费速度有轻微的抖动。经过原因分析和测试验...

原创 Bloom Filters : 布隆过滤

https://hackernoon.com/probabilistic-data-structures-bloom-filter-5374112a7832https://www.jasondavies.com/bloomfilter/

转载 Redis 数据结构以及使用场景

Redis基础数据结构有哪些？一、String（字符串）在任何一种编程语言里，字符串String都是最基础的数据结构， 那你有想过Redis中存储一个字符串都进行了哪些操作嘛？在Redis中String是可以修改的，称为动态字符串(Simple Dynamic String 简称 SDS)（快拿小本本记名词，要考的），说是字符串但它的内部结构更像是一个 ArrayList，内部维护着一...

转载 Spark算子

Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。　　　　　Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 2）Action 行动算子：这类算子会触发 Spa...

原创 Hadoop 组件之 HDFS

1、HDFS 是什么HDFS（Hadoop Distributed File System ）Hadoop 分布式文件系统。由论文为GFS（Google File System）Google 文件系统启发，是Google GFS 的开源Java 实现。2、HDFS 组件角色2.1NameNodeHDFS 元数据管理者，管理NameSpace(文件系统命名空间)，记录文件是如...

原创 Hadoop MapReduce Shuffle 详解

一、什么是Shuffle机制 在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前，具体可以分为map端和reduce端前后两个部分。在shuffle之前，也就是在map阶段，MapReduce会对要处理的数...

转载 线上应用故障排除：高CPU占用和高内存占用

（友情提示：本博文章欢迎转载，但请注明出处：hankchen，http://www.blogjava.net/hankchen）一、高CPU占用一个应用占用CPU很高，除了确实是计算密集型应用之外，通常原因都是出现了死循环。以我们最近出现的一个实际故障为例，介绍怎么定位和解决这类问题。根据top命令，发现PID为28555的Java进程占用CPU高达200%，出现故障。通...

转载 基于 Kafka 与 Debezium 构建实时数据管道

本文转自：https://aleiwu.com/post/vimur.cn/ 目录一、前言二、起源三、架构设计四、开源方案对比五、CDC 模块六、变更分发平台七、统一数据格式八、应用总结一、前言 这篇文章我最初是发表于公司技术部公众号, 原题”实时数据管道探索”, 公开后就搬运到了自己的博客上, 基本上算是对自己2017年上半年工...

转载 Kafka 消息队列消息消费延迟解决方案

一、消息队列解决的问题：引入消息队列一般能解决一下五种场景：异步处理，应用解耦，流量削锋，日志采集和消息通讯1、异步处理场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式；2.并行方式（1）串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端（2）并行方式：将注册信息写入数据库成功后，发送注...

原创 JDK1.8新增的Stream的使用及原理

可以说函数式编程，Lambda 和 Stream 是JDK1.8新增的最有亮点的特性了。在学习Apache Flink 的时候，经常遇到算子运算，其实这就是一种最常用的Stream流编程运算，今天就来研究一下Java 的JDK1.8提供的Stream流式编程，以便对后续学习Flink和Spark还有Strom这些流式和批式处理框架有所帮助。 新的java.util.stream包...

原创 Window 下的netcat的安装及使用

今天在做Apache Flink 统计“将每5秒输出一次这5秒内每个单词出现的次数”的开发的时候，遇到一个问题：如何监听本地机的指定端口？ 于是查阅资料了解到Netcat 工具，该工具已是GPL（the GNU General Public License） 下面的一个Project了（http://netcat.sourceforge.net/）Netcat 是什么：Netcat是一个功...

原创 JanusGraph的安装及使用

由于JanusGraph支持不同的存储后端和索引后端，所以安装方式也有几种： 1、 JanusGraph+Berkeley+ES：主要用于小型环境 2、JanusGraph+Cassandra+ES：适用于无Hadoop环境 3、JanusGraph+HBase+ES：适用于与Hadoop集成的环境然而，根据官网提供的部署场景也有一下四种： 1、Janus...

原创 JanusGraph入门

一、JanusGraph是什么 简单来说JanusGraph 就是一个图形数据库，我们都知道传统常用的数据库类型有： 想了解更多关于数据库相关的知识请参见网站：https://db-engines.com/en/ranking/ 1、关系型数据库如MySQL、Oracle、Db2等 2、No-SQL数据库，这其中最为代表的就是内存数据库Redis、MemCached这类数...

原创 JVM监视与管理控制台之JConsole

JConsole 是Java 自带的基于JMX得可视化监控、管理工具。本文主要介绍JConsole的监控功能。1、JConsole 启动       通过安装的JDK 下的${jdkhome}/bin目录下的jconsole.exe启动，启动后会自动搜索到本机启动的jvm进程，不需要用户再使用jps去查询。可监控本地虚拟机进程，也可远程连接服务器，监控远程虚拟机进程。2、JConsol

原创 JVM 自带工具介绍

JDK 的自带工具所在目录，相信大家都已经很清楚了：windows版本：jdk\bin，具体的实现是jdk\lib\tools.jar中，有兴趣的朋友可以看看，在本文主要介绍一下几个比较常用的工具： SUN JDK 监控和故障处理工具1、jps :虚拟机进程状况工具功...

原创 JVM垃圾收集器之CMS收集器

CMS(Concurrent Mark Sweep) 收集器是一种以获取最短回收停顿时间为目标的收集器。1、CMS使用的算法     CMS使用的算法为“标记-清除”算法2、运行过程4步骤      a、初始标记（CMS  initial mark）      b、并发标记（CMS concurrent mark）      c、重新标记（CMS remark）   

转载 GC日志分析

本博客来自：http://blog.csdn.net/yxc135/article/details/12137663 点击打开链接 尊重原创首先，给出一个日志输出的例子：package jvm.gc;import java.util.ArrayList;import java.util.List;/** * 简单的JAVA虚拟机内存回收,Parallel S

原创 Linux系统下手动创建用户的详细步骤

1. 先建立所需要的群组 ( vi /etc/group )；2. 将 /etc/group 与 /etc/gshadow 同步化 ( grpconv )；3. 建立账号的各个属性 ( vi /etc/passwd )；4. 将 /etc/passwd 与 /etc/shadow 同步化 ( pwconv )；5. 建立该账号的密码 ( passwd accountname )；

原创 设计模式之原型模式

模式动机：        在面向对象系统中，使用原型模式来复制一个对象自身，从而克隆出多个与原型对象一模一样的对象。        在软件系统中，有些对象的创建过程较为复杂，而且有时候需要频繁创建，原型模式通过给出一个原型对象来指明所要创建的对象的类型，然后用复制这个原型对象的办法创     建   出更多同类型的对象，这就是原型模式的意图所在。模式定义：

原创 linux下mysql开启远程访问权限及防火墙开放3306端口

报错:1130-host ... is not allowed to connect to this MySql server解决方法：1。 改表法。可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入mysql后，更改 "mysql" 数据库里的 "user" 表里的 "host" 项，从"localhost"改称"%"

原创 linux下tomcat单机多实例

1. 下载tomcat :[root@bogon data]#  wget http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-7/v7.0.73/bin/apache-tomcat-7.0.73.tar.gz 注：确保下载的是tomcat文件，建议先下载，在通过SFTP传到linux 指定的文件夹。解压：[

转载 memcached 的编译安装

本文转自：http://www.cnblogs.com/balaamwe/archive/2012/05/31/2528066.htmlMemcached 编译安装http://ihacklog.com/linux/memcached-compilation.htmlMemcached :1.4.5libevent-1.4.13-stableLinux ubun

转载 Java网络编程

网络编程         网络编程对于很多的初学者来说，都是很向往的一种编程技能，但是很多的初学者却因为很长一段时间无法进入网络编程的大门而放弃了对于该部分技术的学习。         在 学习网络编程以前，很多初学者可能觉得网络编程是比较复杂的系统工程，需要了解很多和网络相关的基础知识，其实这些都不是很必需的。首先来问一个问题：你 会打手机吗？很多人可能说肯定会啊，不就是按按电话

转载 初窥Linux 之 我最常用的20条命令

玩过Linux的人都会知道，Linux中的命令的确是非常多，但是玩过Linux的人也从来不会因为Linux的命令如此之多而烦恼，因为我们只需要掌握我们最常用的命令就可以了。当然你也可以在使用时去找一下man，他会帮你解决不少的问题。然而每个人玩Linux的目的都不同，所以他们常用的命令也就差异非常大，而我主要是用Linux进行C/C++和shell程序编写的，所以常用到的命令可以就会跟一个管理Li

转载 Tomcat 配置详解/优化方案

Server.xml配置文件用于对整个容器进行相关的配置。元素：是整个配置文件的根元素。表示整个Catalina容器。属性：className：实现了org.apache.catalina.Server接口的类名，标准实现类是org.apache.catalina.core.StandardServer类。Port：Tomcat服务器监听用于关闭Tomcat服务器的命令（必须）

转载 白话经典算法系列之七 堆与堆排序

原文来自：http://blog.csdn.net/morewindows/article/details/6709644堆排序与快速排序，归并排序一样都是时间复杂度为O(N*logN)的几种常见排序方法。学习堆排序前，先讲解下什么是数据结构中的二叉堆。二叉堆的定义二叉堆是完全二叉树或者是近似完全二叉树。二叉堆满足二个特性：1．父结点的键值总是大于或等于（小于或等于

转载 Java虚拟机详解----JVM常见问题总结

【声明】 欢迎转载，但请保留文章原始出处→_→ 生命壹号：http://www.cnblogs.com/smyhvae/文章来源：http://www.cnblogs.com/smyhvae/p/4810168.html 【正文】声明：本文只是做一个总结，有关jvm的详细知识可以参考本人之前的系列文章，尤其是那篇：Java虚拟机详解04----G

转载 Java虚拟机详解----常用JVM配置参数

原文地址：http://www.cnblogs.com/smyhvae/p/4736162.html【声明】 欢迎转载，但请保留文章原始出处→_→ 生命壹号：http://www.cnblogs.com/smyhvae/文章来源：http://www.cnblogs.com/smyhvae/p/4736162.html本文主要内容：Trace跟踪

转载 Java动态代理机制详解（JDK 和CGLIB，Javassist，ASM）

转载:http://blog.csdn.net/luanlouis/article/details/24589193

原创 eclipse支持sun.*包的配置

在项目中使用BASE64Decoder，eclipse的编辑器莫名报错，Multiple markers at this line- Access restriction: The type BASE64Decoder is not accessible due to restriction on required library C:\Program Files\Java\jre

转载 java.concurrent 包类的总结

我们都知道，在JDK1.5之前，Java中要进行业务并发时，通常需要有程序员独立完成代码实现，当然也有一些开源的框架提供了这些功能，但是这些依然没有JDK自带的功能使用起来方便。而当针对高质量Java多线程并发程序设计时,为防止死蹦等现象的出现，比如使用java之前的wait()、notify()和synchronized等，每每需要考虑性能、死锁、公平性、资源管理以及如何避免线程安全性方面带来的

转载 java.util.concurrent学习—Executor框架

java.util.concurrent包分成了三个部分，分别是：                           java.util.concurrent、                            java.util.concurrent.atomic                           java.util.concurrent.lock    

转载 数据库连接池

一、应用程序直接获取数据库连接的缺点　　用户每次请求都需要向数据库获得链接，而数据库创建连接通常需要消耗相对较大的资源，创建时间也较长。假设网站一天10万访问量，数据库服务器就需要创建10万次连接，极大的浪费数据库的资源，并且极易造成数据库服务器内存溢出、拓机。如下图：二、使用数据库连接池优化程序性能2.1、数据库连接池的基本概念　　数据库连接是一种

转载 Java实现AES256加解密

一.代码package com.handler;import java.io.UnsupportedEncodingException;import java.security.Key; import java.security.Security;import javax.crypto.Cipher; import javax.crypto.KeyGenerator;

转载 java中的事件监听器和观察者模式

首先说说监听器：监听器就是一个实现特定接口的普通java程序，这个程序专门用于监听另一个java对象的方法调用或属性改变，当被监听对象发生上述事件后，监听器某个方法将立即被执 行。 java的事件监听机制可概括为3点：1,java的事件监听机制涉及到事件源，事件监听器，事件对象三个组件,监听器一般是接口，用来约定调用方式 2,当事件源对象上发生操作时，它将会调用事件

转载 java 数据类型

Java语言是静态类型的（statical typed)，也就是说所有变量和表达式的类型再编译时就已经完全确定。由于是statical typed，导致Java语言也是强类型（Strong typed）的。强类型意味着每个变量都具有一种类型，每个表达式具有一种类型，并且每种类型都是严格定义的，类型限制了变量可以hold哪些值，表达式最终产生什么值。同时限制了这些值可以进行的操作类型以及操作的具体方

转载 B2B不是难事情之EDI协议简介

关于EDI的起源和发展史，请参考以下的相关链接，不在此一一赘述。 目前，在EDI领域比较常见的标准分以下几类：l         来自联合国推荐的UN/EDIFACT国际标准，主要应用于非北美市场。l         来自美国的ANSI ASC X12标准，主要应用于北美市场。l         英国物品编码协会开发的TRADACOMS标准，应用于英国零售行业。l

转载 eclipse如何debug调试jdk源码

java是一门开源的程序设计语言，喜欢研究源码的java开发者总会忍不住debug一下jdk源码。虽然官方的jdk自带了源码包src.zip，然而在debug时查看变量却十分麻烦。例如调试HashMap的 public V put(K key, V value) 方法并查看key的值时会提示：可以看到不能显示变量的值了，原因在于oracle提供的jre中rt.jar不带de

原创 jdk中定义的SOAP的架构