雾幻-CSDN博客

原创 SparkStreaming读写kerberos Hive（Yarn Cluster）

yarn Cluster模式也可适用于从集群外部提交（接口机）提交命令spark-submit的最后一行为args参数，经多次尝试发现yarn cluster模式通过该方式传入kerberos文件可行krb5.conf需要在yarn集群所有节点相同位置放置client.keytab需要在命令提交节点，yarn集群所有节点相同位置放置，container连接HDFS[kerber...

2019-05-15 14:33:02 3063

原创 SparkStreaming读写kerberos HBase（Yarn Cluster）

2019-05-15 14:26:54 1495 2

原创 SparkStreaming读写kerberos HDFS（Yarn Cluster）

2019-05-15 14:14:17 1901

原创 SparkStreaming读写kerberos Kafka（Yarn Client、Yarn Cluster）

2019-05-15 13:51:26 2197 1

原创 Flink编程模型

4.1 抽象的层级有状态的数据流处理层。最底层的抽象仅仅提供有状态的数据流，它通过处理函数（Process Function）嵌入到数据流api(DataStream API). 用户可以通过它自由的处理单流或者多流，并保持一致性和容错。同时用户可以注册事件时间和处理时间的回调处理，以实现复杂的计算逻辑。核心API层，DataSet 处理有界的数据集，DataStream 处理有界或者无界的...

2019-04-24 20:27:40 799

原创 Flink核心组件

Flink系统的架构与Spark类似，是一个基于Master-Slave风格的架构。可以支持本地的快速迭代，以及一些环形的迭代任务。并且 Flink 可以定制化内存管理。在这点，如果要对比 Flink 和 Spark 的话，Flink 并没有将内存完全交给应用层。这也是为什么 Spark 相对于 Flink，更容易出现 OOM的原因（out of memory）。就框架本身与应用场景来说，Flin...

2019-04-24 19:55:03 4249

原创 Flink分层架构

2.1 Flink结构与支持Flink是一个分层架构的系统，不同层的栈建立在其下层基础上，并且每一层所包含的组件都提供了特定的抽象，用来服务于上层组件。Flink分层的组件栈如下图所示（从下至上）：部署：Flink 支持本地运行、能在独立集群或者在被 YARN 或 Mesos 管理的集群上运行，也能部署在云上。运行：Flink 的核心是分布式流式数据引擎，意味着数据以一次一个事件的形式...

2019-04-24 19:21:44 1677

原创 Flink简介

1.1 Flink的引入这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大数据的计算引擎分成...

2019-04-24 19:12:56 845

原创 Flink高可用集群搭建

一、部署说明flink是apache一款大数据实时计算应用，在生产环境中，用来实时计算应用产生的日志，数据等，满足预警，入库等需求二、系统环境系统版本：centos 7.2java版本: jdk 1.8.0_161zookeeper版本: zookeeper-3.4.9hadoop版本： Hadoop-2.8.3.tar.gzflink版本： flink-1.7.1四个机器，其中1...

2019-01-23 10:16:35 2570

原创 flink on yarn运行异常NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig

flink on yarn模式在运行时发生如下异常信息18/08/25 17:29:28 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.018/0...

2019-01-22 21:05:07 3643

原创 Flink安装与运行——flink on yarn

Flink下载地址：https://flink.apache.org/downloads.html因目前Flink尚未集成hadoop2.9版本，因此选择2.7稳定版进行安装（兼容）以下操作请在集群的所有节点进行解压重命名$ tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz /opt/beh/core $ mv flink-1.7.1...

2019-01-22 20:57:57 14315

转载 ScalaTest——测试分类

6.1 Pending待测试占位符，方便记下一个想法，但是还没有实现或者还没准备好。待测试（Pending Test）这个思想我觉得在实际中会用的比较多。pending是一个占位符，可以将尚未实现或定义的测试以pending来填充。Pending Test实际上就是利用pending来将测试标记为TODO的。如下面的例子：class AlbumSpec extends FunSpec wit...

2018-10-25 09:23:07 1215

转载 ScalaTest——Specifications行为规范

FunSepc，WordSpec，FeatureSpec，FreeSpec，FlatSpec大同小异，这里以FeatureSpec为例FeatureSpec是将测试分类为一系列的功能的测试。一个feature是软件的一个简单的功能点。每个功能将有该功能的多个场景(测试用例)，每个场景代表一个成功的或者失败的测试案例。场景越多，测试越充分，健壮性越好。7.1 FunSpec下面的FunSpec...

2018-10-25 09:22:57 803

转载 ScalaTest——Fixtures

Fixture翻译成中文有这么些意思：固定装置；卡具；固定附物，固定附着物；固定财产，在ScalaTest中，可能会有这么一种情境：在一个测试类中，不同的测试方法需要的类实例、依赖等数据是一样的，显然，没必要为每个测试类去new一些它们专用的数据，可以提供一些公共的数据，然后在不同的测试方法中重用它们。要做到数据的重用，有很多方法：Scala语言自带的方法ScalaTest测试框架提供的解...

2018-10-25 09:22:48 475

原创 Spark通过JDBC加载部分数据、添加过滤条件

当我们需要使用SparkSQL通过JDBC方式连接MySQL、Oracle、Greenplum等来实现对数据的操作时，可能在某些情况下并不需要加载全量的数据表。例如：只需要其中的部分字段按照条件进行筛选后的数据此时就需要在JDBC连接时对option(“dbtable”, tablename)属性值进行修改，参看spark官网给出的属性介绍：(spark2.3 jdbc-to-other...

2018-10-25 09:22:31 3605

转载 ScalaTest——日志打印

5.1 Informers日志Informer在ScalaTest中是为了打印日志方便观察，跟debug语句很相似，但它可以放在任何地方来输出一些跟测试相关的信息。使用Informer只要调用info(String)方法即可。如下面的例子：import org.scalatest.{FunSpec, ShouldMatchers}class AlbumTest extends FunSpe...

2018-10-24 09:15:06 935

原创 ScalaTest——matcher匹配器

ScalaTest中的Matchers匹配器分为两大类：Should Matcher和Must Matcher。它们的区别仅在测试报告中体现，所以在后面不同情形下的Matcher的说明中，只以Should Matcher为例。3.1 简单匹配器Simple Matcher就是在两个值之间使用一个断言在测试代码里，我们作出了一个断言：Thriller这张专辑的作者的firstName是Mic...

2018-10-24 09:14:43 1156

原创 ScalaTest——Assertion断言

ScalaTest默认在任何样式特征中都提供三个断言。您可以使用：assert 一般断言;assertResult 区分预期值和实际值;assertThrows 确保一些代码抛出预期的异常。ScalaTest的断言在特征中被定义，特征Assertions由Suite超级特征扩展到所有风格特征。特质Assertions还提供：assume有条件地取消测试;fail 无条件地测试失败...

2018-10-24 09:14:15 1284

原创 ScalaTest——测试风格

建议使用 FlatSpec单元和集成测试以及 FeatureSpec验收测试。将FlatSpec作为默认选择，因为它与大多数开发人员熟悉的XUnit测试类似2.1 FunSuiteFunSuite可以轻松编写描述性测试名称，自然地编写集中测试，并生成类似规范的输出import org.scalatest.FunSuite//ScalaTest提供了名为FunSuite的特质重载了execu...

2018-10-24 09:14:03 4194

原创 ScalaTest——ScalaTest简介

1. ScalaTest简介ScalaTest几乎已经成为Scala语言默认的测试框架，而在JVM平台下，无论是否使用Scala进行开发，我认为仍有尝试ScalaTest的必要。这主要源于它提供了多种表达力超强的测试风格，能够满足各种层次的需求包括单元测试、BDD、验收测试、数据驱动测试。1. 1 UT与IT的风格选择ScalaTest一共提供了七种测试风格，分别为：FunSuite，Fla...

2018-10-24 09:13:52 3094

转载 linux中vim使用与快捷键介绍

VIM的运行模式编辑模式：等待编辑命令的输入插入模式：在编辑模式下，输入i 进入插入模式，输入修改文本内容按ESC则由插入模式退回编辑模式命令模式：在编辑模式下，输入：进入到命令模式:q 直接退出vi:wq 保存后退出vi: set number 在编辑器中显示行号: set nonumber 取消显示行号 : w 新的文件名称（另存为）...

2018-10-24 09:13:43 556

原创 linux输入ll命令各个字段的含义

ls -l（这个参数是字母L的小写，不是数字1）　　这个命令可以使用长格式显示文件内容，如果需要察看更详细的文件资料就要用到ls -l这个指令。例如我在某个目录下键入ls -l可能会显示如下信息文件属性文件硬链接数拥有者所属group 文件大小建档日期文件名drwx------ 2 Guest users 1024 ...

2018-10-24 09:13:31 4806 1

原创 Linux常用命令

1、命令字 [命令选项] [命令参数]注：三者之间要用空格隔开。其中命令选项分短格式和长格式：短格式使用“-”符号，如：-l；而长格式使用“--”符号，如：--help；还可以使用组合命令选项：如：-a –l可以组合成--al或--la。2、命令提示符“$”普通用户 “#”管理员3、回车的使用我们输完一个命令后，则要以回车符作为所输入命令的结束4、获得命令帮助（...

2018-10-24 09:13:23 226

原创 Linux系统目录简介

目录说明目录说明/dev设备文件保存目录/etc配置文件保存目录/tmp临时目录/mnt系统挂载目录/proc直接写入内存/usr工具资源目录/var系统相关文档内容/var/log/系统日志位置/lib动态链接共享库保存目录mnt/misc/media挂载目录,推荐使用mnt目录/boot启动目录...

2018-10-24 09:13:11 153

原创 Spark读写MySQL、Oracle、PostgreSQL、Greenplum

添加pom依赖&lt;!-- https://mvnrepository.com/artifact/com.pivotal/greenplum-jdbc --&gt;&lt;dependency&gt; &lt;groupId&gt;com.pivotal&lt;/groupId&gt; &lt;artifactId&gt;green

2018-10-24 09:13:01 4056

原创斐波那契数列——java代码实现

定义数组方法public class Demo1 { public static void main(String[] args) { int arr[] = new int[20]; arr[0] = arr[1] = 1; for (int i = 2; i < arr.length; i++) { arr[i] = arr[i - 1] + arr[i - 2];...

2018-10-23 20:09:02 13625 2

原创 Spark Join——Broadcast Join、Shuffle Hash Join、Sort Merge Join

1. Broadcast Join在数据库的常见模型中（比如星型模型或者雪花模型），表一般分为两种：事实表和维度表。维度表一般指固定的、变动较少的表，例如联系人、物品种类等，一般数据有限。而事实表一般记录流水，比如销售清单等，通常随着时间的增长不断膨胀。因为Join操作是对两个表中key值相同的记录进行连接，在SparkSQL中，对两个表做Join最直接的方式是先根据key分区，再在每个分区中...

2018-10-23 20:06:50 4260 1

原创 spark运行机制

Client模式提交——Driver进程运行在客户端执行流程：用户启动客户端，之后客户端运行用户程序，启动Driver进程。在Driver中启动或实例化DAGScheduler等组件。客户端的Driver向Master注册。Worker向Master注册，Master命令Worker启动Exeuctor。Worker通过创建ExecutorRunner线程，在ExecutorRunner线程...

2018-10-23 20:03:32 230

转载 Hive数据倾斜解决办法

http://www.mamicode.com/info-detail-500353.htmlmap/reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完...

2018-10-23 20:01:53 681

原创 java代码实现求树的高度和节点数

求二叉树的高度public int getHeight(TreeNode node){ if(node == null){ return 0; } int i = getHeight(node.left); int j = getHeight(node.right); return (i<j)? j+1:i+1;}求二叉树的节点数public int getSize(...

2018-10-23 19:56:54 5769

原创前序遍历、中序遍历、后序遍历代码实现——迭代与非迭代方式

迭代方式实现前序遍历——迭代public static void preOrder(TreeNode node){ if(node==null) return; System.out.println(node.getData()+" "); preOrder(node.left); preOrder(node.right); }中序遍历——迭代p...

2018-10-23 19:55:25 1051

原创二叉树遍历——深度优先遍历、广度优先遍历

二叉树遍历简介深度优先遍历：对每一个可能的分支路径深入到不能再深入为止，而且每个结点只能访问一次。对每一个可能的分支路径深入到不能再深入为止，而且每个结点只能访问一次。要特别注意的是，二叉树的深度优先遍历比较特殊，可以细分为先序遍历、中序遍历、后序遍历。具体说明如下：先序遍历：对任一子树，先访问根，然后遍历其左子树，最后遍历其右子树。中序遍历：对任一子树，先遍历其左子树，然后访问根，...

2018-10-23 19:41:03 28754 4

原创链表与栈——数组入栈出栈、单链表翻转

数组入栈出栈class Stack{ private Object[] data = new Object[0]; //栈的内容 private int size = 0; //栈的元素个数 public boolean isFull(){ //判断栈是否满 return data.length == size; } public boolean isEmpty(){ //判断栈...

2018-10-23 19:21:23 466

原创 treeMap与treeSet

为了理解 TreeMap 的底层实现，必须先介绍排序二叉树和红黑树这两种数据结构。其中红黑树又是一种特殊的排序二叉树。排序二叉树排序二叉树是一种特殊结构的二叉树，可以非常方便地对树中所有节点进行排序和检索。排序二叉树要么是一棵空二叉树，要么是具有下列性质的二叉树：若它的左子树不空，则左子树上所有节点的值均小于它的根节点的值；若它的右子树不空，则右子树上所有节点的值均大于它的根节点的值...

2018-10-23 19:19:10 330

原创 HashMap原理与实现

HashMap是基于哈希表的 Map 接口的实现，以key-value的形式存在。系统会根据hash算法来来计算key-value的存储位置，可以通过key快速地存、取value。HashMap提供了三个构造函数： HashMap()：构造一个具有默认初始容量 (16) 和默认加载因子 (0.75) 的空 HashMap。 HashMap(int initialCapacity)...

2018-10-23 19:13:01 142

原创 java两个变量的值交换

不使用中间变量，如何实现两个变量值得交换？采用异或的方法，转化为二进制之间的运算int a = 1;int b = 2;a = a^b; System.out.println(a); //3b = a^b; System.out.println(b); //1a = a^b; System.out.println(a); //2...

2018-10-18 09:14:13 539

原创 java面向对象——设计原则

1. 开闭原则 (open close principle)对扩展开放，对修改关闭。在程序需要进行扩展的时候，不能去修改原有的代码，即实现一个热拔插效果。为了使程序的扩展性更好，易于维护和升级。为了达到这样的效果，需要使用【接口和抽象】类去操作。例如：车的电路，尽量不要去改动，如果有预留的接口扩展功能，这是可以的。因为修改原来的代码，会更容易引入bugpublic class Pe...

2018-10-18 09:13:55 163

原创单例设计模式

在某些场合中，一个类对外提供一个且只提供一个对象时，这样的类叫做单例类。编写单例类的模式/套路叫做单例设计模式，是编程经验的总结实现流程a.私有化构造方法，使用private关键字修饰。b.提供本类的引用作为成员变量，并使用private和static共同修饰。c.提供公有的get成员变量方法用于将本类对象返回出去。编程实现Singleton类，要求该类对外能得到且只能得到一个对象1....

2018-10-18 09:13:42 88

原创 java排序算法：冒泡排序、插入排序、选择排序、快速排序

1. 冒泡排序核心思想:相邻的元素进行比较，满足条件就进行交换。如果一趟排序中没有出现元素交换则排序完成。 a.比较相邻位置的两个元素，若第一个元素(左边)比第二个元素(右边)大，则交换元素的位置。 b.从开始的第一对元素一直到结尾的最后一对，经过这一轮，排在最后的元素将是这组元素的最大值。 c.重复步骤b持续对越来越少的元素进行两两比较，直到所有元素处理完毕为止。 ...

2018-10-18 09:13:16 228

原创 java查找算法：线性查找、二分查找

线性查找从前往后依次对比需要查找的数据，如果找到对应的元素，则返回元素的位置。 a.使用目标元素与样本数列中的第一个元素起依次比较大小; b.若找到与目标元素相等的元素，则表示查找成功； c.若目标元素与样本数列的所有元素比较完毕也没有找到相等的元素，则表示查找失败。1. 二分查找算法流程 a.假定样本数列中的所有元素都是从小到大排列的。 b.使用目标元素...

系统版本：centos 7.2 java版本: jdk 1.8.0_161 zookeeper版本: zookeeper-3.4.9 hadoop版本： Hadoop-2.8.3.tar.gz flink版本： flink-1.4.0

2018-10-09

Flink学习资料

附件：Flink-on-yarn部署指南 0、Flink基本原理与生产实践 1、Flink基本概念与部署 2、DataStreamAPI介绍与实战 3、Window与Time 4、Connector 5、Flink状态管理与恢复 6、Metrics与监控 7、Flink应用案例介绍 8、Druid基本概念以及架构设计 9、Druid数据存储与写入 10、Druid实践介绍

2018-10-09

apache kafka实战

Apache Kafka实战/胡夕著本书是涵盖Apache Kafka各方面的具有实践指导意义的工具书和参考书。作者结合典型的使用场景，对Kafka整个技术体系进行了较为全面的讲解，以便读者能够举一反三，直接应用于实践。同时，本书还对Kafka的设计原理及其流式处理组件进行了较深入的探讨，并给出了翔实的案例。本书共分为10章:第1章全面介绍消息引擎系统以及Kafka的基本概念与特性，快速带领读者走进Kafka的世界;第2章简要回顾了Apache Kafka的发展历史;第3章详细介绍了Kafka集群环境的搭建;第4、5章深入探讨了Kafka客户端的使用方法;第6章带领读者一览Kafka内部设计原理;第7~9章以实例的方式讲解了Kafka集群的管理、监控与调优;第10章介绍了Kafka新引入的流式处理组件。

2018-10-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人