EdwardsWang丶-CSDN博客

Apache Beam 问题汇总泛型擦除问题Exception in thread "main" java.lang.IllegalStateException: Unable to return a default Coder for ParDo(Anonymous)/ParMultiDo(Anonymous).output [PCollection@577127077]. Correct one of the following root causes: No Coder has been

2022-05-19 13:44:01 300

原创一篇搞懂大数据Lambda架构及实践

lambda为了解决什么？lambda是什么？lambda的优缺点又是什么？快来这里了解一下

2022-05-11 16:50:19 1771

原创 SparkStreaming（java）读取Kafka（kerberos）写入Hbase（kerberos）

使用SparkStreaming（java）读取开启kerberos的Kafka的数据写入Hbase

2022-04-28 11:21:05 2565

原创自定义Ranger插件 Zeppelin集成Ranger方案（非LDAP模式）

目录序：一、Zeppelin权限部分分析1、zeppelin-note权限分析2、zeppelin-shiro权限分析二、shiro权限原理分析及Ranger原理分析1、shiro认证授权原理2、Ranger认证授权原理三、自定义Ranger插件1、编写shiroService2、编写资源json文件3、编写Ranger授权类四、自定义Shiro拦截器（RangerFilter）五、测试序：最近项目需求要用Ranger把Zeppelin管...

2021-04-23 16:02:08 1726 3

原创 Zeppelin-0.9.0同步Apache DS LDAP 方案

目录序：一、Zeppelin0.9.0的安装二、Apache DS Ldap的安装三、Zeppelin集成ApacheDS LDAP1、ApacheDS LDAP部分操作（1）创建新的partition（2）创建用户和用户组，准备做zeppelin的映射2、Zeppelin相关配置序：最近在工作中遇到了Zeppelin要同步Ranger的需求，由于项目中有LDAP组件，省去了改源码做shiro集成ranger的麻烦。项目内部使用的ApacheDS Ldap，在Z.

2021-04-02 17:38:26 450 1

原创 Zeppelin-0.9.0 开启kerberos登陆认证

目录序：一、kerberos及Zeppelin的安装（已安装好的直接跳转第二部分）二、Zeppelin开启Kerberos步骤序：因为工作需求，需要开启Zeppelin的Kerberos认证，在Zeppelin0.9.0之前的版本，需要依赖脚本和LDAP以及修改部分Zeppelin认证部分源码来做到集成Kerberos，在Zeppelin0.9.0版本，官方发布了Zeppelin开启Kerberos的方式，下面记录一下我踩的坑和开启步骤，以便大家少走弯路。一、...

2021-03-25 10:55:21 873

原创 Zookeeper架构及Watcher、选举机制

Zookeeper主要是一个分布式服务协调框架，实现同步服务，配置维护和命名服务等分布式应用，基于对Zab协议（ZooKeeper Atomic Broadcast，zk原子消息广播协议，分布式一致性算法）的实现，能够保证分布式环境中数据的一致性。简单来看，zookeeper=文件系统+通知机制。

2020-06-02 11:06:31 237

原创一篇搞懂谓词下推

什么是谓词首先我们要了解什么是谓词。谓词，用来描述或判定客体性质、特征或者客体之间关系的词项。根据《现代汉语》的定义汉语的谓词包括动词和形容词。在SQL中，谓词就是返回boolean值即true和false的函数，或是隐式转换为bool的函数。SQL中的谓词主要有 LKIE、BETWEEN、IS NULL、IS NOT NULL、I...

2020-05-07 13:35:44 9199 3

原创 Zeppelin架构原理分析

大纲：zeppelin整体架构分析 zeppelin-Interpreter Zeppelin-note zeppelin-paragraph一、Zeppelin整体架构分析首先上一张官方给出的Zeppelin整体架构图Apache Zeppelin的架构比较简单直观，总共分为3层：Zeppelin 前端 Zeppelin Serv...

2020-05-06 15:37:37 2180

原创 Zeppelin 安装使用

本文大纲：一、什么是Zeppelin二、Zeppelin的安装使用一、什么是Zeppelin Apache Zeppelin是一个让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能，同时支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hi...

2020-05-06 14:59:53 532

原创 Ooize 串行并行（bundle）定时任务使用总结（sqoop + shell）

本文包含内容:一、ooize使用sqoop将oracle导入到hdfs二、ooize串行定时任务三、ooize并行定时任务四、遇到的问题一、ooize使用sqoop将oracle表导入到hdfs此处在ooize的lib文件夹下需要oracle的OJDBC驱动包，不然会报错workflow.xml文件<workflow-app xmlns="uri:o...

2018-09-11 13:46:08 1199

转载千万级海量测试数据运算下，Redis VS Couchbase性能对比

原来一直没有发现大块数据小数据量下redis也会非常不稳定出现各种问题, 而且响应时间反应速度也比同环境下hbase差出不少, 文章挺好, 一直没找到分享按钮就直接贴过来了, 原文请点击: http://rdc.hundsun.com/portal/article/761.html ▲测试工具▲系统部署1.集群部署：由于redis采用单线程模型，即一个实例只能使用...

2018-08-28 09:49:45 515

转载 Kubernetes------Docker基础知识

Docker 是世界领先的软件容器平台，所以想要搞懂Docker的概念我们必须先从容器开始说起。一先从认识容器开始1.1 什么是容器？先来看看容器较为官方的解释一句话概括容器：容器就是将软件打包成标准化单元，以用于开发、交付和部署。容器镜像是轻量的、可执行的独立软件包，包含软件运行所需的所有内容：代码、运行时环境、系统工具、系统库和设置。容器化软件适用于基于Linu...

2018-08-28 09:22:26 225

原创 SparkStreaming 架构及案例实现

一、概述Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduc...

2018-06-11 21:12:26 2016 1

原创 Hadoop 之分布式资源管理框架YARN

1, YARN 概述 YARN 是“ Yet Another Resource Negotiator”的简称。在进一步了解 YARN 框架之前我们需要知道，相比较而言， MapReduce 则是 YARN 的一个特例。 YARN 则是 MapReduce 的一个更加通用和高级的框架形式，并在其上增加了更多的功能。例如通过加载分布式执行脚本可以在集群节点上执行独立的脚本任务，并且更多...

2018-05-29 21:30:34 1647

原创 Scala 从入门到入土之 Scala Actor

1, 什么是Scala Actor Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息（message）的发送、接收来实现多线程的。使用Scala能够更容易地实现多线程应用的开发2, 传统java并发编程与Scala Actor编程的区别对于Java，我们都知道它的多线程实现需要对共享资源（变量、对象等）使用synch...

2018-05-29 19:27:33 1784 1

空空如也

空空如也