- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 群友问题-如何通过状态保存消费位置，可以实现ListCheckpointed接口
RichSourceFunction 继承了 AbstractRichFunction， AbstractRichFunction能拿到 runtimeContext，就能访问更新状态。最后群友是 用 ListCheckpointed 也可以，ck的时候记录执行的时间戳，当增量处理数据异常后会调用 restoreState 恢复状态。有个群友说 flinkjob 处理离线的数据，想将增量的 处理数据时间 存储在状态里面， 方便知道处理到哪个时间段的数据了。今天继续帮群友解答问题。
2024-03-11 19:27:38
116
原创 ES 10 - 如何使用Elasticsearch的索引模板(index template)
索引模板: 就是把已经创建好的某个索引的参数设置(settings)和索引映射(mapping)保存下来作为模板, 在创建新索引时, 指定要使用的模板名, 就可以直接重用已经定义好的模板中的设置和映射.
2023-05-28 17:01:10
2525
原创 数据夜话之大数据OLAP数据库概览
当下大数据技术发展如火如荼，各种数据库处理技术层出不穷，可是各种数据库的大致分类清楚吗？能够结合项目数据的业务特点进行选型吗？今天先从OLAP型数据库说起，介绍相关的数据库。OLTP和OLAP分不清？我们通常将数据库分为OLTP和OLAP两大类，先了解一下它们的区别：OLTP (online transaction processing 联机事务处理)，典型代表如 mysql，擅...
2020-12-10 19:35:00
766
原创 Spark实战 - 如何进行选择去重
背景业务上有一份行车轨迹的数据 carRecord.csv 如下：id;carNum;orgId;capTime1;粤A321;0002;20200512 1020102;云A321;0001;20200512 1020103;粤A321;0001;20200512 1030104;云A321;0002;20200512 1030105;粤A321;0003;2020051...
2020-05-13 22:00:00
693
原创 StormDRPC流程解读
Storm 的编程模型是一个有向无环图，模型角度决定了 Storm 的 Spout 接收到外部系统的请求，将请求数据分发给下游的 bolt 进行处理后，spout 并不能得到 bolt 的处理结果并将结果返回给外部请求。所以应用场景中 Storm 对外部系统的调用都是采用回调的方式：接收外部系统的请求，将请求得到的数据发到消息队列中，就立马响应给外部系统。然后 Storm 实时平台...
2020-03-20 17:02:00
209
原创 Curator源码阅读 - ConnectionState的管理与监听
看看Curator框架 为实现对 连接状态ConnectionState的监听，都是怎么构造框架的。后面我们也可以应用到业务的各种监听中。Curator2.13实现接口 ListenerListener接口，给用户实现stateChange()传入新的状态，用户实现对这新的状态要做什么逻辑处理。public interface ConnectionStateListener{ ...
2019-12-27 15:47:13
2132
原创 Storm使用总结
Strom安装Strom启动./zkServer.sh start启动nimbus主节点： nohup bin/storm nimbus >> /dev/null & 启动supervisor从节点： nohup bin/storm supervisor >> /dev/null & 都启动完毕之后，启动strom ui管理界面： bin/sto...
2019-07-26 15:27:00
115
原创 JNI相关使用记录
JNI 内存模型Java应用程序所涉及的内存可以从逻辑上划分为两部分：Heap Memory和Native Memory。Java应用程序都是在Java Runtime Environment（JRE）中运行，而JRE本身就是由Native语言（如：C/C++）编写的程序。（JVM只是JRE的一部分，JVM的内存模型属于另一话题）所以包含关系大致这样：(JRE (JVM (Heap Mem...
2019-07-25 10:21:00
98
原创 Spark实践 -- 性能优化基础
Spark实践 -- 性能优化基础 性能调优相关的原理讲解、经验总结；掌握一整套Spark企业级性能调优解决方案；而不只是简单的一些性能调优技巧。针对写好的spark作业，实施一整套数据倾斜解决方案：实际经验中积累的数据倾斜现象的表现，以及处理后的效果总结。调优前首先要对spark的作业流程清楚：Driver到Executor的结构；...
2019-03-22 10:18:00
297
原创 HDFS系列 -- HDFS预研
HDFS系列 -- HDFS预研 目录1 HDFS概述1.1 HDFS基本特性1.2 HDFS不足之处1.3 HDFS系统架构1.4 HDFS基本组成1.4.1 NameNode1.4.2 DataNode1.4.3 Secondary NameNode2.1 HDFS运行原理2.2 HDFS写数据流程2.3 HDFS读数...
2019-01-25 20:38:00
767
原创 Spark实践 -- 夜出顾客服务分析
Spark实践 -- 夜出顾客服务分析原文连接：https://www.cnblogs.com/stillcoolme/p/10160397.html1 业务需求2 业务实现2.1 第一版 只统计了晚上出现的顾客2.2 第二版 对白天进店了的顾客形成列表然后用于后续过滤2.3 第三版 通过求子集过滤掉白天出现过的所有顾客2.4 第四版 在mapTopair的过程中直接赋...
2018-12-22 11:27:00
120
原创 编译HBase1.0.0-cdh5.4.2版本
1. 编译环境准备Jdk：1.7.0_xMaven ： 3.3.9hbase： cdh5.4.2-release2. 用idea打开项目使用git clone得到HBase源码。打开git：将HBase项目拉取到本地：拉取完毕之后，在idea的命令窗口，使用命令 git checkout cdh5.4.2-release，切换到和生产环境对应的HBase版本。切换完成后项目结...
2018-11-26 08:58:38
293
原创 Java知识系列 -- 反射
原理要想理解 Java 反射，首先要弄清类的加载过程。比如这行代码 Person p = new Person();。我们想要创建一个 Person 对象，并用 p 作为对象的引用。在 Java 虚拟机会先执行类的加载，然后才生成对象（分配内存空间）。在类的加载过程中，类加载器负责把类编译好的 class （字节码）文件加入到内存中，并创建一个 Class 对象，这个对象是类 C...
2018-10-19 20:20:00
99
原创 经验之谈
编程能力对于增加程序的灵活性方面，一个是通过依赖注入的方式，一个是通过配置的方式。配置key value形式的参数，读取成一个map，然后key对应的value是具体的类路径，能实现反射获取相应的实现类。软件设计就是一个不断抽象的过程。 —— 搜索之路写程序的时候就是抽象得到类的过程吧。工程能力开发前先确定好接口文档（请求地址，参数)；开发完成马上测试功能、性能；测试完...
2018-10-14 10:51:00
92
原创 kafka系列 -- 多线程消费者实现
看了一个星期的kafka，然后写了消费Kafka数据的代码。感觉自己还是很不合格。不能随心所欲地操作数据，数据结构没学好，spark的RDD操作没学好。不能很好地组织代码结构，设计模式没学好，面向对象思想理解不够。消费程序特点用队列来存储要消费的数据。用队列来存储要提交的offest，然后处理线程将其给回消费者提交。每个分区开一个处理线程来处理数据，分区与处理器的映射...
2018-10-12 22:22:00
691
原创 kafka系列 -- 基础概念
kafka是一个分布式的、分区化、可复制提交的发布订阅消息系统传统的消息传递方法包括两种：排队：在队列中，一组用户可以从服务器中读取消息，每条消息都发送给其中一个人。发布-订阅：在这个模型中，消息被广播给所有的用户。kafka与传统的消息传递技术相比优势之处在于：快速:单一的Kafka代理可以处理成千上万的客户端，每秒处理数兆字节的读写操作。可伸缩:在一组机器上对数据进行分...
2018-10-12 22:02:00
175
原创 phoenix错误
spark集群与phoenix进行数据请求时报错：2018-06-15 17:13:30,158 INFO - Starting task 15.3 in stage 116.0 (TID 6832, slave3, partition 15,PROCESS_LOCAL, 4309 bytes)2018-06-15 17:13:30,160 INFO - Lost task 1.2...
2018-06-20 09:41:00
1088
原创 乞丐版servlet容器第4篇
6. NIOConnector现在为Server添加NIOConnector，添加之前可以发现我们的代码其实是有问题的。比如现在的代码是无法让服务器支持同时监听多个端口和IP的，如同时监听 127.0.0.1:18080和0.0.0.0:18443现在是无法做到的。因为当期的端口号是Server的属性，并且只有一个，但是端口其实应该是Connector的属性，因为Connector专门...
2018-02-26 10:01:00
100
原创 乞丐版servlet容器第3篇
4 EventListener接口让我们继续看SocketConnector中的acceptConnect方法：@Overrideprotected void acceptConnect() throws ConnectorException { new Thread(() -> { while (true && started) {...
2018-02-22 11:06:00
113
原创 乞丐版servlet容器第2篇
2. 监听端口接收请求上一步中我们已经定义好了Server接口，并进行了多次重构，但是实际上那个Server是没啥毛用的东西。现在要为其添加真正有用的功能。大师说了，饭要一口一口吃，衣服要一件一件脱，那么首先来定个小目标——启动ServerSocket监听请求，不要什么多线程不要什么NIO，先完成最简单的功能。下面还是一步一步来写代码并进行重构优化代码结构。关于Socket和S...
2018-02-22 11:04:00
78
原创 乞丐版servlet容器第1篇
本系列参照pkpk1234大神的BeggarServletContainer，具体请访问：https://github.com/pkpk1234/BeggarServletContainer。一步一步从无到有写一个servlet容器。一开始不会涉及复杂的部分，中间会进行多次重构，直到完成复杂的功能。1. Server接口编写Maven开发环境搭建好了，可以开始写代码了。但是应该...
2018-02-22 11:01:00
88
原创 My97DatePicker选择两个日期范围不超过30天的demo
需求ExtJs下使用My97DatePicker对时间范围不超过30天进行选择。关键点使用全局变量。对选择完的第一个日期进行逻辑判断。（我的逻辑能力还有待加强啊）因为当选择了第一个框范围在超过30天的地方，而因为第二个框已经有默认值是今天了，如果用户不碰第二个框就查询会出现超过一个月的问题。于是在选完第一个框就强制弹出第二个框。（我是不是偷懒了- . -？）代码例子//...
2017-11-30 16:13:00
668
原创 SpringBoot学习之Json数据交互
最近在弄监控主机项目，对javaweb又再努力学习。实际的项目场景中，前后分离几乎是所以项目的标配，全栈的时代的逐渐远去，后端负责业务逻辑处理，前端负责数据展示成了一种固定的开发模式。像thymeleaf这种东西没法实现前后端分离模板难学也只有写java的才用吧，还是用js模板引擎接受json好。1. Json报文SpringBoot 默认会使用 Json 作为响应报文格式。首先，我...
2017-10-16 21:15:00
703
4
原创 创建hbase-indexer出现 0 running
新建hbase-indexer后通过hbase-indexer list-indexers发现SEP subscription ID: null并且0 running processes，如下：INDEXER_NAME + Lifecycle state: ACTIVE + Incremental indexing state: SUBSCRIBE_AND_CONSUME ...
2017-09-27 14:45:00
257
原创 Problem of Uninstall Cloudera: Cannot Add Hdfs and Reported Cannot Find CDH's bigtop-detect-javahome
1. ProblemWe wrote a shell script to uninstall Cloudera Manager(CM) that run in a cluster with 3 linux server. After run the script, we reinstalled the CM normally. But when we established Hdfs ...
2017-08-16 14:42:00
1869
原创 Flink入门使用
完全参考：Flink1.3QuickStart启动本地运行首先找一台安装了hadoop的linux。将安装包解压，到bin目录启动local模式的脚本。tar -zxvf flink-1.3.1-bin-hadoop26-scala_2.11.tgz./start-local.sh运行wordCount例子这个例子从sokect端口中每隔5秒读取其中的输入并进行记数。//...
2017-07-30 13:29:00
132
原创 2016年总结_展望2017年
2016总结1.技能1.1.掌握了java常用框架但是快速开发的能力欠缺。在第二份实习的时候看到别人一天的代码量，真的是叹为观止。1.2.Oracle和ETL在第一份实习的时候做电信方面的项目接触到相关的技术，对于我这小白来说大开眼界，但是可恨自己没有用心钻研！1.3.hadoop和spark今年最后一个月，入门了大数据方面的知识。之前一直觉得这方面很难，现在发现也不过如此...
2017-01-01 13:20:00
138
1
原创 ORA-01034:ORACLE not available问题的解决方法
同时在自己电脑上装了oracle客户端和服务器，上次还能用呢,这次突然用不了.[oracle@R39i oracle]$ sqlplus scott/tigerSQL*Plus: Release 9.2.0.4.0 - Production on Mon Nov 24 11:06:50 2008Copyright (c) 1982, 2002, Oracle Corpor...
2016-07-08 21:04:00
908
原创 如何写复杂的SQL
经常有人问我那非常复杂的sql是怎么写出来的，我一直不知道该怎么回答。 因为虽然我写这样的sql很顺手，可是我却不知道怎么告诉别人怎么写。 很多人将这个问题归结为天赋，我却不这么看，我想这个不是天赋的问题， 任何人经过一定有效率的学习和练习都能完成。有的人可能学习的快点，有的 人可能...
2016-03-17 23:45:00
377
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人