- 博客(70)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 IDEA 开发spring cloud maven 依赖包标红报错omitted for duplicate
spring cloud环境问题解决
2022-06-29 15:40:18
1389
转载 缓存IO和直接IO
I/O：输入/输出(Input/Output)，分为IO设备和IO接口两个部分。在POSIX兼容的系统上，例如Linux系统，I/O操作可以有多种方式，比如DIO(Direct I/O)，AIO(Asynchronous I/O， 异步I/O)，Memory-Mapped I/O(内存映射I/O)等，不同的I/O方式有不同的实现方式和性能，在不同的应用中可以按情况选择不同的I/O方式。缓存io缓存I/O又被称作标准I/O，大多数文件系统的默认I/O操作都是缓存I/O。在Linux的缓存I/O
2022-04-08 17:29:23
690
转载 什么是WebSocket，它与HTTP有何不同
今天翻译一篇关于HTTP和WebSocket的文章。HTTP和WebSocket都是客户端-服务器通信中使用的通信协议。文章用几个例子解释了两者的不同以及分别适用在什么应用场景。有些容易混淆的概念（比如说HTTP长连接）和待补充的概念我用斜体字注解到了文章中。作者：GeeksforGeeks来源：GeeksforGeeks原文链接：https://www.geeksforgeeks.org/what-is-web-socket-and-how-it-is-different-from-the-htt
2022-04-08 14:11:40
478
原创 SuperSet 查询Druid.io 时区转换查询
SELECT FLOOR(TIMESTAMPADD(HOUR, 8, __time) TO DAY) AS "__timestamp", "room_id" AS "room_id", "game_type" AS "game_type", "game_mode" AS "game_mode", TIME_FORMAT(MILLIS_TO_TIMESTAMP(MIN(start_time_min)*1000), 'yyyy-MM-dd HH:mm:s.
2022-03-31 10:26:33
380
原创 Redash 查询 druid.io 时区转换
select dms1, event, SUM("count") AS pvFROM "apprizhi-app_statistic"WHERE TIMESTAMPADD(HOUR, 8, __time) >= TIME_PARSE('{{ start_date }}T00:00:00') AND TIMESTAMPADD(HOUR, 8, __time) < TIME_PARSE('{{ end_date }}T00:00:00') AND appkey='.
2022-03-31 10:04:00
435
原创 hive中控制窗口范围rows between的使用
1.rows between的作用在使用hsql完成一些业务需求的时候,我们经常会用到窗口函数,某些场景下会涉及到需要控制窗口函数的范围来满足业务需求,这个时候就需要用到rowsbetween了,使用rows between可以根据自己的需求任意的控制窗口函数的范围。2.rows between的使用首先我们有一张如下的数据表sid day_time sale 101 2020-01-03 10 102 2020-01-04 20 103
2022-03-29 15:03:32
1902
1
转载 人际交往50规律（转）
受欢迎的人一般都是活泼开朗，多才多艺，人群中比较亮眼那种。而不是非得讨好每个人，才能人缘好。 人际交往百分之八十都是利益互换。该谈利益的时候，莫谈感情。看清楚这一点，别到头来你把人家当知己，人家把你当ATM。 人们会因为寂寞和不适应新环境而交各种各样的朋友。但是只要你们本性不同，最后的结局必然是渐行渐远。 没有人喜欢被教育。如果不是对真正的朋友，不要轻易提出建议和批评。这样的结果通常是，双方没有得到任何好处，反而积累怨恨。 善于倾听是维持友谊的秘诀。 每个人成长环境，价值观不一样，对生活中大大小小
2021-06-23 17:28:16
161
原创 编译zookeeper3.5.9
源码下载地址https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9.tar.gz编译zookeeper 3.4.x及之前的版本都是用ant编译的，而从3.5.x开始使用maven编译，可以说步入了java项目编译的主流当中，因为zookeeper版本较新，而编译zookeeper的maven版本自然不能太低，我这里使用的是maven3.6.31 下载zookeeper源码
2021-02-02 08:20:29
346
原创 利用lit和typeLit为spark dataframe增加常量列 & udf函数传入额外参数
有时候由于数据处理需要，我们会为dataframe添加一个常量列，本文介绍向dataframe添加常量列的方法。使用typedLit函数通过函数：org.apache.spark.sql.functions.typedLit，可以添加List，Seq和Map类型的常量列。scala> val df1 = sc.parallelize(Seq("Hello", "world")).toDF()df1: org.apache.spark.sql.DataFrame = [value: st
2020-12-17 18:06:38
3863
原创 Hive的时间操作函数
from_unixtime功能: UNIX时间戳转日期函数:语法:from_unixtime(bigintunixtime[,stringformat])返回值:string说明:转化UNIX时间戳（从1970-01-0100:00:00UTC到指定时间的秒数）到当前时区的时间格式举例：selectfrom_unixtime(1323308943,’yyyyMMdd’)fromdual; #结果 20111208unix_timestamp功能：...
2020-12-15 14:40:13
2830
原创 java继承中的重载和重写
重载方法的选择当有多个重名函数，在决定要调用哪个方法的过程中，首先按照参数类型进行匹配，即寻找所有重载方法中最匹配的，然后再看变量的动态类型，进行动态绑定实验代码Base1类public class Base1 { public int multi(int a, int b) { System.out.println("base int int"); return a - b; }}Child1类public class C.
2020-11-06 21:44:39
231
2
原创 java继承的重名和动静态绑定
问题背景在java继承场景中，假如有父类Base，字类child, Child类中有和Base类中重名的静态或者非静态成员(字段，方法等)。假如Base类的引用指向了Child类的示例，则按照如下分析其引用的运行类型1 动态绑定需要等待运行时才能决定运行类型。动态绑定的情况只有一种* 实例非静态方法2 静态绑定编译时期即可决定运行类型* 实例变量* 静态变量* 静态方法* private方法实验代码Base类..
2020-11-06 21:00:28
180
原创 利用Jconsole查看kafka任意Broker的指标
1 进入zookeeper命令窗口[bigdataservice@zk-01 ~]$ zookeeper-client Connecting to localhost:21812020-10-17 16:04:43,189 [myid:] - INFO [main:Environment@100] - Client environment:zookeeper.version=3.4.5-cdh6.2.0--1, built on 03/14/2019 06:15 GMT2020-10-17 1
2020-10-17 16:34:42
400
原创 Kafka中的时间轮调度算法
问题背景在kafka生产者发送数据过程中，源源不断的产生数据，然后发给kafka。我们考虑这样一种场景，数据产生速率时快时慢，我们是不是产生一条发送一条呢？很显然，在高吞吐数据场景下，这样的作法，IO性能不高，没有很好的利用socket缓存。那么是不是一定要积累到一定量再发数据呢？这在低吞吐场景下，数据时效性又没法保证。因此，我们一般结合数据量和时间两个因素来考量数据发送的时机。除了这种场景外，还有许多场景，需要用到定时器，在java传统的Timer定时器，定时比较固定刻板，不够灵活，而且效率也不高。因
2020-10-10 17:23:08
844
原创 Kafka生产者拦截器的使用
拦截器定义package thread;import com.fasterxml.jackson.databind.ObjectMapper;import org.apache.kafka.clients.producer.ProducerInterceptor;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.clients.producer.RecordMetadata;im
2020-10-09 11:08:31
319
原创 kafka集群性能的OS参数
1 文件描述符kafka读写磁盘会频繁的创建并修改文件系统中的文件，主要有下面3类日志文件索引文件元数据文件一个broker需要控制的文件数 近似 等于(一个topic分区大小/ 分区段文件大小 ) * 3 * 所有topic分区数总和比如一个partition(topic 分区) 大小为200G, 一个partition segment(分区段文件)大小为10G, 并且该broker上面有100个topic分区则 该broker上面需要维护的文件个数为 (200 /..
2020-10-08 16:10:59
356
原创 kafka 生产消费性能测试
生产数据压力测试kafka-producer-perf-test.sh 脚本命令的参数为：--topic topic名称，比如test--num-records 总共需要发送的消息数，比如为1000000--record-size 每个记录的字节数，比如1000--throughput 每秒钟发送的最大记录数，比如20000--producer-props bootstrap.servers=kafka-01:9092,kafka-02:9092,kafka-03:9092 发送端的配置信息，
2020-10-08 10:50:37
1727
1
原创 linux下查看磁盘文件系统的多种方式
df -T 只可以查看已经挂载的分区和文件系统类型。[root@hadoop001 ~]# df -T文件系统 类型 1K-块 已用 可用 已用% 挂载点devtmpfs devtmpfs 32852012 0 32852012 0% /devtmpfs tmpfs 32863208 0 3286320
2020-10-08 09:42:35
7726
原创 非递归方法求解二叉树最大深度
题目给定一个二叉树，找出其最大深度。二叉树的深度为根节点到最远叶子节点的最长路径上的节点数。说明:叶子节点是指没有子节点的节点。示例：给定二叉树 [3,9,20,null,null,15,7]， 3 / \ 9 20 / \ 15 7返回它的最大深度3 。分析使用递归，很容易写出该求解算法，思路也简单，就是左子树和右子树高度，取两者最大，然后在此基础上加1即可，如下图所示，差不多1到2行代码。 public in...
2020-09-30 16:08:27
2514
原创 Manacher算法推演及其问答
public class StringUtils2 { public static String preProcess(String s) { int n = s.length(); if (n == 0) { return "^$"; } String ret = "^"; for (int i = 0; i < n; i++) ret += "#" + s.c.
2020-08-25 17:57:50
158
原创 关于技术学习的一些思考
专注不贪多学习的时候，一定要目标明确，不要这里搞一下那里搞一下，当时可能觉得自己涉略很多，关注面挺广。可是到最后发现，大量时间过去后，自己好像啥也没收获到。因为人对一件新事物的接触，遗忘是很快的。学习不可求快，必须专注，务求对所学的东西掌握透彻。遵循学习规律，不草率要做到这一点，应当先从总体上建立宏观认识，然后分模块去学，学的时候必须不断地给自己提问题，自己寻找答案，在遇到坎时，应当先仔细的阅读官方文档，多做实验，等基本功能使用熟透之后，再尝试去看源码，先前学习flink，对各种概念功能还不熟悉
2020-08-16 16:25:18
156
原创 spark stream 的双流join
背景在构建实时数仓过程中，有时需要将两个实时数据源进行关联，生成大宽表数据，这时就不得不用到双流join。场景比如有这样的场景，订单实时数据源，和订单物品实时数据源。订单数据源有订单id，下单时间，订单金额，收货人，收货地址等信息，订单商品数据源有订。单号id，商品名称，商品品牌，商品价格，商品成交价格，商品所属商家。订单和订单商品一般是一对多的关系。生成订单大宽表数据，需要将订单的每一件商品信息都关联上订单详细信息。面临问题我们使用流数据join，不像静态数据那么简单。我们知道静态数据
2020-08-11 21:37:13
1284
原创 Spark SQL 小数据聚合的坑
摘要在spark sql中，聚合操作，如分组求和，join，分组TopN等，是很常见的，有的时候，我们会遇到这样的情况，数据量并不大，但是聚合起来，需要花费不少时间。俗话说，事出反常必有妖，背后一定有某种原因导致了这种情况。本篇文章介绍了其中一种场景，希望能为大家带来启示。场景展现程序代码我们写两个简单的spark socket流程序，使用nc命令手动发数据，然后对收到的数据进行简单的汇总，不涉及任何复杂操作，程序代码如下 val spark = SparkSession.builde
2020-08-07 11:06:28
313
原创 Spark SQL的jdbc数据源如何确定数据分区
摘要本篇文章主要分析spark sql在加载jdbc数据时，比如通过jdbc方式加载MySQL数据时，分区数如何确定，以及每个分区加载的数据范围。通过本篇文章的分析，以后我们在用spark读取jdbc数据时，能够大致明白底层干了什么事情，以及避免一些坑。spark dataframe的jdbc接口 /** * Construct a `DataFrame` representing the database table accessible via JDBC URL * url n
2020-08-05 16:47:36
1753
原创 Flink中的Window操作
概念WindowStream流数据是源源不断，永无止境的，而我们一般将这些流数据按照一定规则划分成一段一段的有限范围，比如按照一定数量切分，或者按照时间窗口切分。这样就将整体的无限，转化成了一段段连续（有时候会有重叠）的有限，这样我们才有能力去处理它，并且也符合实际的需求，比如每5分钟活跃人数，新增人数，转化率等等。Window Functionswindow function 包含了作用于window范围内数据的计算逻辑，主要有ProcessWindowFunction,ReduceFu.
2020-08-04 10:52:02
546
原创 Flink中reduce的4种方式
def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment val path = this.getClass.getResource("/data.txt").getPath val text = env.readTextFile(path).setParallelism(2) val group_ds = text.flatMap(_.spli.
2020-08-03 16:02:12
4101
原创 Flink自定义并行读取Mysql数据
自定义Source概述自定义Source是Flink学习中非常重要的一环，一般实现一个Source，可以继承下面几个类之一SourceFunctionRichSourceFunctionParallelSourceFunctionRichParallelSourceFunction前两个是单并行度，后2个是多并行度，无论是否多并行度，我们一般选择带Rich的SourceFunction, 也就是RichSourceFunction和RichParallelSourceFunction，这
2020-08-03 11:44:38
2533
1
原创 Flink中对keyBy的探究
0 摘要 在Flink实时流数据处理中，经常用到keyBy算子, 虽然能够大致不差的使用它，实现自己的需求。然而这个算子到底做了什么事情，心里一直没有底。这篇文章算是对keyBy算子稍微深入一点的探究。1 Spark中的按key分组操作 对于经常使用spark的同学而言，分组操作数据，那是再熟悉不过。比如groupBy, reduceBy, aggregateBy等一系列算子。基本思路都是指定key之后, 将相同key的元素集合到一个集合里面，形成一个新的集合元素，...
2020-08-01 18:33:17
20487
9
原创 maven工程中的各种路径获取
需求新建maven工程,如下图所示，现在想在BatchJob类中读取resources资源路径下data目录下的wc文件，代码该如何编写呢获取路径代码1 通过BatchJob类class本身 val path2 = this.getClass.getResource("").getPath val path3 = this.getClass.getResource("/").getPath结果path2=/D:/programs/flink/target/class..
2020-07-26 22:08:04
3120
原创 hbase hfile命令用法
数据准备# hbase shell窗口插入数据hbase(main):015:0> put 'rrw_ugrp', 'rk002', 'user_attri:name', 'xiaoming002'Took 0.0112 seconds
2020-07-22 14:40:57
849
原创 Hbase 1.3.6 源码编译
下载源码下载地址：http://hbase.apache.org/downloads.htmlReleasesVersion Release Date Compatibility Report Changes Release Notes Download Notices 2.3.0 2020/07/13 2.2.0 vs 2.3.0 Changes Release Notes src(sha512asc)bin(sha...
2020-07-18 16:29:33
379
原创 数据结构与算法-数组字符串最长公共前缀
题目编写一个函数来查找字符串数组中的最长公共前缀。如果不存在公共前缀，返回空字符串""。示例1:输入: ["flower","flow","flight"]输出: "fl"示例2:输入: ["dog","racecar","car"]输出: ""解释: 输入不存在公共前缀。题解总体思路 以数组第一个字符串为参照，将其从首个字符开始，依次去匹配数组后续的每个字符串对应位置字符，如果每个字符串对应位置字符都匹配，则存下该字符，继续取出第一个...
2020-07-16 14:33:42
221
原创 数据结构与算法-寻找数组的中心索引
题目给定一个整数类型的数组nums，请编写一个能够返回数组“中心索引”的方法。我们是这样定义数组中心索引的：数组中心索引的左侧所有元素相加的和等于右侧所有元素相加的和。如果数组不存在中心索引，那么我们应该返回 -1。如果数组有多个中心索引，那么我们应该返回最靠近左边的那一个。示例1输入：nums = [1, 7, 3, 6, 5, 6]输出：3解释：索引 3 (nums[3] = 6) 的左侧数之和 (1 + 7 + 3 = 11)，与右侧数之和 (5 + 6 = 1...
2020-07-15 17:09:28
165
原创 单链表-交换相邻节点 & 反转链表
定义单链表class MyLinkedList { static class ListNode{ int val; ListNode next; public ListNode(int val,ListNode next){ this.val = val; this.next = next; } } ListNode head,tail; int size
2020-07-14 16:05:13
910
原创 数据结构与算法-python实现任意数字字符串（可含小数）转数字
背景介绍 在上一篇文章里，我们介绍了整数字符串转数字的算法，在本篇文章里，我们更进一步，将任意数字字符串，包括小数，整数形式的字符串转成对应的数值。整数部分我们已经实现了，所以我们着重要解决的是将小数部分的转成对应数值，再结合整数部分，就将一个完整的数字字符串转换成了对应数值小数部分转换思路 在整数部分里，我们得到一个个单字符后，依次将对应位置的字符转换成其对应的数字，然后分别乘以其对应位置的系数(10的次幂), 然后将各部分组合即可。类似地，在处理小数部分时，也是如此，不...
2020-07-10 18:26:31
2635
原创 数据结构与算法-python实现整数字符串转数字（不得直接调用现有的库）
二进制 十进制 十六进制 图形 00100000 32 20 （空格）(␠) 00100001 33 21 ! 00100010 34 22 " 00100011 35 23 # 00100100 36 24 $ 00...
2020-07-10 17:00:03
260
原创 Spark Streaming 消费kafka数据出现No current assignment for partition崩溃
问题概述 我们用spark streaming 消费kafka数据，偶尔会出现该问题，其本质原因是多个进程以相同的kafka group id 并行消费同一个topic导致的，碰到该问题，应首先从迅速下面2个方面排查：多个应用程序使用了相同的kafka group id 去消费同一个topic 一个应用程序，在内部不小心间接地启动了2个消费进程，这2个进程使用了相同的kafka group id 去消费同一个topic前一个好说，比较容易排查，后一个需要仔细排查程序细节，如果预先没有...
2020-07-06 16:08:11
3557
原创 hive 同源多表插入操作
Hive支持多表插入，可以在同一个查询中使用多个insert子句，这样的好处是我们只需要扫描一遍源表就可以生成多个不相交的输出！from test1insert overwrite table test2partition (age)select name,address,school,ageinsert overwrite table test3select name,address多表插入的关键点在于将所要执行查询的表语句 "from 表名"，放在最开头位置...
2020-07-05 12:48:28
1440
原创 HIVE的一些实用技巧
1 设置会话级别的参数# 显示 config 配置的值# 格式set <config>; # 示例set hive.cli.print.current.db# 设置config配置的值 # 格式set <config>=<config_value>;# 设置示例set hive.cli.print.current.db=true; 疑问：调优的时候很多参数是可以调整的， 为什么不配置到全局的里面 (hive-site.xml 文件..
2020-07-04 20:55:41
244
深入理解Java虚拟机JVM高级特性与最佳实践
2013-05-16
最新完整W3CSchool教程
2013-04-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人