- 博客(20)
- 资源 (1)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 pyflink滑动窗口实例
写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者，参考2021-08-19，flink:kafka——>mysql2、flink聚合操作原理介绍，参考2021-08-25，flink窗口函数原理深入滑动窗口：不同于滚动窗口，滑动窗口的窗口可以重叠滑动窗口有两个参数：slide和size。slide.
2021-08-26 16:09:04
822
原创 pyflink 滚动窗口实例
写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者，参考https://blog.csdn.net/qq_22611181/article/details/1199002502、flink聚合操作原理介绍，参考https://blog.csdn.net/qq_22611181/article/details/1199.
2021-08-26 15:08:45
516
原创 flink窗口函数原理深入
写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇Flink SQL支持四种窗口函数，分别是Window聚合：滚动窗口（TUMBLE）、滑动窗口（HOP）、会话窗口（SESSION），OVER聚合：OVER窗口。说到是时间窗口操作，那么涉及到Flink SQL可以基于两种时间属性对数据进行窗口聚合。Event Time:事件时间（数据最原始的创建时间），在给定的数据源中的Schema中，比如我的客流数据一个字段是客流发生时间，那么事件时间就是客流发生该字段。.
2021-08-25 18:07:08
332
原创 pyflink实现实时数据从kafka消费到mysql
写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：实时数据——>kafka——>flink——>mysql1、 实时数据：参考链接，该链接是如何用python写kafka生产者程序2、flink：这里我们直接在本地开发环境Pycharm跑的程序，就不需要安装flink了，感兴趣Linux镜像安装部署flink的可以参考该链接。3、模拟数据为客流数据：客流数据格式为json，其关键key有车站id，车站名，发生时间，设备id.
2021-08-25 09:26:58
2130
原创 python编写kafka生产者实时生产数据
创建topic实例（zk或者bootstrap，注意bootstrap只能在kafka2.2及以上版本才能用，可以用./kafka-topics.sh --help看是否有该参数）zk方式：./kafka-topics.sh --zookeeper tdh09:2181,tdh10:2181,tdh11:2181 --create --topic passenger-flow2 --partitions 1 --replication-factor 2 --config message.timest
2021-08-24 22:48:42
1734
原创 选择排序算法python3实现
在长度为N的无序数组中，第一次遍历n-1个数，找到最小的数值与第一个元素交换；第二次遍历n-2个数，找到最小的数值与第二个元素交换；第三次遍历n-3个数，找到最小的数值与第三个元素交换；…第n-1次遍历，找到最小的数值与第n-1个元素交换，排序完成。classSolution:defselectSort(self,nums:List[int])->List[int]:#遍历次数，每次来将最小的数值放到当次循环最前面...
2021-08-19 22:43:42
79
原创 冒泡排序算法python3实现
基本思想：两个数比较大小，较大的数下沉，较小的数冒起来比较相邻的两个数，如果第二个数小，就交换位置；从后向前两两比较，一直到比较最前两个数据，最终最小数被交换到起始的位置，这样第一个最小数的位置就排好了。继续重复上述过程，直到将所有最小数排好位置。classSolution:defbubble_sort(self,nums:List[int])->List[int]:foriinrange(0,len(nums)-1):...
2021-08-19 22:42:48
121
原创 Linux镜像安装部署flink
1、下载flink安装包https://mirrors.cloud.tencent.com/apache/flink/flink-1.13.2/2、解压进入容器中，新建文件夹专门放flinkmkdir /usr/local/flinkcd /usr/local/flinktar -zxvf flink-1.13.2-bin-scala_2.12.tgz3、启动命令./usr/local/flink/flink-1.13.2/bin/start-cluster.sh.
2021-08-19 22:38:24
514
转载 kafka创建topic及关键参数详解
创建topic时不用全部指定，但是了解能帮助后面对应场景创建合适的topic创建topic实例：./kafka-topics.sh --zookeeper 10.28.3.47:2181,10.28.3.48:2181,10.28.3.50:2181 --create --topic passenger-flow --partitions 1 --replication-factor 2 --config message.timestamp.type=LogAppendTimetopic
2021-08-19 22:36:05
3111
原创 大数据集群6——安装hadoop
1、什么是HadoopHadoop是一种分析和处理大数据的软件平台（包括分布式存储和计算）。Hadoop包括三个核心组成部分，分别是Hbase、MapReduce、HDFS。Hbase：一种分布式数据存储系统，用来处理海量数据的非关系型数据库。MapReduce：MapReduce编程模型，用于大规模数据集（大于1TB）的并行分析计算。HDFS：分布式文件存储系统，用于存储海量数据的专用文件系统。1.1、HDFS架构HDFS采用master/slave架构。一个HDFS集群是
2020-12-30 17:45:14
144
原创 大数据集群5——安装kafka
1、什么是KafkaKafka是一个分布式流处理平台，有以下三种特性：1）可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。2）可以储存流式的记录，并且有较好的容错性。3）可以在流式记录产生时就进行处理。它可以用于两大类别的应用:构造实时流数据管道，它可以在系统或应用之间可靠地获取数据。 (相当于message queue)构建实时流式应用程序，对这些流数据进行转换或者影响。 (就是流处理，通过kafka stream topic和topic之间内部进行变化)
2020-12-06 23:23:06
140
原创 大数据集群4——安装Zookeeper
1、什么是Zookeeper2、Zookeeper安装步骤2.1、环境准备2.2、配置hosts文件2.3、创建对应的目录和文件2.3.1、修改配置文件2.4、启动和测试Zookeeper集群2.5、问题记录
2020-12-05 20:55:50
90
原创 大数据集群3——服务器安装jdk
大数据平台很多组件都是由java程序编写的，所以为了让这些编译好的程序能在你的机器上运行，你得安装JDK（java development kit，java开发者工具）。1、什么是JDKJDK是Java开发者工具包，其中包含了JRE（Java Runtime Enviroment，Java运行环境），一堆Java工具（javav/java/jdb等）和Java基础的类库。其对应关系如下所示。图1、JDK，JRE，JVM关系 ...
2020-11-07 17:24:27
167
原创 大数据集群2——虚拟机之间配置免密登录
在集群中，我们一般所做的设定是集群的服务器之间互相免密登陆通信，不能连接外网或者说由指定的外部服务器连接集群，作为集群与外部交互的桥梁。1.Linux的ssh免密登陆原理1.1什么是sshssh为Secure Shell（安全外壳协议），为建立在应用层基础上的安全协议。ssh最初是UNIX系统上的一个程序，用来远程登陆其他机器，后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补网络中的漏洞。SSH客户端适用于多种平台。几乎所有UNIX平台—包括HP-UX、Linux、AIX、Solaris、
2020-10-27 10:45:42
580
原创 大数据集群1——搭建虚拟机环境（三台虚拟机为例）
1.下载VMVare链接：https://my.vmware.com/cn/web/vmware/downloads/details?downloadGroup=WKST-1600-WIN&productId=1038&rPId=51982下载后有体验版30天，也有输入产品序列号的，我们当然鼓励大家支持正版，视大家情况而定。下载后直接点击安装，如果有多个盘，最好装在非C盘，一步步点击下去就行。2.下载Centos7链接：http://mirrors.aliyun.com/
2020-10-18 20:34:36
1061
原创 熟悉DEBUG调试环境试验
实验目的与要求进一步学习汇编语言基本指令使用方法；2. 学习DEBUG调试工具的基本使用方法；掌握debug调试命令a、u、r、d、t、g等逐条观察程序指令的执行过程，理解指令的功能，理解程序自动、顺序地执行的概念，实践其过程(重点)。实验内容编写、输入一个32位二进制数相加程序
2015-10-12 21:15:40
2493
原创 关于图的邻接表存储建立方式及深度遍历的个人理解以及数据结构7.22的算法
采用codeblock编译器1.头文件：paint.h#ifndef PAINT ///必须要有才能被其他文件所识别#define PAINT#include #include #include using namespace std;///最大值#define INFINITY INF_MAX
2015-05-21 21:20:16
708
1
阿里天池大数据比赛 pakdd2020数据支援一份
2021-10-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人