weixin_45548774的博客

原创 #Windows通过IDEA编写程序自动加手动上传到docker搭建的spark集群上运行加简单的RDD编程！！！！

参考大佬文章https://blog.csdn.net/weixin_43622131/article/details/110565692https://blog.csdn.net/weixin_43622131/article/details/110621405说在前面以下实验过程都是在使用docker搭建好spark集群的前提条件下进行，如果你的spark集群还没有搭建成功，可以参考我的上一篇博客https://blog.csdn.net/weixin_45548774/article/d

原创 创建一个Vue项目

原创 flink计算热门商品

在上一篇博客的基础上新建一个类HotItems，结构如下：类中代码如下：package myflink;/* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding co

原创 从零构建第一个 Apache Flink 应用

将程序打包上传到集群后运行终端启动 netcat ，并随便输入一下字符作为输入流：在Web UI中查看运行结果在这里插入图片描述

原创 docker下Flink安装

下载flink进入master节点的opt目录wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.11.tgz解压tar -zvxf flink-1.11.2-bin-scala_2.11.tgz配置Flink在master节点下进入到conf目录下，找到flink-conf.yamlvim flink-conf.yaml修改jobmanager.

原创 解决docker和Windows不能同时使用的问题

bcdedit /set hypervisorlaunchtype off 打开dockerbcdedit /set hypervisorlaunchtype auto 关闭docker

原创 使用python计算两张图片的dice指数

使用python计算两张图片的dice指数import cv2import osimport numpy as npdef dice(x,y): s2 = cv2.imread(x, 0)# 模板 row, col = s2.shape[0], s2.shape[1] d = [] s1 = cv2.imread(y, 0) s = [] for r in range(row - 10): for c in range(col

原创 Flume安装，Flume推送消息给Spark Streaming，Spark Streaming收到消息后进行处理

参考文章http://dblab.xmu.edu.cn/blog/1102/http://dblab.xmu.edu.cn/blog/1357-2/一：安装flumeflume下载地址： flume下载官网1.解压安装包 sudo tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local sudo mv ./apache-flume-1.7.0-bin ./flume sudo chown -R hadoop:hadoop ./flume

原创 windows 10专业版 基于docker搭建spark

参考大佬文章：https://blog.csdn.net/qq_43034505/article/details/109975833实验目的（1）掌握在docker的安装方法；（2）熟悉docker基本命令；（3）基于Docker创建spark集群实验平台操作系统：Windows10专业版spark版本：2.4.7Hadoop版本：2.7.4实验内容和要求Docker环境的安装由于我的是Windows10专业版，所以直接进行下载后安装。安装后注册自己的账号。下载地址：链接：h