RivenDong

原创 Kubernetes跨版本升级1.19到1.22

文章目录1. 前言2. 从1.19升级到1.202.1 master节点升级2.1.1 使用yum list 查看可升级版本2.1.2 下载安装kubeadm2.1.3 下载安装kubelet & kubectl2.2 升级node节点2.2.1 排空node节点2.2.2 升级kubeadm2.2.3 升级node节点上的kubelet & kubectl2.2.4 取消对节点的保护2.3 验证3. 从1.20升级到1.214. 从1.21升级到1.221. 前言Kubernetes是

原创 matplotlib画图显示中文字体-RuntimeWarning: Glyph xxxxx missing from current font.

文章目录1. 针对问题2. 确定当前环境字体库位置3. 下载SimHei字体4. 修改matplotlibrc配置文件5. 删除matplotlib缓存列表6. 重启python环境，并设置SimHei字体1. 针对问题用matplotlib画图显示中文乱码问题：RuntimeWarning: Glyph 40664 missing from current font. font.set_text(s, 0.0, flags=flags)2. 确定当前环境字体库位置import matpl

原创 云计算学习路线思维导图

原创 x86架构下Kuboard的安装

文章目录1. Kuboard安装2. 获取访问token1. Kuboard安装kubectl apply -f https://kuboard.cn/install-script/kuboard.yamlkubectl apply -f https://addons.kuboard.cn/metrics-server/0.3.7/metrics-server.yamlkubectl get pods -l k8s.kuboard.cn/name=kuboard -n kube-system

原创 LeetCode-344-反转字符串

文章目录题目要求题目示例题解题目要求编写一个函数，其作用是将输入的字符串反转过来。输入字符串以字符数组 char[] 的形式给出。不要给另外的数组分配额外的空间，你必须原地修改输入数组、使用 O(1) 的额外空间解决这一问题。你可以假设数组中的所有字符都是 ASCII 码表中的可打印字符题目示例输入：[“h”,“e”,“l”,“l”,“o”]输出：[“o”,“l”,“l”,“e”,“h”]输入：[“H”,“a”,“n”,“n”,“a”,“h”]输出：[“h”,“a”,“n”,“n”,“a

原创 LeetCode-48-旋转图像-面试题 01.07-旋转矩阵

文章目录题目要求题目示例题解源代码转置 + 行反转题目要求给定一个 n × n 的二维矩阵表示一个图像，将图像顺时针旋转 90 度。必须在原地旋转图像，这意味着你需要直接修改输入的二维矩阵。请不要使用另一个矩阵来旋转图像。题目示例给定 matrix =[[ 5, 1, 9,11],[ 2, 4, 8,10],[13, 3, 6, 7],[15,14,12,16]],原地旋转输入矩阵，使其变为:[[15,13, 2, 5],[14, 3, 4, 1],[12, 6, 8,

原创 LeetCode-36-有效的数独

文章目录1. 题目要求2.题目示例3. 题解4. 源代码1. 题目要求判断一个 9x9 的数独是否有效。只需要根据以下规则，验证已经填入的数字是否有效即可。数字 1-9 在每一行只能出现一次。数字 1-9 在每一列只能出现一次。数字 1-9 在每一个以粗实线分隔的 3x3 宫内只能出现一次。2.题目示例输入:[[“5”,“3”,".",".",“7”,".",".",".","."],[“6”,".",".",“1”,“9”,“5”,".",".","."],[".",“9”,“8”

原创 LeetCode-56-合并区间

文章目录题目要求题目示例题解源代码--对map进行排序原代码--对二位数组排序题目要求给出一个区间的集合，请合并所有重叠的区间题目示例输入: [[1,3],[2,6],[8,10],[15,18]]输出: [[1,6],[8,10],[15,18]]输入: [[1,4],[4,5]]输出: [[1,5]]常出错样例： int [][]nums2 = { {1,4}, {0,4} }; in

原创 LeetCode-35-搜索插入位置

文章目录题目要求题目示例题解源代码题目要求给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。可以假设数组中无重复元素。题目示例输入: [1,3,5,6], 5输出: 2输入: [1,3,5,6], 2输出: 1输入: [1,3,5,6], 0输出: 0题解分三个部分处理：插入位置在最后，插入位置在第一个位置，插入位置在中间。源代码class Solution { public int searchI

原创 LeetCode-724-寻找数组的中心索引

文章目录题目要求题目示例题解源代码官方题解--前缀和法题目要求给定一个整数类型的数组 nums，请编写一个能够返回数组 “中心索引” 的方法。中心索引：数组中心索引的左侧所有元素相加的和等于右侧所有元素相加的和。如果数组不存在中心索引，那么应该返回 -1。如果数组有多个中心索引，那么应该返回最靠近左边的那一个。题目示例输入：nums = [1, 7, 3, 6, 5, 6]输出：3输入：nums = [1, 2, 3]输出：-1题解采用的比较暴力的方法，左右累加判断相等；为了防

原创 LeetCode-1-两数之和

文章目录题目要求题目示例题解源代码--排序法+双指针官方题解--HashMap题目要求给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍。题目示例给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]题解首先对数组进行排序，然后设置首尾指针。

原创 LeetCode-283-移动零

题目要求给定一个数组 nums，编写一个函数将所有 0 移动到数组的末尾，同时保持非零元素的相对顺序。题目示例输入: [0,1,0,3,12]输出: [1,3,12,0,0]题解采用双指针法，i指针控制0元素，j指针控制非0元素。j指到非0元素，则与i指的0元素进行交换，i++,j++;源代码class Solution { public void moveZeroes(int[] nums) { int i=0,j=0; for(;j<nums.

原创 LeetCode-66-加一

文章目录题目要求题目示例题解源代码改进后源代码题目要求给定一个由整数组成的非空数组所表示的非负整数，在该数的基础上加一。最高位数字存放在数组的首位， 数组中每个元素只存储单个数字。你可以假设除了整数 0 之外，这个整数不会以零开头。题目示例输入: [4,3,2,1]输出: [4,3,2,2]解释: 输入数组表示数字 4321。题解遇9变0，其余++，如果第一个元素为0，则前面加上一个1元素。源代码class Solution { public int[] plusOne(

原创 LeetCode-350-两个数组的交集 II

文章目录题目要求题目示例题解源代码官方题解题目要求给定两个数组，编写一个函数来计算它们的交集。题目示例输入：nums1 = [1,2,2,1], nums2 = [2,2]输出：[2,2]输入：nums1 = [4,9,5], nums2 = [9,4,9,8,4]输出：[4,9]输出结果中每个元素出现的次数，应与元素在两个数组中出现次数的最小值一致。我们可以不考虑输出结果的顺序。题解可能是比较暴力的想法吧，一般人都可以想出来。。。源代码 class Solution {

原创 LeetCode-136-只出现一次的数字

文章目录题目要求题目示例题解源代码题目要求给定一个非空整数数组，除了某个元素只出现一次以外，其余每个元素均出现两次。找出那个只出现了一次的元素题目示例输入: [2,2,1]输出: 1题解运用位运算，偶数个的元素异或为0，奇数个为其本身。源代码class Solution { public int singleNumber(int[] nums) { int tmp = nums[0]; for(int i=1;i<nums.length;i

原创 LeetCode-217-存在重复元素

文章目录题目要求题目示例题解源代码--HashSet源代码--快排题目要求给定一个整数数组，判断是否存在重复元素。如果任意一值在数组中出现至少两次，函数返回 true 。如果数组中每个元素都不相同，则返回 false题目示例输入: [1,2,3,1]输出: true题解使用HashSet或者排序后再判断的方法。源代码–HashSetclass Solution { public boolean containsDuplicate(int[] nums) { S

原创 LeetCode-189-旋转数组

文章目录题目要求题目示例题解源代码官方题解题目要求给定一个数组，将数组中的元素向右移动 k 个位置，其中 k 是非负数题目示例输入: [1,2,3,4,5,6,7] 和 k = 3输出: [5,6,7,1,2,3,4]解释:向右旋转 1 步: [7,1,2,3,4,5,6]向右旋转 2 步: [6,7,1,2,3,4,5]向右旋转 3 步: [5,6,7,1,2,3,4]题解从第nums.length - k个元素开始入手，每旋转一次则前面数组往后移动一次。源代码class S

原创 LeetCode-122-买卖股票的最佳时机 II

文章目录题目要求题目示例题解源代码题目要求给定一个数组，它的第 i 个元素是一支给定股票第 i 天的价格。设计一个算法来计算你所能获取的最大利润。你可以尽可能地完成更多的交易（多次买卖一支股票）。注意：不能同时参与多笔交易（你必须在再次购买前出售掉之前的股票）。题目示例输入: [7,1,5,3,6,4]输出: 7解释: 在第 2 天（股票价格 = 1）的时候买入，在第 3 天（股票价格 = 5）的时候卖出, 这笔交易所能获得利润 = 5-1 = 4 。随后，在第 4 天（股票价格 = 3

原创 LeetCode-26-删除排序数组中的重复项

文章目录题目要求题解源代码题目要求给定一个排序数组，需要在原地删除重复出现的元素，使得每个元素只出现一次，返回移除后数组的新长度。不要使用额外的数组空间，你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。题解首先第一个数不变，存入到数组中；然后让数组中前一个数与后一个数进行比较，如果后一个数与前一个数不相等，则存储后一个数。源代码class Solution { public int removeDuplicates(int[] nums) { if(n

原创 Spark Streaming示例（九）

文章目录1. Spark Streaming中的离散流特征2. Spark Streaming的应用场景1. Spark Streaming中的离散流特征2. Spark Streaming的应用场景

原创 基于Zookeeper的Kafka分布式安装部署测试

文章目录1. 实验环境说明2. 下载安装3. 配置部署3.1 配置server.properties文件3.2 创建日志存储目录3.3 将文件发送至集群其他节点3.3 修改集群中其余节点的配置3.4 三个节点配置环境变量4. 启动测试4.1 启动ZooKeeper4.2 启动Kafka4.3 测试4.4 参数说明5. 单节点启动多broker代理1. 实验环境说明关于使用的大数据集群：Hadoop+Spark+Zookeeper高可用集群搭建（一）Hadoop+Spark+Zookeeper高可用集

原创 Spark SQL 操作HDFS的三种方式（八）

文章目录1. 创建测试数据2. IDEA配置3. 实例代码3.1 通过反射方式将RDD转换成DataFrame3.2 通过创建Schema自定义格式的方式3.3 通过读取json文件的方式创建4. 注意1. 创建测试数据vi users1 lhd 130 1997-03-022 gdh 180 1996-08-243 cjb 160 1997-07-164 ymj 98 1997-06-065 syz 99 1996-02-286 hl 120 1995-01-03hadoop fs

原创 Kubernetes如何开启8080非安全端口

文章目录1. 问题描述2. 原因分析3. 解决方案1. 问题描述在k8s上部署项目时，需要访问apiserver，查看pod日志发现如下错误：报错：dail tcp 127.0.0.1:8080: connect: connection refused2. 原因分析kubectl cluster-infokubernetes 1.16 （较新版本的k8s）默认apiserver 只开启了安全端口6443的访问，非安全端口8080方式默认是关闭的。可以通过查看kube-apiserve

原创 Spark SQL 操作Hive（七）

文章目录1. Spark SQL的功能2. Spark SQL操作Hive1. Spark SQL的功能Spark SQL可操作Hive、HBase、MySQL、Oracle、DB2等中的数据提升了数据仓库的计算能力和计算复杂度基于Spark SQL推出的DataFrame可实现数据仓库直接使用机器学习、图计算等复杂算法库深度数据挖掘数据仓库Spark SQL是数据仓库、数据挖掘及其科学计算和分析引擎工具2. Spark SQL操作Hive...

原创 如何高效学习之4S原则

如何才能快速高效的学习，总结为以下4S原则（Speak、Switch、Sports、Sleep）。Speak通过思维导图可以发现，这就是所谓的费曼学习法，首先自己学习获取知识，然后通过给他人讲解来发现知识框架的不足，再补足知识空缺。Switch当学习效率下降时，可以放下手头的工作，去读一本与学习无关的书，在获取多元化思维（查理芒格）的同时可以获取额外的知识，正所谓无用之书可谓有大用，千万不要看手机。Sports坚持每天打卡运动，减肥增肌提高自信心，增强记忆力和集中力，坚持自律的生活。Sle

原创 基于IDEA开发Spark应用程序（六）

文章目录1. 环境配置2. 基于Scala语言的本地应用开发3. 基于Scala语言的集群应用开发4. 基于Java语言的本地应用开发5. 基于Java语言的集群应用开发1. 环境配置IDEA 2019Maven项目pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org

原创 Spark基于YARN调度模式（五）

Spark基于YARN的调度模式由于YARN模式下不需要Mesos模式下的所有Master进程和所有Worker进程，需首先关闭这些进程./stop-slaves.sh./stop-slaves.sh启动YARN集群start-yarn.sh创建测试文件vi wordcount.txthdfs dfs -put wordcount.txt wordcount.txt运行spark-shell在yarn模式下运行spark-shell需要指定–master y

原创 Spark submit 提交任务（四）

文章目录Spark基于应用作业的操作Spark操作的基础命令与开发工具介绍Spark基于应用作业的操作Spark框架可借助spark-submit来提交一个编写好的Job应用到集群，从而完成Spark应用的分析和处理，这通常是生产场景中使用的一种操作方式。spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://master002:7077 ../examples/jars/spark-examples_2.

原创 Spark RDD（三）

文章目录1. 前言2. 数据源3. 调度器4. RDD 编程接口4.1 数据源自于集合的接口4.2 数据源自于RDD的接口4.3 数据源自于DataFrame的接口5. RDD操作5.1 Spark基于命令行的操作5.2 Spark基于应用作业的操作5.3 Spark操作的基础命令与开发工具介绍5.4 Spark基于YARN的调度模式5.5 Spark基于Scala语言的本地应用开发5.6 Spa...

原创 Linux挖矿病毒sysupdate

文章目录1. Aliyun中毒2. 解决方案2.1 删除定时任务2.2 杀死进程清除文件2.3 检查清理3. 补查1. Aliyun中毒好久不用我的Aliyun服务器，发现CPU使用率飙到了179%，发现是因为中了Linux挖矿病毒sysupdate引起的。2. 解决方案使用top已经知道了进程号，接下来看看位置，命令ls -l proc/{进程号}/exels -l /proc/22750/exe进入/tmp下查看2.1 删除定时任务crontab -r2.2 杀死进程清除文件

原创 k8s中的pod如何通过域名访问外网

下面是我的YAML文件的配置，需要pod通过域名访问外网，比较简单的解决方式是添加template.spec.dnsPolicy字段，将其设置为Default，从而使Pod继承所在宿主机的DNS设置。apiVersion: apps/v1kind: Deploymentmetadata: name: url-crawspec: selector: matchLabels: app: url replicas: 1 template: metadata:

原创 在树莓派上安装kubeedge

文章目录1. 环境准备2. 环境安装2.1 安装gcc2.2 安装go语言（>=1.12）3. 下载kubeedge源代码4. 编译运行edge1. 环境准备树莓派（Raspberry Pi 4）Ubuntu 18.04docker 19.03.122. 环境安装2.1 安装gcc首先确保gcc是否安装gcc -version如果没有安装，则安装gccsudo apt install gcc2.2 安装go语言（>=1.12）到Go官网下载Go安装包，下载地址：h

原创 X86架构下交叉编译arm64源代码

文章目录1. 简介2. 环境3. 交叉编译器安装（x86服务器）3.1 安装标准的C开发环境3.2 在/usr/local 下建立名为ARM-toolchain的文件夹3.3 下载交叉编译器3.4 配置环境变量3.5 环境变量生效与测试1. 简介交叉编译，简单地说，就是在一个平台上生成另一个平台上的可执行代码。本指南主要内容为在非ARM 架构服务器环境下搭建 ARM 的 GCC 编译环境，编译基于 ARM 架构的应用软件。交叉编译工具链是为了编译、链接、处理和调试跨平台体系结构的程序代码。除了体系结构相

原创 树莓派（Raspberry Pi 4）Ubuntu 18.04 安装docker

文章目录1. 环境准备2. 基于Ubuntu18.04安装docker2.1 测试网络环境2.2 卸载老版本的docker2.3 安装依赖2.4 添加GPG key2.5 添加源2.6 安装docker2.7 验证3. 坑1. 环境准备基于树莓派（Raspberry Pi 4）Ubuntu 18.042. 基于Ubuntu18.04安装docker2.1 测试网络环境如果不能ping通，则说明当前设备不能访问外网，需要修改网络配置文件，比如说：网关地址、ip地址等。2.2 卸载老版本的do

原创 树莓派（Raspberry Pi 4）系统安装

文章目录1. 设备准备2. 刻录SD卡1. 设备准备2. 刻录SD卡下载官方刻录软件SD卡刻录镜像，根据自己的操作系统进行选择：运行imager.exe程序安装，下一步根据自身情况选择系统：点击write进行系统刻录：...

原创 基于Miniconda3安装Tensorflow

文章目录1. 下载Miniconda32. 安装完成后进行换源3. 创建Tensorflow环境3.1 创建一个虚拟环境3.2 激活创建的环境3.3 安装tensorflow4. 使用Pycharm设置tensorflow环境1. 下载Miniconda3Miniconda3下载地址2. 安装完成后进行换源使用管理员权限打开CMD窗口conda config --set show_channel_urls yes修改.condarc文件，将其内容更改为：channels: - defau

原创 Flink流处理和批处理样例

文章目录1. Flink开发环境2. Flink流处理案例3. Flink批处理案例1. Flink开发环境推荐使用IntelliJ IDEA编译器，创建Maven项目，在这里给出Java语言的Maven配置：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/...

原创 Flink DataStream常用API

文章目录1. Flink API的抽象级别分析2. Flink DataStream常用API1. Flink API的抽象级别分析Flink中提供了4种不同层次的API：低级API：提供了对时间和状态的细粒度控制，简洁性和易用性较差，主要应用在对一些复杂事件的处理逻辑上。核心API：主要提供了针对流数据和离线数据的处理，对低级API进行了一些封装，提供了filter、sum、max、m...

原创 Flink on Yarn集群

文章目录1. 简介2. 基于Yarn的集群部署2.1 第1种模式2.2 第2种模式1. 简介Flink on Yarn模式的原理是依靠Yarn来调度Flink任务，这种模式可以充分的利用集群资源，提高集群机器的利用率。Flink on Yarn模式主要分为如下两种：第1种模式：在Yarn中提前初始化一个Flink集群（称为Flink yarn-session），开辟指定的资源，以后的Fli...

原创 Flink 1.10.0 分布式高可用集群搭建

文章目录1. 环境准备2. 搭建步骤1. 环境准备2. 搭建步骤hadoop依赖jar包:https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.6.5-10.0/