qq_33301310的博客

原创 Kubernetes入门 · Centos7安装Minikube

1. 准备一台centos7操作系统1. 新安装的配置IP、关闭防火墙2. # 配置阿里云 docker hub 镜像 export REGISTRY_MIRROR=https://registry.cn-hangzhou.aliyuncs.com curl -sSL https://kuboard.cn/install-script/v1.19.x/install_kubelet.sh | sh -s 1.19.23. 安装minikube curl -Lo minikube https://

原创 spring源码解读-2

1

原创 zookeeper

Zookeeper概念Zookeeper 是一个分布式协调服务，可用于服务发现，分布式锁，分布式领导选举，配置管理等。Zookeeper 提供了一个类似于 Linux 文件系统的树形结构（可认为是轻量级的内存文件系统，但只适合存少量信息，完全不适合存储大量文件或者大文件），同时提供了对于每个节点的监控与通知机制。Zookeeper角色Zookeeper 集群是一个基于主从复制的高可用集群，每个服务器承担如下三种角色中的一种。Leader一个Zookeeper集群同一时间只会有一个实

原创 Docker安装Centos7，并配置ssh登录

dicker pull centos:7docker run --privileged -itd -p 5001:22 --name k8smaster1 8652b9f0cb4c /usr/sbin/initdocker run --privileged -itd -p 5002:22 --name k8snode1 8652b9f0cb4c /usr/sbin/initdocker run --privileged -itd -p 5003:22 --name k8snode2 865

原创 IDEA 启动Tomcat卡死，Artifact is deployed successfully，但是项目无法访问，Tomcat日志乱码

参照图中选好对应的TomcatDeployment 选择好相应的warServer菜单 URL 和 Deployment菜单中 Application context 路径一致

原创 SparkSQL读写Hive整合

修改hive-site.xml <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>location of default database for the warehouse</description> </property>

原创 Flume01

Flume架构组成Flume 负载均衡Flume Agent内部原理启动 Flume 监听./bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,consoletelnet localhost 44444

原创 Hive02

外部表创建create external table t_stu (id int, name string,age int, sex string) ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',' location '/stu';关键字：external、location外部表与内部表的区别：内部表 删除表 元数据和数据丢失、外部表 删除表 只删除元数据 数据依然存在Likecreate table t_t2_copy like t_t2.

原创 Hive01

Hive 启动0. cp hive-env.sh.template hive-env.sh1. vim hive-env.sh2. export HADOOP_HOME=/data/module/hadoop-2.7.23. :wq4. vim hive-site.xml5. <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> &l.

原创 Windows7下Hadoop2.7.2环境配置

准备工作hadoop-2.7.2.tar.gz链接：https://pan.baidu.com/s/1eFRwGeutjWBE-ZD1C_zYqg提取码：uo7bhadooponwindows-master.zip链接：https://pan.baidu.com/s/1JxlWVpTfH9SZJFSsGjKNkA提取码：25ko操作解压 hadoop-2.7.2.tar.gz修改配置文件hadoop-env.cmd路径：hadoop-2.7.2\etc\hado

原创 解决CentOS6 完整克隆后网卡不能使用的问题

第一步关闭需要克隆的虚拟机选中需要克隆的vm - 右击 - 管理 - 完整克隆第二步开机修改配置文件第三步vim /etc/udev/rules.d/70-persistent-net.rules把 原有的 eth0 删除把 eth1修改成eth0复制ATTR{address}属性的内容第四步vim /etc/sysconfig/network-scripts/ifcfg-eth0复制ATTR{address}属性的内容 替换 HWADDR

原创 HDFS优缺点

优点高容错性数据自动保存多个副本。它通过增加副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复。适合处理大数据数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；文件规模：能够处理百万规模以上的文件数量，数量相当之大。可构建在廉价机器上，通过多副本机制，提高可靠性。缺点不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。无法高效的对大量小文件进行存储。存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不

原创 hadoop学习03

hadoop学习笔记 - HDFS - 完全分布式模式Hadoop完全分布式模式结构hadoop01hadoop02hadoop03HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNodeYARNNodeManagerResourceManager NodeManagerNodeManager准备工作：3台服务器Jdk环境SSH配置Hadoop安装配置hadoop01的core.

原创 hadoop学习02

hadoop学习笔记 - HDFS - 伪分布式模式准备工作伪分布式 当然就一台机器哈，后面继续学习，多台机器虚拟机提前配置好JDK 1.8.x （jdk配置就不多说了）不会的给个传送门：https://www.jianshu.com/p/8cbea338b4ef下载hadoop包，传送门：https://archive.apache.org/dist/hadoop/common/这里使用的是：hadoop-hadoop-2.10.0.tar.gz为案例 版本选在根据自己的需求来。.

原创 hadoop学习01

Hadoop的优势（4高）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。高效性：在MapReduce的思想下，Hadoop的并行工作的，比加快任务处理速度。高容错性：能够自动将失败的任务重新分配。Hadoop组成HDFS架构概述NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所

原创 SparkSQL扩展读写

Reader @Test def reader(): Unit ={ val spark = SparkSession.builder() .appName("reader_test") .master("local[*]") .getOrCreate() val reader: DataFrameReader = spark.read reader .format("csv") .option("hea

原创 spring源码解读-1

Spring 的整体架构源码环境搭建工具 使用的是 IDEA这里分支 选择是 5.0.xspring-framework Git地址1 . git clone 后，修改 build.gradlerepositories { gradlePluginPortal() maven { url "https://maven.aliyun.com/repository/spring-plugin" } maven{ url "https://maven.aliyun.com/nex

原创 Spark Dataset & DataFrame

DatasetDataset是什么1 . Dataset是结构化数据2 . Dataset能够使用类似SQL这样声明式结构化查询语句的形式来查询3 . Dataset是一个强类型，并且类型安全的数据容器，并且提供了结构化查询API和类似RDD一样的命令式APIDataFrameDataFrame是什么1 . DataFrame类似一张关系型数据库2 . 在DataFrame上操作，非常类似SQL语句3 . DataFrame中有行和列，以及ScheamDataFrame如何创建

原创 Spark原理-物理执行图

物理图的意义谁来计算RDD呢TaskTask如何设计1 . 第一个想法，每个RDD 的每个分区都对应一个Task2 . 第二个想法，用一个Task计算所有RDD 中对应的分区3 . 这两个想法都有问题，分阶段，采用数据流动的模型来进行设计阶段怎么划分阶段 + Task 就是执行RDD 的执行者总结数据是如何流动的数据计算发生在需要数据的地方，FinalRDD第一个获取数据的 RDD 是 firstRDD小案例val firstRdd = sc.parall

原创 Spark原理-逻辑执行图

原创 Spark原理-集群环境

原创 Dockerfile

什么是DockerfileDockerfile是由一系列命令和参数构成的脚本，这些命令应用于基础镜像并最终创建一个新的镜像。1、对于开发人员：可以为开发团队提供一个完全一致的开发环境；2、对于测试人员：可以直接拿开发时所构建的镜像或者通过Dockerfile文件构建一个新的镜像开始工作了；3、对于运维人员：在部署时，可以实现应用的无缝移植。常用命令命令作用FROM image_name:tag定义了使用哪个基础镜像启动构建流程MAINTAINER user_name

原创 Docker私有仓库

私有仓库搭建与配置（1）拉取私有仓库镜像（此步省略）docker pull registry（2）启动私有仓库容器docker run -di --name=registry -p 5000:5000 registry（3）打开浏览器 输入地址http://192.168.184.141:5000/v2/_catalog看到{"repositories":[]} 表示私有仓库搭建成功并且内容为空（4）修改daemon.jsonvi /etc/docker/daemon.json添加以下

原创 持续集成与容器管理 - DockerMaven插件

介绍个Docker 可视化图形工具Portainer官方站点：https://www.portainer.io/官方安装说明：https://www.portainer.io/installation/用浏览器访问：http://localhost:9000.docker pull portainer/portainerdocker run -d -p 9000:9000 --restart=always -v /var/run/docker.sock:/var/run/docker.sock.

原创 迁移与备份

容器保存为镜像我们可以通过以下命令将容器保存为镜像docker commit mynginx mynginx_i镜像备份我们可以通过以下命令将镜像保存为tar 文件docker save -o mynginx.tar mynginx_i镜像恢复与迁移首先我们先删除掉mynginx_img镜像 然后执行此命令进行恢复docker load -i mynginx.tar-i 输入的文件执行后再次查看镜像，可以看到镜像已经恢复...

原创 应用部署

MySQL部署（1）拉取mysql镜像docker pull centos/mysql-57-centos7（2）创建容器docker run -di --name=tensquare_mysql -p 33306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql-p 代表端口映射，格式为 宿主机映射端口:容器运行端口-e 代表添加环境变量 MYSQL_ROOT_PASSWORD 是root用户的登陆密码（3）远程登录mysql连接宿主机的IP ,

转载 常用命令

镜像相关命令查看镜像docker imagesREPOSITORY：镜像名称TAG：镜像标签IMAGE ID：镜像IDCREATED：镜像的创建日期（不是获取该镜像的日期）SIZE：镜像大小这些镜像都是存储在Docker宿主机的/var/lib/docker目录下搜索镜像如果你需要从网络中查找需要的镜像，可以通过以下命令搜索docker search 镜像名称NAME：仓库名称DESCRIPTION：镜像描述STARS：用户评价，反应一个镜像的受欢迎程度OFFICIAL：是

原创 Docker安装与启动

安装DockerDocker官方建议在Ubuntu中安装，因为Docker是基于Ubuntu发布的，而且一般Docker出现的问题Ubuntu是最先更新或者打补丁的。在很多版本的CentOS中是不支持更新最新的一些补丁包的。（1）yum 包更新到最新sudo yum update（2）安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的sudo yum install -y yum-utils device-mapp

原创 Docker简介

Docker的思想来自于集装箱，集装箱解决了什么问题？在一艘大船上，可以把货物规整的摆放起来。并且各种各样的货物被集装箱标准化了，集装箱和集装箱之间不会互相影响。那么我就不需要专门运送水果的船和专门运送化学品的船了。只要这些货物在集装箱里封装的好好的，那我就可以用一艘大船把他们都运走。docker就是类似的理念。现在都流行云计算了，云计算就好比大货轮。docker就是集装箱。

原创 Checkpoint的作用

原创 RDD-缓存

/** * 统计访问次数最多的ip * None 0.244744 s * cache 0.126583 s * persist 0.132369 s * * cache 底层 调用的 是 persist * persist 默认的 缓存级别是 StorageLevel.MEMORY_ONLY */ @Test def prepare(): Unit = { val resouce: RDD[String] = sc.te..

原创 Spark-算子-Active

reduce /** * 算出总价 * 注意点： * 1. 函数中的curr参数，并不是value，而是一整条数据 * 2. reduce 整体上的结果，只有一个 */ @Test def reduce(): Unit = { val tuple: (String, Double) = sc.parallelize(Seq(("手机", 10.0), ("手机", 15.0), ("电脑", 20.0))) .reduce((curr, agg.

原创 SparkCore扩展-深入了解RDD

案例：根据log文件，分析IP请求的次数并降序排序RDD五大属性

原创 Spark-算子-transerformation

Map[一对一] @Test def mapTest: Unit ={ val array: Array[Int] = sc.parallelize(Seq(1, 2, 3)).map(item => item + 1).collect() array.foreach(e => println(e)) }flatMap[一对多] @Test def flatMapTest: Unit = { val array: Array[String] = s

原创 RDD是什么

###基本操作wordcount.txt文件hadoop lizeminlizemin hadooplzm hadoopbin/spark-shell 操作命令val rdd1 = sc.textFile("file:///export/data/wordcount.txt")val rdd2 = rdd1.flatMap(item=> item.split(" "))val rdd3 = rdd2.map(item => (item,1))val rdd4 =

原创 spark集群

准备工作https://archive.apache.org/dist/spark/jdk-8u251-linux-x64.tar.gz （自行下载）服务器三台192.168.41.12192.168.41.13192.168.41.14配置服务器之间的 hostname，ssh 免密登录hostname 在 /etc/hostname 文件中，使用vim /etc/hostname即可服务器别名配置在 /etc/hosts文件中，使用vim /etc/hosts即可现在检查

原创 zk集群配置

准备工作3台虚拟机zk包 自己官网下载 https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz解压下载的zk包tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/module/-C 是指定解压目录 - 根据个人目录可随意更改修改配置文件进入 zookeeper-3.4.14/conf 目录cp zoo_sample.cfg zoo

原创 kafka

###1. 先到官网下载kafka链接地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/2.4.1/kafka_2.13-2.4.1.tgz###2. tar命令解压包[root@localhost kafka_2.13-2.4.1]# ll总用量 56drwxr-xr-x. 3 root root 4096 3月 3 08:35 bin #执行脚本drwxr-xr-x. 2 root root 4096 4月

原创 zk单机启动

1. 这里用的是最新版本的zookeeper3.6.0 -> http://zookeeper.apache.org/releases.html#download1. 首先解压tar -zxf apache-zookeeper-3.6.0-bin.tar.gz2. 修改conf目录cp zoo_sample.cfg zoo.cfgvim zoo.cfg # The number of milliseconds of each tick# 每个刻度的毫秒数tickTime=2000

原创 OpenResty + Lua + Rdies 实现动态封禁 IP

一、准备工作下载openresty -> http://openresty.org/cn/download.html下载redis（这里测试-用单机redis）->http://www.redis.cn/download.html二、下载openresty1. 下载wget https://openresty.org/download/openresty-1.15.8.2.tar.gz2. 解压tar -zxf openresty-1.15.8.2.tar.gz三、安装