- 博客(212)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 K8S(14)监控实战-grafana出图_alert告警
k8s监控实战-grafana出图_alert告警目录k8s监控实战-grafana出图_alert告警1 使用炫酷的grafana出图1.1 部署grafana1.1.1 准备镜像1.1.2 准备rbac资源清单1.1.3 准备dp资源清单1.1.4 准备svc资源清单1.1.5 准备ingress资源清单1.1.6 域名解析1.1.7 应用资源配置清单1.2 使用grafana出图1.2.1 浏览器访问验证1.2.2 进入容器安装插件1.2.3 配置数据源1.2.4 添加K8S集群信息1.2...
2020-09-01 12:50:19
1098
转载 K8S(13)监控实战-部署prometheus
k8s监控实战-部署prometheus目录k8s监控实战-部署prometheus1 prometheus前言相关1.1 Prometheus的特点1.2 基本原理1.2.1 原理说明1.2.2 架构图:1.2.3 三大套件1.2.4 架构服务过程1.2.5 常用的exporter2 部署4个exporter2.1 部署kube-state-metrics2.1.1 准备docker镜像2.1.2 准备rbac资源清单2.1.3 准备Dp资源清单2.1.4 应用资源配置清单2.2 部署node...
2020-08-31 09:07:06
801
转载 K8S(12)配置中心实战-多环境交付apollo三组件
k8s配置中心实战-多环境交付apollo三组件目录k8s配置中心实战-多环境交付apollo三组件1.环境准备工作1.1 zk环境拆分1.2 namespace分环境1.3 数据库拆分1.3.1 修改初始化脚本并导入1.3.2 修改数据库中eureka地址1.4 变动原有资源配置启动1.4.1 修改portal的cm资源配置清单1.4.2 任意节点应用修改2 部署新环境的APOLLO服务2.1 先创建出所需目录和文件2.2 部署test环境的configservice2.2.1 修改conf...
2020-08-31 09:06:07
569
转载 K8S(11)配置中心实战-单环境交付apollo三组件
k8s配置中心实战-交付apollo三组件目录k8s配置中心实战-交付apollo三组件1 apollo简单说明1.1 apollo最简架构图：1.2 apollo组件部署关系2 为appllo准备数据库2.1 下载安装mysql2.1.1 yum安装mysql2.1.2 创建简单配置文件2.1.2 启动mysql并初始设置3 初始化appllo数据库3.1 configdb数据库3.1.1下载脚本并执行：3.1.2 授权并修改初始数据：3.1.3 添加config域名解析：3.2 portal...
2020-08-31 09:05:09
446
转载 K8S(10)配置中心实战-configmap资源
k8s配置中心实战-configmap资源目录k8s配置中心实战-configmap资源0 configmap前置说明0.1.1 configmap和secret0.1.2 怎么使用configmap0.1.3 更新configmap配置的方法1 configmap使用准备1.1 清理资源1.2 拆分zk集群1.3 创建dubbo-monitor资源清单1.3.1 创建comfigmap清单1.3.2 修改deploy清单内容1.4 创建资源并检查1.4.1 应用资源配置清单1.4.2 dash...
2020-08-31 09:03:56
543
转载 K8S(09)交付实战-通过流水线构建dubbo服务
k8s交付实战-流水线构建dubbo服务目录k8s交付实战-流水线构建dubbo服务1 jenkins流水线准备工作1.1 参数构建要点1.2 创建流水线1.2.1 创建流水线1.2.2 添加10个构建参数1.2.3 添加完成效果如下:1.2.4 添加pipiline代码1.3 用流水线完成dubbo-service的构建1.3.1 选择参数化构建1.3.2 填写完成效果如下1.3.3 执行构建并检查2 交付dubbo-service到k8s2.1 准备资源清单2.1.1 创建depeloy清单...
2020-08-27 15:16:58
473
1
转载 K8S(08)交付实战-交付jenkins到k8s集群
k8s交付实战-交付jenkins到k8s集群目录k8s交付实战-交付jenkins到k8s集群1 准备jenkins镜像1.1 下载官方镜像1.2 修改官方镜像1.2.1 创建目录1.2.2 创建dockerfile1.2.3 准备dockerfile所需文件1.2.4 harbor中创建私有仓库infra1.2.5 构建自定义的jenkins镜像2 准备jenkins运行环境2.1 专有名称空间和secret资源2.1.1 创建专有namespace2.1.2 创建访问harbor的secr...
2020-08-25 15:08:57
444
转载 K8S(07)交付实战-架构说明并准备zk集群
k8s交付实战-架构说明并准备zk集群目录k8s交付实战-架构说明并准备zk集群1 交付的服务架构图：1.1 架构图解1.2 交付说明:2 部署ZK集群2.1 二进制安装JDK2.1.1 解压jdk2.1.2 写入环境变量2.2 二进制安装zk2.2.1 下载zookeeper2.2.2 创建zk配置文件：2.2.3 创建集群配置2.2.4 修改dns解析2.3 启动zk集群2.3.1 启动zookeeper2.3.2 检查zk启动情况2.3.3 检查zk集群情况3 准备java运行底包3.1 ...
2020-08-25 09:15:19
364
转载 K8S(05)核心插件-ingress(服务暴露)控制器-traefik
K8S核心插件-ingress(服务暴露)控制器-traefik1 K8S两种服务暴露方法前面通过coredns在k8s集群内部做了serviceNAME和serviceIP之间的自动映射,使得不需要记录service的IP地址,只需要通过serviceNAME就能访问POD但是在K8S集群外部,显然是不能通过serviceNAME或serviceIP来解析服务的要在K8S集群外部来访问集群内部的资源,需要用到服务暴露功能1.1 K8S常用的两种服务暴露方法使用NodePort型的...
2020-08-21 10:59:37
578
转载 K8S(04)核心插件-coredns服务
K8S核心插件-coredns服务[TOC]1 coredns用途coredns github地址coredns都做了什么：Kubernetes内部域名解析原理、弊端及优化方式coredns在K8S中的用途,主要是用作服务发现，也就是服务(应用)之间相互定位的过程。1.1 为什么需要服务发现在K8S集群中，POD有以下特性：服务动态性强容器在k8s中迁移会导致POD的IP地址变化更新发布频繁版本迭代快，新旧POD的IP地址会不同支持自动伸缩大促或流量高峰需要动态伸缩，I...
2020-08-21 10:58:40
1082
转载 K8S(03)核心插件-Flannel网络插件
系列文章说明本系列文章,可以基本算是 老男孩2019年王硕的K8S周末班课程 笔记,根据视频来看本笔记最好,否则有些地方会看不明白需要视频可以联系我K8S核心网络插件Flannel目录系列文章说明K8S核心网络插件Flannel1 flannel功能概述1.1 flannel运转流程1.2 flannel的网络模型1.2.1 flannel支持3种网络模型1.2.2 实际工作中的模型选择2. 部署flannel插件2.1 在etcd中写入网络信息2.2 部署准备2.2.1 下载软件2.2....
2020-08-21 10:57:23
703
转载 K8S(02)管理核心资源的三种基本方法
管理k8s核心资源的三种基本方法：目录系列文章说明管理k8s核心资源的三种基本方法：1 方法分类2 kubectl命令行工具2.0 增加kubectl自动补全2.1 get 查2.1.1 查看名称空间namespace2.1.2 查看namespace中的资源2.1.3 -o yaml查看资源配置清单详细信息2.2 创建删除名称空间2.3 管理POD控制器和POD2.4 service资源管理2.4.1 创建service资源2.4.2 扩容POD看service怎么调度2.5 explain查看属性的
2020-08-21 10:56:13
611
转载 K8S(01)二进制部署实践-1.15.5
目录系列文章说明1 部署架构1.1 架构图1.2 安装方式选择2 部署准备2.1 准备工作2.2 部署DNS服务bind92.2.1 安装配置DNS服务2.2.2 增加自定义域和对于配置2.2.3 启动并验证DNS服务2.2.4 所有主机修改网络配置2.3 自签发证书环境准备2.3.1 下载安装cfssl2.3.2 生成ca证书文件2.3.3 生成ca证书2.4 docker环境准备2.4.1 安装并配置docker2.4.2 启动docker2.5 部署harbor私有仓库2.5.1 下载并解压2.5.2
2020-08-21 10:55:03
437
1
转载 k8s(00)入门知识介绍
k8s概念入门目录系列文章说明k8s概念入门1 四组基本概念1.1 POD和POD控制器1.2 Name/Namespace1.3 Lable/Label选择器1.4 Service/Ingress2 核心组件与核心附件2.1 核心组件功能2.2 K8S的三条网络3 K8S流程图[K8S中文社区](http://docs.kubernetes.org.cn/1 四组基本概念Pod/Pod控制器Name/NamespaceLable/Label选择器Service/Ingress1.1 P
2020-08-21 10:53:09
334
转载 K8S(06)web管理方式-dashboard
K8S的web管理方式-dashboard[TOC]dashboard是k8s的可视化管理平台，是三种管理k8s集群方法之一1 部署dashboard1.1 获取dashboard镜像获取镜像和创建资源配置清单的操作,还是老规矩:7.200上操作1.1.1 获取1.8.3版本的dsashboarddocker pull k8scn/kubernetes-dashboard-amd64:v1.8.3docker tag k8scn/kubernetes-dashboard-amd6...
2020-08-21 10:48:12
575
原创 深入浅出系列Hbase之memstore flush、compaction
Memstore Flush介绍 Memstore Flush深度解析请阅读：http://hbasefly.com/2016/03/23/hbase-memstore-flush/触发条件Compaction <!--ZooKeeper 会话超时。Hbase 把这个值传递改 zk 集群，向它推荐一个会话的最大超时时间 --> <property> <name>...
2020-06-25 15:53:30
404
原创 深入浅出系列Hbase之架构及读写流程
Hbase架构设计HMaster负责HBASE table和Region的元数据管理，包含表的创建、修改等 维护整个集群的负载均衡 为RegionServer分配Region 发现失效的region，并将失效的region分配到正常的RegionServer 当RegionServer失效时，协调对应Hlog的拆分HRegionServer负责数据的路由，数据的读写和持久化 是HBase的数据处理及计算的单元 管理master为其分配的region 和底层HDFS进行
2020-06-25 15:44:43
523
原创 深入浅出系列Hbase之原理及概念（1）
我们先来看看官网是如何介绍Hbase组件，其官网：http://hbase.apache.org/ApacheHBase™是Hadoop数据库，这是一个分布式，可扩展的大数据存储。当您需要对大数据进行随机，实时的读/写访问时，请使用Apache HBase™。该项目的目标是在商品硬件群集上托管超大型表-数十亿行X数百万列。Apache HBase是一个开源的，分布式的，版本化的，非关系型数据库，其仿照Google的Bigtable：Chang等人的“结构化数据的分布式存储系统”。正如Bi...
2020-06-25 15:44:22
961
转载 Docker(七)-Dcoker常用命令
容器生命周期管理runstart/stop/restartkillrmpause/unpausecreateexec容器操作psinspecttopattacheventslogswaitexportport容器rootfs命令commitcpdiff镜像仓库loginpullpushsearch本地镜像管理imagesrmitagbuildhistorysaveimportinfo|versioninfover
2020-05-09 15:52:49
242
转载 Docker(二)-Docker安装
官方文档：https://docs.docker.com/Docker 支持多平台的安装（Linux/Windows/OS X）。因为Docker原生支持Linux，所以，可以直接在Linux上运行，而且在Windows和 OS X 平台则需要借助轻量级的 Linux VM 运行。Ubuntu在线安装docker在Ubuntu上安装Docker的说明取决于您使用的是Docker企业版（Docker EE）还是Docker社区版（Docker CE）。参考文档：https://docs...
2020-05-09 15:43:31
503
转载 Docker(一)-Docker介绍
什么就Docker?Docker是一个开源项目， 诞生于2013年初，最初是dotCloud公司内部的一个业余项目。它基于Google公司推出的Go语言实现。项目后来加入了Linux基金会，遵从了Apache 2.0协议，项目代码在GitHub 上进行维护。Docker项目的目标是实现轻量级的操作系统虚拟化解决方案。Docker的基础是Linux容器（LXC）等技术。在LXC的基础上Docker进行了进一步的封装，让用户不需要去关心容器的管理，使得操作更为简便。用户操作Docker...
2020-05-09 15:16:43
251
原创 Linux 磁盘I/O工作原理及IO性能分析
磁盘介绍： 磁盘是可以持久化存储的设备，根据存储介质的不同，常见磁盘可以分为两类：机械磁盘和固态磁盘。机械磁盘，也称为硬盘驱动器（Hard Disk Driver），通常缩写为 HDD。机械磁盘主要由盘片和读写磁头组成，数据就存储在盘片的环状磁道中。在读写数据前，需要移动读写磁头，定位到数据所在的磁道，然后才能访问数据。显然，如果 I/O 请求刚好连续，那就不需要磁道寻址，自然可...
2020-05-08 12:43:19
1562
转载 Docker容器CPU、memory资源限制
背景在使用 docker 运行容器时，默认的情况下，docker没有对容器进行硬件资源的限制，当一台主机上运行几百个容器，这些容器虽然互相隔离，但是底层却使用着相同的 CPU、内存和磁盘资源。如果不对容器使用的资源进行限制，那么容器之间会互相影响，小的来说会导致容器资源使用不公平；大的来说，可能会导致主机和集群资源耗尽，服务完全不可用。docker 作为容器的管理者，自然提供了控制容...
2020-05-07 21:21:21
2532
1
原创 如何“快准狠”的找到内存的问题
如何“快准狠”的找到内存的问题内存性能指标内存性能工具性能指标和工具的联系如何迅速分析内存的性能瓶颈小结内存性能指标为了分析内存的性能瓶颈，首先你要知道，怎样衡量内存的性能，也就是性能指标问题。首先，我们最容易想到的是系统内存使用情况，比如已用内存、剩余内存、共享内存、可用内存、缓存和缓冲区的用量等。1、已用内存和剩余内存很容易理解，就是已经使用和还未使用的内存。2、共享内存是通过 tm...
2020-05-05 22:19:21
311
原创 内存中的Buffer和Cache有什么区别？
我们知道可以使用free 和 top 等工具，来查看系统和进程的内存使用情况，我们也知道内存和 CPU 的关系非常紧密，而内存管理本身也是很复杂的机制。所以，接下来一点点抽丝剥茧free# 注意不同版本的 free 输出可能会有所不同$ free total used free shared buff/cache ...
2020-05-05 21:15:02
2020
原创 Spark中的Application、Job、Stage与Task区别
首先，我先将这四种的定义列出来，之后咱们再通过简单代码进行分析。RDD任务切分中间分为：Application、Job、Stage和Task（1）Application：初始化一个SparkContext即生成一个Application；（2）Job：一个Action算子就会生成一个Job；（3）Stage：Stage等于宽依赖的个数加1；（4）Task：一个Stage阶段中...
2020-05-05 10:30:42
1685
1
原创 Linux系统内存究竟是如何工作的？
内存管理是Linux操作系统最核心的功能之一。其主要用来存储系统和应用程序的指令、数据、缓存等。那么，Linux 到底是怎么管理内存的呢？内存映射 说到内存，你能说出你现在用的这台计算机内存有多大吗？我估计你记得很清楚，因为这是我们购买时，首先考虑的一个重要参数，比方说，我的笔记本电脑内存就是 8GB 的 。我们通常所说的内存容量，就像我刚刚提到的 8GB，其实指的...
2020-05-03 15:06:23
285
原创 怎样快速分析出CPU瓶颈原因？
工作中你们是否也碰到了一个我曾有过的困惑： CPU 的性能指标那么多，CPU 性能分析工具也是一抓一大把，在实际的工作场景，我又该观察什么指标、选择哪个性能工具呢？接下来咱们说说在不同场景下，指标工具怎么选，性能瓶颈怎么找。 CPU 性能指标 接下来我们想象CPU 的性能指标都有哪些？首先最容易想到的应该是 CPU 使用率，这也是实际环境中最常见的一个性能指标。...
2020-05-03 15:06:17
2559
原创 spark-submit运行上传jar包问题
问题1： hadoop2.7+spark1.2: class not found com.hadoop.compression.lzo.LzoCodec测试环境，上传jar包，spark-submit运行报上述错误，主要原因是：hadoop集群的core-site.xml有：<property><name>io.compression.codec.l...
2020-05-02 08:59:08
1103
原创 当某个应用的CPU使用率达到100%时，我们应该怎么办？
前面有几篇你博文对平均负载和 CPU 上下文切换进行了介绍，接下来我们聊聊你最常用什么指标来描述系统的 CPU 性能呢？我想你的答案，可能不是平均负载，也不是 CPU 上下文切换，而是另一个更直观的指标—— CPU 使用率。我们前面说过，CPU 使用率是单位时间内 CPU 使用情况的统计，以百分比的方式展示。那么，作为最常用也是最熟悉的 CPU 指标，你能说出 CPU 使用率到底是怎么...
2020-05-01 20:48:42
865
原创 spark中Master与Worker区别及Driver与Executor区别
Master和Worker是Spark的守护进程，即Spark在特定模式下正常运行所必须的进程。Driver和Executor是临时程序，当有具体任务提交到Spark集群才会开启的程序。...
2020-05-01 14:03:35
1872
1
原创 CPU 上下文切换是什么意思？（下）
我们就接着来看，究竟怎么分析 CPU 上下文切换的问题。，上篇理论知识见：https://blog.csdn.net/czz1141979570/article/details/105873945怎么查看系统的上下文切换情况通过上一篇文章我们知道，过多的上下文切换，会把 CPU 时间消耗在寄存器、内核栈以及虚拟内存等数据的保存和恢复上，缩短进程真正运行的时间，成了系统性能大幅下降的一个...
2020-05-01 08:59:30
540
原创 CPU 上下文切换是什么意思？（上）
我们都知道，Linux 是一个多任务操作系统，它支持远大于 CPU 数量的任务同时运行。当然，这些任务实际上并不是真的在同时运行，而是因为系统在很短的时间内，将 CPU 轮流分配给它们，造成多任务同时运行的错觉。而在每个任务运行前，CPU 都需要知道任务从哪里加载、又从哪里开始运行，也就是说，需要系统事先帮它设置好CPU 寄存器和程序计数器（Program Counter，PC）。...
2020-05-01 08:52:18
1379
1
原创 cm邮箱报警配置
此文主要简单介绍在cloudermanager中配置邮件报警，使用163邮箱向qq邮箱发送信息进行测试。1、首先对网易云邮箱进行配置之后手机扫码，成功后会出现下图：这个授权密码一定要保存好。2、CM配置保存，重启3、Test表明邮箱报警配置ok....
2020-04-26 16:30:21
853
原创 cdh离线安装部署
cdh安装准备环境的博文请参考：https://mp.csdn.net/console/editor/html/105581435CM离线部署: serveragent[root@mycluster001 cdh5.16.2]# mv cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz /tmp/[root@mycluste...
2020-04-18 18:00:50
1479
原创 CDH搭建大数据集群环境准备-阿里云主机
1、阿里云官网登录，购买ecs云服务器 www.aliyun.com/ 如果你是新用户，需要注册，之后充值100购买ecs服务器我们可以看到公网和内网IP，将公网IP配置笔记本上的hosts文件，地址自己去找吧，这里不说了，我配置后的结果：这里顺便说下停止ecs服务器2、配置远程连接 我这里使...
2020-04-18 13:25:47
1745
3
原创 cdh之大数据集群规划
在搭建大数据集群之前，对大数据集群的有效规划是非常重要的一件事，所以此篇博文主要介绍集群节点规划。 假如公司测试环境有5台机器，生产环境100台机器，配置如下：MyCluster001: mysql cm-server cm-agentMyCluster002: cm-agent nn rmMyCluster003: cm-agent nn rmMyCl...
2020-04-17 15:22:30
2117
原创 cdh部署方式浅析
众所周知，现在大数据的公司都会采用Cloudermanager公司的cdh来搭建大数据的平台，既可以有效避免大数据组件之间的兼容问题，又可以节省大数据平台维护的成本。所以接下来谈下cdh的部署方式及优劣之分。1、官网部署页面打开方式1）www.cloudera.com2）www.cloudera.com--->https://docs.cloudera.com/in...
2020-04-17 10:57:13
507
原创 HA/HDFS重要参数实操
前面有篇博文已经介绍了HA得原理，这篇主要来介绍HA的实操，HA原理：https://blog.csdn.net/czz1141979570/article/details/104856251NN切换：切换前的正常状态为：hadoop101：active hadoop102：standby现在使用命令kill -9进行人工干预：test成功，再...
2020-03-19 20:46:29
448
史上最详细最实用的Linux常用命令
2018-05-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人