一昂young-CSDN博客

原创 Kubernetes中pod的创建流程

3.Controller-Manager通过apiserver的watch接口发现了pod信息的更新，执行该资源所依赖的拓扑结构整合，整合后将对应的信息写到etcd，此时pod已经可以被调度了。4.Scheduler同样通过apiserver的watch接口更新到pod可以被调度，通过算法给pod分配节点，并将pod和对应节点绑定的信息写到etcd，然后将pod交给kubelet。5.kubelet收到pod后，调用CNI接口给pod创建pod网络，调用CRI接口去启动容器，调用CSI进行存储卷的挂载。

2024-03-12 16:28:42 349

原创 AWS Iot Device Shadows

再发布一条 $aws/things/myLightBulb/shadow/update/documents 消息作为更新记录。3 device 上线即订阅了delta消息，收到IOT server 发布的delta消息后，device执行相应更新操作，完成后设备发布一条$aws/things/myLightbulb/shadow/update {“state”: {“reported”: {“color”: “green” }}} 向IOT server通知状态更新好了。reported：事物的报告状态。

2024-01-25 11:38:22 1132

原创将AWS iot消息数据发送S3

观看此文章之前，请先学习上述的文章向大家展示了如何从客户端向AWS iot发送数据，那么数据收到之后，我们如何通过AWS的服务进行数据处理或者保存呢？我们对包含各种topic的数据需要配置“消息路由”来改变数据的走向。1、工作原理：1.1 规则规则可让您的设备与 AWS 服务进行交互。分析规则并根据物品发送的消息执行操作。您可以使用规则来支持任务，例如补充或筛选从设备接收的数据。1.2 目的地目的地是定义规则引擎可将数据路由至何处的资源。

2024-01-25 11:10:16 1124

原创将AWS iot消息数据发送Kinesis Firehose Stream存向S3

使用以下值输入 SQL 语句：SELECT FROM WHERE 。例如：SELECT temperature FROM 'iot/topic' WHERE temperature > 50。目的地是定义规则引擎可将数据路由至何处的资源。目的地可以跨规则重复使用，并且可能需要经过确认或配置才能使用。目的地可让规则引擎将数据发送到未与 AWS IoT 原生集成的其他服务。您可以使用规则来支持任务，例如补充或筛选从设备接收的数据。

2024-01-24 17:43:16 732

原创使用Linux SDK客户端向AWS Iot发送数据

虚拟机一台： Red Hat Enterprise Linux release 8.7 (Ootpa)start.sh脚本中需要去向github的官网下载代码，服务器在国外，国内经常会卡住。确保客户端可以解析AWS iot 的终端节点，可以在下图查询并解析成功。客户端版本语言为Python，且版本需要为Python 3.8及以上。可以把“hello world”修改为自定义的json数据，便于处理。git安装，否则脚本无法正常运行。注意：此工具包为必须下载项目。第二种就是使用梯子翻墙软件。

2024-01-24 17:17:46 879

原创 CKS考试心得

考前须知：1、一共16题，100分66分及格，考试有两次机会考试准备：1、护照或或者包含英文名字证件2、要选择工作日的早上或者晚上考试，千万不要选择周末去考，否则卡到怀疑人生，影响考试结果3、提前1小时等待考试，关闭VM，webex、teams等服务就花了30分钟。

2024-01-12 17:04:41 1499

原创 Podman与Docker的区别

podman提供了docker客户端公开的相同的命令集，在linux中你可以用一个alias 别名直接替换掉podman，但是podman ps和podman images这样的命令不会显示使用Docker创建的容器或者镜像，这是因为podman的本地存储是/var/lib/containers，而不是Docker维护的/var/lib/docker。Podman也使用相同的技术来实现隔离，但由于没有守护进程的存在，容器内的进程直接在用户空间中运行。对于容器类的应用程序，我们肯定想到的是。

2024-01-11 12:06:31 882

原创 Dockerfile: CMD与ENTRYPOINT区别

CMD和ENTRYPOINT这两个命令，我接触到的是用在了Dockerfile中用于构建容器。CMD：The main purpose of a CMD is to provide defaults for an executing container. CMD的主要用途是为正在执行的容器提供默认值。也就是指定这个容器启动的时候要运行的命令。ENTRYPOINT：也是指定这个容器启动的时候要运行的命令。

2024-01-11 11:52:21 658

原创 Docker基础命令

而CoW技术可以让所有的容器共享image的文件系统，所有数据都从image中读取，只有当要对文件进行写操作时，才从image里把要写的文件复制到自己的文件系统进行修改。Overlay是文件级存储，Device mapper是块级存储，当文件特别大而修改的内容很小，Overlay不管修改的内容大小都会复制整个文件，对大文件进行修改显示要比小文件要消耗更多的时间，而块级无论是大文件还是小文件都只复制需要修改的块，并不是整个文件，在这种场景下，显然device mapper要快一些。-i参数指定输入的文件。

2024-01-11 10:31:45 1247

原创 Ansible

Ansible是一款为类Unix系统开发的自由开源的配置和自动化工具。它用Python写成，类似于saltstack和Puppet，但是有一个不同和优点是我们不需要在节点中安装任何客户端。它使用SSH来和节点进行通信。Ansible基于 Python paramiko 开发，分布式，无需客户端，轻量级，配置语法使用 YMAL 及 Jinja2模板语言，更强的远程命令执行操作。格式：ansible基于ssh连接-i （inventory）参数后指定的远程主机时，也可以写端口，用户，密码。

2024-01-10 16:17:01 806

原创 docker-compose

项目由 Python 编写，调用 Docker 服务提供的 API 来对容器进行管理。因此，只要所操作的平台支持 Docker API，就可以在其上利用 Compose 来进行编排管理我们知道使用一个 Dockerfile 模板文件可以定义一个单独的应用容器，如果需要定义多个容器就需要服务编排。服务编排有很多种技术方案，今天给大家介绍 Docker 官方产品 Docker-Compose。Dockerfile 可以定义一个单独的应用容器；

2024-01-10 13:43:20 1218

原创 Dokerfile

Dockerfile是一个包含用于组合映像的命令的文本文档。可以使用在命令行中调用任何命令。Docker通过读取Dockerfile中的指令自动生成映像。命令用于从Dockerfile构建映像。可以在命令中使用-f标志指向文件系统中任何位置的Dockerfile。

2024-01-10 12:10:19 874

原创 Gitlab-ci:从零开始的前端自动化部署

一概念介绍自动化部署工具的运行机制以gitlab-ci为例：(1) 通过在项目根目录下配置文件，可以控制ci流程的不同阶段，例如install/检查/编译/部署服务器。gitlab平台会扫描.gitlab-ci.yml文件，并据此处理ci流程(2) ci流程在每次团队成员push/merge后之后触发。每当你push/merge一次，gitlab-ci都会检查项目下有没有.gitlab-ci.yml文件，如果有，它会执行你在里面编写的脚本，并完整地走一遍从intall =>

2024-01-10 10:54:18 1430 1

原创 AWS SAP 考试经验分享

4、考试技巧方面，建议在背题库的阶段，务必抓关键词，190分钟的作答时间足够，我只花了60分钟完成了作答和检查，期间可以标记不确定的题目，回头再次检查。第一阶段是AWS产品知识的学习，在我看来很重要，尤其对于没有搞过云的来说，直接上来就刷题，估计会一脸懵。考试环境中100%都是原题，但选项也能有一些出入，题库的准确率不是100%，所以要多次练习。考试总共75道题，考点很多，也很琐碎，即使是经验丰富的aws架构师，裸考也很难通过。2、网上预约考试的时候建议预约中文，考试的时候，可以中英文来回切换，很方便。

2023-07-18 17:02:22 1267 2

原创 Terraform配置语法介绍

Terraform是HashiCorp公司推出的基础设施管理工具，以简洁的声明式语言，以及多云管理能力，使得备受运维工作者青睐。Terrform配置文件所使用的语言为HCL（HashiCorp配置语言）。.tf文件书写规范，需要遵守HCL语法，以及各厂商provider定义的资源管理规范。

2023-07-18 12:08:51 228

原创 Liunx网卡绑定(Bond0-6)原理

Bonding运行在这个模式下，使用两块网卡虚拟成为一块网卡，这个聚合起来的设备看起来是一个单独的以太网接口设备，通俗点讲就是两块网卡具有相同的IP地址而并行链接聚合成一个逻辑链路工作。物理网卡把相应的数据帧传送给bond驱动程序处理。通过网卡绑定可以实现网络设备的冗余和负载均衡。————————————————版权声明：本文为CSDN博主「zl8751」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

2023-03-27 12:29:27 1069

原创 Ingress资源

下载慢可以去Github下载。

2023-03-02 17:01:40 250 1

原创 airflow 的使用之 Operators 介绍

Operators 允许生成特定类型的任务，这些任务在实例化时成为 DAG 中的任务节点。所有的 Operator 均派生自 BaseOperator，并以这种方式继承许多属性和方法。Operator 主要有三种类型:1、执行一项操作或在远程机器上执行一项操作。2、将数据从一个系统移动到另一个系统3、类似传感器，是一种特定类型 Operator，它将持续运行，直到满足某种条件。

2023-03-02 16:54:21 1218

转载 Airflow简介

Airflow 是一个 Airbnb 的 Workflow 开源项目，使用Python编写实现的任务管理、调度、监控工作流平台。Airflow 是基于DAG(有向无环图)的任务管理系统，可以简单理解为是高级版的crontab，但是它解决了crontab无法解决的任务依赖问题。与crontab相比Airflow可以方便查看任务的执行状况（执行是否成功、执行时间、执行依赖等），可追踪任务历史执行情况，任务执行失败时可以收到邮件通知，查看错误日志。

2023-03-02 16:15:28 1936

原创 Service（自定义Endpoints）

endpoint 是k8s集群中一个资源对象，存储在etcd里面，用来记录一个service对应的所有pod的访问地址。service配置selector endpoint controller 才会自动创建对应的endpoint 对象，否则是不会生产endpoint 对象

2022-11-14 20:36:48 1514

原创 kubernetes资源控制器【六】之 StatefulSet控制器

StatefulSet是Kubernetes提供的管理有状态应用的负载管理控制器API。用于部署和扩展有状态应用的Pod资源，确保它们的运行顺序及每个Pod资源的唯一性。其与ReplicaSet控制器不同的是，虽然所有的Pod对象都基于同一个spec配置所创建，但StatefulSet需要为每个Pod维持一个唯一且固定的标识符，必要时还要为其创建专有的存储卷

2022-11-13 20:38:16 477

原创 kubernetes资源控制器【五】之 CronJob 控制器

CronJob控制器用于管理Job控制器资源的运行时间。Job控制器定义的作业任务在其控制器资源创建之后便会立即执行，但CronJob可以以类似于Linux操作系统的周期性任务作业计划（crontab）的方式控制其运行的时间点及重复运行的方式

2022-11-13 20:09:11 724

原创 kubernetes资源控制器【四】之 Job 控制器

Job控制器用于调配Pod对象运行一次性任务，容器中的进程在正常运行结束后不会对其进行重启，而是将Pod对象置于“Completed”（完成）状态。若容器中的进程因错误而终止，则需要依配置确定重启与否，未运行完成的Pod对象因其所在的节点故障而意外终止后会被重新调度。

2022-11-13 20:03:16 248

原创 kubernetes资源控制器【三】之 DaemonSet控制器

DaemonSet：服务守护进程，它的主要作用是在Kubernetes集群的所有节点中运行我们部署的守护进程，相当于在集群节点上分别部署Pod副本，如果有新节点加入集群，Daemonset会自动的在该节点上运行我们需要部署的Pod副本，相反如果有节点退出集群，Daemonset也会移除掉部署在旧节点的Pod副本。

2022-11-13 19:50:08 266

原创 kubernetes资源控制器【二】- Deployment控制器

Deployment 的控制器，实际上控制的是 ReplicaSet 的数目，以及每个 ReplicaSet的属性。而一个应用的版本，对应的正是一个 ReplicaSet；这个版本应用的 Pod数量，则由 ReplicaSet 通过它自己的控制器（ReplicaSet Controller）来保证。

2022-11-13 12:09:29 343

原创 kubernetes资源控制器【一】- ReplicaSet控制器

Pod控制器资源通过持续性地监控集群中运行着的Pod资源对象来确保受其管控的资源严格符合用户期望的状态，例如资源副本的数量要精确符合期望等。

2022-11-12 22:47:12 547

原创 Service(LoadBalancer)

这种类型建构在NodePort类型之上，大部分情况下只适用于支持外部负载均衡器的云提供商（AWS,阿里云,华为云等）使用，由它接入外部客户端的请求并调度至集群节点相应的NodePort之上。因此LoadBalancer一样具有NodePort和ClusterIP。

2022-11-10 22:59:46 1661

原创 Service(Nodeport)

这种类型建立在ClusterIP类型之上，其在每个node节点的IP地址的某静态端口（NodePort）暴露服务，因此，它依然会为Service分配集群IP地址，并将此作为NodePort的路由目标。

2022-11-10 22:51:50 2433

原创 Service(ClusterIP)

ClusterIP主要在每个node节点使用iptables，将发向ClusterIP对应端口的数据，转发到kube-proxy中。然后kube-proxy自己内部实现有负载均衡的方法，并可以查询到这个service下对应pod的地址和端口，进而把数据转发给对应的pod的地址和端口。

2022-11-09 22:28:09 1929

原创 Service资源介绍

在k8s中，pod是应用程序的载体，我们可以通过pod的ip来访问应用程序，但是pod的ip地址不是固定的，这也就意味着不方便直接采用pod的ip对服务进行访问

2022-11-09 21:37:08 122

原创 K8S的pod探针

因为 k8s 中采用大量的异步机制、以及多种对象关系设计上的解耦，当应用实例数增加/删除、或者应用版本发生变化触发滚动升级时，系统并不能保证应用相关的 service、ingress 配置总是及时能完成刷新。在一些情况下，往往只是新的 Pod 完成自身初始化，系统尚未完成 Endpoint、负载均衡器等外部可达的访问信息刷新，老得 Pod 就立即被删除，最终造成服务短暂的额不可用，这对于生产来说是不可接受的，所以 k8s 就加入了一些存活性探针：StartupProbe、LivenessProbe、Rea

2022-11-07 22:10:47 1304

yuan_jiaoyoung的博客