- 博客(108)
- 收藏
- 关注
RSS订阅原创 Kubernetes 日志收集方案
本文简单整理 Kubernetes 里关于容器应用日志的四种收集方式。文章目录一、直接指定方案（app容器 - 后端）二、NodeAgent 方案（app容器 - [stdout/stderr] - NodeAgent - 后端）三、Sidecar + NodeAgent 方案（app容器 - Sidecar - [stdout/stderr] - NodeAgent - 后端）四、Si...
2020-02-06 13:14:52
887
原创 Kubernetes 指标监控技术
本文简单整理 Kubernetes 的监控技术，内容包括围绕 Prometheus 的监控架构、监控指标分类、Custom Metrics APIServer + Aggregator 来扩展 API Server 。【Kevin亓】一、Kubernetes 核心监控体系1.1 Prometheus 监控架构Prometheus 核心机制：使用 Pull （抓取）的方式去搜集被监控...
2020-02-06 10:27:34
1113
原创 Kubernetes 理解笔记之容器运行时接口CRI
本文进入到 kubelet 调用下层容器运行时的执行过程，着重分析 CRI 这一接口设计的思想与工作原理。【Kevin亓】CRI 设计思想kubelet 调用下层容器运行时的执行过程，并不会直接调用 Docker 的 API，而是通过一组叫作 CRI（Container Runtime Interface，容器运行时接口）的 gRPC 接口来间接执行的。Kubernetes 项目之所...
2020-02-04 08:22:58
676
原创 Kubernetes 理解笔记之网络模型及CNI插件
Kubernetes 容器网络确实是一块比较复杂的内容，本文是在学习张磊老师《深入剖析 Kubernetes》之后的理解整理，内容主要总结了 Kubernetes 网络模型和 CNI 插件，后面也介绍了容器跨主机网络的三种方案。Kubernetes 网络模型1、容器之间的通信原理为什么需要网络? 本质是为了连通然后通信。为什么容器之间需要网络？每一个容器进程被 Network Na...
2020-02-03 23:55:23
727
原创 Kubernetes 理解笔记之容器持久化存储以及CSI机制
本文详细整理了自己对PV和PVC存储体系、CSI 自定义存储插件等容器持久化存储方面的设计思想和知识理解，是在学习张磊老师Kubernetes课程中持久化存储过程中的学习笔记。【Kevin亓】一、Kubernetes 本身的持久化存储体系1.1 容器的“持久化存储”是什么？容器的存储依赖容器 Volume 的挂载机制，将一个宿主机上的目录，跟一个容器里的目录绑定挂载在了一起。那持...
2020-01-19 13:38:06
1412
原创 Kubernetes 核心理解之声明式API和编程范式
本文是对 Kubernetes 的核心概念，声明式API和编程范式的理解笔记。整理回答了”什么是声明式API“、”Kubernetes 编程范式是什么“这样的问题，然后简单记录了对更快更好造出 CRD 及其 Controller的 Operator 的理解。一、声明式API首先，什么是 Kubernetes 的 API ？Kubernetes 有很多能力，这些能力都是通过各种 AP...
2020-01-16 23:12:05
6344
1
原创 Kubernetes 作业管理之 DaemonSet
本文是对 Kubernetes 作业管理中的容器化守护进程相关设计的理解，由于 DaemonSet 这个知识点相对较为容易理解，所以主要是作的张磊在极客时间上《深入剖析 Kubernetes》课程的笔记。文章目录Why（为什么要有 DaemonSet）What（DaemonSet 是什么）How（DaemonSet 如何保证每个 Node 上有且只有一个被管理的 Pod）使用实例1、创建...
2020-01-14 08:21:06
586
原创 Kubernetes 理解笔记之 StatefulSet
本文是对“有状态应用”的多副本控制器 StatefulSet 的理解笔记。StatefulSet 是 Kubernetes 中用来处理“有状态应用”的，所以理解过程从“什么是有状态应用”到“Kubernetes的解决方案”顺序展开，着重在记录 Kubernetes 在处理拥有拓扑状态和存储状态的“有状态应用”的控制管理上的的解决方案。大部分都是按照自己的理解记录，所以若有错误欢迎指正。文...
2020-01-05 12:02:24
350
原创 Kubernetes 理解笔记之“控制器模型” Deployment
本文是自己在理解 Deployment 过程中的笔记，重在理解，对于细节可能并不十分详尽，但会涉及一些实践。Deployment补充：Kubernetes 中的“对象”和“控制器模式”1、容器编排2、控制器模式3、“一切皆对象”Deployment 理解1、Deployment 能干什么？2、Deployment 如何实现功能？Deployment 使用实例1、部署及查看命令2、将副本数...
2019-12-27 15:14:40
386
原创 Kubernetes 理解笔记之 Pod
本文笔记记录对 Pod 的理解。为了更好的部署运行应用，Pod 是如何设计的，Pod为什么这么设计，如何更好的使用Pod，以及一些API核心字段的使用实例。目录：一、Pod 的设计思想 二、Pod 使用的思考方式 三、Pod API 的使用
2019-12-25 20:42:34
289
原创 kubeadm 部署 Kubernetes 原理
本文是在尝试搭建 Kubernetes 学习环境过程中的对一些部署原理的整理Kubernetes 的部署：Kubernetes有很多组件，每个组件都是一个需要被执行的、单独的二进制文件。一种部署方式：将这些二进制文件传输到指定的机器当中，然后编写控制脚本来启停这些组件。另一种方式：将每个组件做一个容器镜像，然后在每台宿主机用docker run指令启动这些组件容器。kubeadm...
2019-12-13 11:38:57
430
原创 Mac上使用VirtualBox安装Ubuntu并流畅ssh连接使用
本文记录一下 mac 新手安装虚拟机并配置好网络，ssh连接操作的过程，还算流畅。（五流文章讲配置，本文也不算入流，纯记录了）01 下载安装 VirtualBox官网下载，大约100mb，常规操作，一般没什么问题。版本的话选用最新版就可以了。安装，mac下载完直接打开即可，安装完，语言可以选择中文。02 新建虚拟机都是中文，按照默认流程走下来即可：选择虚拟机类型 Linux 版...
2019-12-12 17:42:49
1950
原创 VM中利用minikube搭建单节点Kubernetes集群（国内环境流畅）
本文记录 Mac 上 VirtualBox 虚拟机 Ubuntu 在国内环境下利用 minikube 安装单节点 Kubernetes 集群。自行开发学习使用，并不用于生产环境的部署。前提：1）macOS 安装好 VirtualBox2）下载镜像并创建好 VM，安装操作系统并设置好网络个人搭建环境：Ubuntu：18.04docker：18.09minikube：v1.2.0（...
2019-12-12 12:10:56
610
原创 KubeCon 2019 上海 参会记录
会前提前看了大会的日程，发现了主题内容非常多，CNCF的生态确实很广阔，所以要安排好自己的日程，抓自己关注的点去听了。目前所做的工作集中在容器监控和AIOps相关内容上，而且与Prometheus接触也比较多，所以一方面关注容器相关技术，还有一个很大的关注点就在“Observability and Analysis”上了。另外，明显感觉到自己对于云原生的认知还是远远不够的，所以此次参会是一...
2019-07-03 11:18:48
732
原创 git实际工作中使用参考
git 实际工作中使用参考0、远端库 和 本地库（版本区、暂存区、工作区）首先区分一下远端库和本地库：远端库是github或者gitlab提供的远端的代码存储；本地库是指自己电脑上的区域对于本地库：分为三个区：工作区、暂存区、本地库区git add之前的叫工作区，git add 之后的叫暂存区，git commit 之后就到了本地库区了我个人来说，暂存区一般使用不多，一般就是在工作区改...
2019-04-06 20:35:42
425
原创 百度端到端说话人识别系统 Deep Speaker 详细介绍
Deep Speaker 详细介绍0、补充知识神经网络：卷积层：1、Deep Speaker 介绍2、ResCNN 网络结构分析ResBlock：ResCNN：一层一层的来看：解释下 dim 维度这一列3、Triplet Loss前言：百度端到端说话人识别系统 Deep Speaker : an End-to-End Neural Speaker Embedding System，论文学习整理一...
2018-12-31 18:05:07
6396
2
原创 了解一下容器
容器初识：内核轻量级的操作系统层虚拟化技术一. 容器容器解决什么问题？如何解决问题？使用容器有什么特点？容器生态：容器的主要应用场景？二. 富容器技术帮助存量业务容器化如何实现：三. PaaS/Cloud NativeService Mesh：一. 容器容器解决什么问题？容器是为了解决“在切换运行环境时，如何保证软件能够正常运行”这一问题。如何解决问题？一个容器包含了完整的运行时环境...
2018-12-31 17:03:59
251
原创 【机器学习模型详细推导5】-朴素贝叶斯分类
朴素贝叶斯分类一. 朴素贝叶斯分类介绍二. 算法推导详解三. 附上《统计学习方法》中的算法流程一. 朴素贝叶斯分类介绍首先，对于更定数据集{(x1,y1),(x2,y2),…,(xm,ym)}\{ (x_1,y_1),(x_2,y_2),…,(x_m,y_m) \}{(x1,y1),(x2,y2),…,(xm,ym)}，可以得到 P(X∣Y)P(X|Y)P(X∣Y) 和 P(Y)P...
2018-11-25 20:23:41
2484
原创 【机器学习模型】集成学习总结
集成学习一. 同质集成1. Boosting2. Bagging3. Stacking二. 异质集成1. 平均法2. 投票法3. 学习法（Stacking）三. “好而不同”1. 数据样本扰动2. 输入属性扰动3. 输出表示扰动4. 算法参数扰动首先，集成学习是将多个个体学习器进行结合。若同种类型的个体学习器集成，就是“同质集成”；若集成包含不同类型的个体学习器，就叫“异质集成”。一....
2018-11-23 22:59:01
583
原创 【机器学习模型详细推导4】-决策树
决策树一. 决策树介绍二. ID3/C4.5三. CART算法1、最小二乘回归树生成算法2、CART分类树3、CART剪枝一. 决策树介绍模型： 一个树形的判断结构，内部结点表示特征或属性，叶子节点表示一个分类如何学习一个决策树：特征选择树的生成决策树剪枝实现算法： ID3、C4.5、CART二. ID3/C4.50）熵：描述数据集合不确定性的方法熵：H(D)=−∑...
2018-11-22 20:23:52
1100
原创 【ML模型详细推导3】- 感知机
感知机1. 一句话介绍感知机2. 模型介绍（原始形式）3. 感知机的对偶形式1. 一句话介绍感知机· 一个二分类的线性分类模型。· 感知机学习旨在求出将训练集数据进行线性划分的分类超平面，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得模型。· 分为原始形式和对偶形式。2. 模型介绍（原始形式）前提：数据集要求线性可分性- 模型：f(x)=sign(wx+b)...
2018-11-22 09:51:20
343
原创 【机器学习模型详细推导2】- 逻辑回归
逻辑回归1. 模型引入2. 模型描述3. 模型求解策略（代价函数）4. 模型求解算法 - 梯度下降1. 模型引入线性模型可以进行回归学习（参见【机器学习模型1】- 线性回归），但如何用于分类任务？需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。对于二分类任务，输出标记 yyy 取值 {0,1}\{0, 1\}{0,1}，而线性回归预测值 z=wTx+bz = w...
2018-10-28 11:03:33
365
原创 矩阵求导与转置运算
线性代数补充矩阵转置矩阵求导前言：在推导算法过程中遇到一些数学运算，遇到了就记录下，方便回忆矩阵转置(A+B)T=AT+BT(AB)T=BTAT(A+B)^T = A^T+B^T \\(AB)^T = B^TA^T(A+B)T=AT+BT(AB)T=BTAT矩阵求导∂Ax∂x=AT∂Ax∂xT=A∂xTA∂x=A\frac{\partial Ax}{\partial x} =...
2018-10-20 16:02:31
9931
1
原创 【ML模型详细推导1】- 线性回归
线性回归0. 数据集和目标1. 模型2. 策略3. 算法学习过程主要顺着 周志华《机器学习》第三章线性模型 内容，本次线性回归模型总结按照 “模型 + 策略 + 算法 ” 的统计学习三要素整理。0. 数据集和目标1. 模型2. 策略3. 算法参考：ML模型2：线性回归模型...
2018-10-20 10:35:13
913
原创 小白声纹识别（说话人识别）探索
序言：作为一名完全的声纹识别小白，刚开始接触，毫无头绪，都不知道从何入手，在搜集了一些资料，看过一些学习视频，论文之后，记录一下自己的摸索过程，同时将一些目前网络上的资源进行汇总。目前的我确实学习还是非常浅，如果有一些理解错误，会进行改正。一、算法纵览搞懂声纹识别算法整个的发展过程，才有利于进一步改进。了解了各种方法，才能选出最适合数据的算法。看论文时也会减轻很多压力。所以首先记录一下我了...
2018-09-13 00:28:50
12493
6
原创 第十周（大规模机器学习）-【机器学习-Coursera Machine Learning-吴恩达】
目录处理大数据集： 随机的梯度下降 映射化简1 随机的梯度下降 - 随机梯度下降算法对于每一次迭代，只需要对一个样本拟合好就可以了。它只需要一次关注一个样本一点点进行参数调整，这样不需要每一次都等到对所有数据进行扫描，从而降低复杂度 - 效果图：（实际上随机梯度下降会在最靠近全局最小值的区域内徘徊）小批量梯度下降三种梯度下降的比较：2 先进的主题：1）在线学习2）MapReduce和并...
2018-03-08 16:37:30
611
原创 第九周（异常发现+推荐系统）-【机器学习-Coursera Machine Learning-吴恩达】
目录 异常检测 多元高斯分布的异常检测 推荐系统1 异常检测1）正态分布或高斯分布：2）异常检测算法：3）异常检测与监督学习的比较使用异常检测算法的情况- 不正常的样本较少，不利于学习；- 导致不正常的原因有很多，不方便进行学习时4）选择特征当特征不符合正态分布时，可以利用log或者根号等运算改变所有样本该特征值，然后作图观察是否符合正态分布2 多元高斯分布的异常检测1）多元高斯...
2018-03-08 16:26:28
1146
原创 第八周（无监督学习）-【机器学习-Coursera Machine Learning-吴恩达】
目录 K-means算法 PCA（主成分分析）1 K-means1）算法原理： a 选择聚类中心 b 迭代优化分二步 - 针对每一个样本划分到所属聚类中心 - 针对每一个聚类，重新选取聚类中心（某一类所有点坐标的平均值即为新的聚类中心）2） 优化目标 J ：每一个样本到它所属的聚类中心的距离的平方3） 随机初始化中心局部最优情况：正确情况：为了...
2018-03-08 14:44:34
1110
原创 第七周（SVM）-【机器学习-Coursera Machine Learning-吴恩达】
前言：说实话SVM，看了视频我确实还是不太理解，所以这里就之记一些重要的概念吧。看到一个好的文章：[机器学习] Coursera笔记 - Support Vector Machines支持向量机又叫做 大间距分类器。复杂SVM，处理非线性分类。代价函数：核函数——>相似度函数参数分析：...
2018-03-08 14:21:24
531
原创 第六周（机器学习应用建议）-【机器学习-Coursera Machine Learning-吴恩达】
目录 评估学习算法： 方差和偏差 学习曲线 机器学习系统设计1 评估假设，选择多项式模型利用 测试集误差。线性回归：逻辑回归：当选择多项式模型时：一般进一步划分数据集为训练集60%、验证集20%、测试集20%·利用 训练集 优化参数 theta·使用 验证集 找到最小误差的多项式·使用 测试集 估计泛化误差2 偏差和方差：如何评价一个学习算法1）拟合与偏差/方差欠拟合：高偏...
2018-03-08 11:38:27
453
原创 第五周（反向神经网络）-【机器学习-Coursera Machine Learning-吴恩达】
目录 代价函数 反向传播 神经网络总结1 代价函数2 反向传播算法——让代价函数最小化的算法让代价函数最小化，利用matlab函数库fminunc时在costFunction时需要·代价函数计算方法 ·代价函数的偏导数为了得到这个偏导数，使用反向传播算法：3 反向传播算法实现1）矩阵表达式和向量表达式的转换矩阵变为向量：向量还原矩阵：向量表达式便于使用优化函数，如 fminunc...
2018-03-07 14:07:55
518
原创 第四周（神经网络表示）-【机器学习-Coursera Machine Learning-吴恩达】
目录： 模型表示 例子1 模型表示1）模型原理 输入层 + 隐藏层 + 输出层： 激活单元： 计算中间结点： 从第 j 层到 j+1 层的映射矩阵（权重矩阵）： 权重矩阵的维度为 ( j+1层单元个数 ) * ( j层单元个数 + 1 ) 2） 模型表示向量化2 例子1）实例 AND 得出theta 从而获得假设函数2）实...
2018-03-07 13:41:55
401
原创 第三周（Logistic回归 + Regularization）-【机器学习-Coursera Machine Learning-吴恩达】
目录： 逻辑回归模型 多类别分类 正则化1 逻辑回归模型1）逻辑回归的假设函数：利用Logistic函数，使输出范围控制在【0，1】之间2）决策边界由logistic函数的图像可以看出 当y=1时：也就是说：这样，就会形成一个判断输出为0还是1的边界（X为变量，与参数theta有关），称为决策边界。3）代价函数简化：（在使用梯度下降时，用这个函数确认每一次迭代J(theta)都是...
2018-03-05 22:17:49
1031
原创 第二周（多变量线性回归 +Matlab使用）-【机器学习-Coursera Machine Learning-吴恩达】
目录： 多变量线性回归（模型、梯度下降技巧） 特征选择和多项式回归 正规方程 Matlab学习1 多变量线性回归1）模型- 假设函数：- 参数：全部的 theta- 代价函数：和单变量回归一样- 梯度下降：2）梯度下降算法的实用技巧 - 特征缩放（Feature Scaling） 均值归一化 u为该特征平均值；s为范围，也就是max-min - 学习...
2018-03-05 22:02:40
3257
原创 第一周（基础知识 + 单变量线性回归）-【机器学习-Coursera Machine Learning-吴恩达】
目录： 机器学习介绍 单变量线性回归（模型、梯度下降） 线性代数回顾1 机器学习介绍：1）什么是机器学习？ 一个计算机程序从经验E中学习如何处理任务T，并通过性能度量P来衡量，它处理任务T的表现会随着经验E的增加而提高2）监督学习与无监督学习？ - 监督学习： 给一个数据集并且我们已经知道了正确的输出是什么样子的，我们已经知道了输入与输出之间的对应关系。 ...
2018-03-05 21:43:07
524
原创 【机器学习-Coursera Machine Learning-吴恩达】课程回顾
前言 感谢吴恩达老师，看完课程后对机器学习有了一个大概的了解，现在回顾一下整个课程。 在课程中个人印象机器学习过程主要分为以下几个部分：模型（监督和非监督）、代价函数、学习算法、检验与改进。本文便按照课程顺序从这几个方面进行目录性记录，方便回顾课程。一、机器学习过程 - 模型（假设函数）：h(x) - 代价函数：J(theta) - 学习算法 - 检验评价分析调整二、模型1. 监督学习...
2018-03-05 20:44:29
865
原创 数据结构之栈
数据结构之栈序言：一般处理有 进和退（或 先和后）两种方向的问题，可以考虑使用栈1. 压栈序列和弹栈序列例如：判断是否为合法弹栈序列2. 括号匹配典型的栈的使用，遇到左括号压栈，右括号便弹栈。3. 简化路径a/./b/../../../c/d/ ——> /c/d/遇到实际目录就压栈， . / 不操作， ../ 弹栈
2018-01-29 16:59:35
321
原创 数据结构之链表
数据结构之链表序言：对于链表，首先要熟悉基本的操作，插入，删除，逆序，反转，旋转……指针的使用少不了1. 插入一个指针 P 即可new node;node.next = p.next;p.next = node;2. 删除pre 和 p 指针实现 或者 用一个指针实现pre.next = p.nextp移动后，p原来所指向的节点
2018-01-29 16:34:11
294
原创 数据结构之字符串
数据结构之字符串序言：这里记录一下好的处理字符串的方法。包含开辟辅助数组、利用指针、使用临时变量、模式匹配1. 开辟辅助数组计数例如：字符串同分异构体，可以用数组记录每个字符出现次数2. 利用指针：双指针字符串反转利用指针实现线性反转，类似数组3. 临时变量的使用在OnePass时使用较多，count计数、temp记录上一个位置数
2018-01-28 21:37:36
355
原创 数据结构之数组
数据结构之数组引言：指针 和 临时变量 是解决数组问题的两大法宝。1. 数组逆置（反转）{1，2，3，4，5，6，7} ——> {7，6，5，4，3，2，1}伪代码：i=0,j=n-1;while(i<j){swap(array,i,j);i++;j--;}2. 数组旋转{1，2，3，4，5，6，7} ——> {5，6，7， 1，2，3
2018-01-27 23:05:35
406
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人