- 博客(71)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 关于harbor做HA
我这张图是下载网上的，这里没有用负载均衡Haproxy，只是用了Keepalived做了一个虚拟地址，然后把域名绑定到虚拟地址上，一旦一台harbor的主机宕机，虚拟地址自动漂移到另一台harbor上，可确保harbor始终在线，这里只要做好两台harbor的数据同步就可以了。而在另外一台机器上做相同配置连接另一台主机就可以配置成功，要是把keepalived的优先级颠倒一下，将3.99漂移到3.98上，和之前配置3.97的情况一样，可以配置成功，但是3.97就会报之前3.98的错误。
2024-02-04 17:50:05
867
原创 spark+phoenix读取hbase
这是phoenix官网提供的代码，我执行没成功，显示org.apache.phoenix.spark.datasource.v2.PhoenixDataSource这个找不到，我不知道是我依赖包没引对还是其他原因，我的代码在上面的基础上做了一些改动。然后解压缩，将里面的phoenix-server-hbase-2.4-5.1.3.jar（你的版本可能和我下载的不一致，这个根据hadoop上安装的hbase的版本来定）拷贝到hbase/lib/目录下，然后重启hbase。最后执行成功的结果如下所示。
2024-01-18 09:27:52
611
原创 steim格式解码
即C0代表W0，C1代表W1（W0后第二个4字节数据，内容为1983），C2代表W2（W0后第三个4字节数据，内容为2219）以此类推，C3代表W3，内容为10，代表数据帧0的第四个4字节数据将拆分为2个2字节数据（也就是这个地方要按2字节读取，获取两个数值，不再是4字节读取），下一个C4代表W4，内容为01，代表数据帧0的第五个4字节数据将拆分为4个1字节数据，获取四个数值……其中数据帧分为固定头段区（在每个小数据块开头，占一个64字节数据帧）和数据记录区（除固定头段区数据帧外其他数据帧）；
2023-07-25 11:09:06
385
原创 关于seed文件的读取方法
这个子块是个用二进制存储的数据块，它在固定头端区之后，一般在固定头端区最后一个信息：字段18 （第一个子块）（偏移量，一般是在固定头段区后48字节的位置）数据块和数据块之间一般没有间隔，数据块的识别我是通过文件顺序读取检索关键字的方式处理的。该子块需要获取的内容由：编码格式、字序、数据记录长度等信息（这里有些信息在上面的数据块中已获取到）这里可以同过顺序读取关键字来定位数据块的起始位置和数据块长度（其中数据块长度是包含数据块名称）获取逻辑卷存储长度（这个是后面数据内容中数据块的存储大小（大块））；
2023-07-24 18:44:45
942
原创 未使用自定义secret并且使用helm安装harhor证书过期处理方法
直接使用helm安装harbor，在secret中的harbor-ingress的证书有效期是1年，过期后的处理方法需要用helm卸载harhor，并用harbor在原配置的基础上再重装一次就可以解决。我承认这是个笨方法，也许还有别的办法，不过我这里是使用上述办法实验成功的。重装不用害怕数据丢失只要你之前harbor安装时数据已经持久化到存储或本地硬盘上了，一般重装不会丢数据。
2023-05-17 11:47:37
362
原创 k8s学习笔记——创建一个用于微服务测试的镜像（curl）
我在docker官网上没怎么找到有curl工具的镜像busybox内没有只有简单的网络命令。于是自己动手做了一个，方法如下：创建Dockerfile文件From ubuntu:latest#安装curl telnet 和常用ping ifconfig等网络命令RUN apt-get update && apt-get install -y curl telnet net-tools打包镜像上传至私有镜像仓库//打包镜像sudo docker build -t co
2022-04-19 09:50:24
2036
原创 k8s学习笔记——traefik tcp转发
k8s traefik tcp 转发需要在部署完deploy和svc后，设置两样东西，一个是ingress，一个是ingressroutetcp。其中一样ingress设置和普通的http转发设置基本一样。这里设置的tcp转发都是非tls的。以设置mysql为例//mysql-ingressroutetcp.yamlapiVersion: traefik.containo.us/v1alpha1kind: IngressRouteTCPmetadata: name: mysql-ingre
2022-04-06 22:46:39
5060
原创 k8s学习笔记——redis集群安装+cephfs存储
//参考Kubernetes 部署Redis主从服务(StatefulSet)_BigQ2020的技术博客_51CTO博客大体和参考链接内容相同，只是个别需要修改，我的docker镜像是用的ubuntu shell执行用的是bash，相应参数有调整// launch.sh#!/bin/bashPASSWORD=$(cat /etc/redis-passwd/passwd)if [ ${HOSTNAME} = "redis-0" ]; then redis-server --bin.
2022-03-19 20:56:43
669
原创 微服务——安装cephfs+consul集群
参考：k8s部署consul集群 | 虫子个人博客基本内容同参考连接一致，只是在consul.yaml中略微改动。参考文档中存储是挂载的nfs，我这里是用的cephfs，修改内容如下：volumeClaimTemplates: - metadata: name: consul namespace: cephfs annotations: volume.beta.kubernetes.io/storage-class: "cephfs"
2022-03-17 08:20:16
585
原创 k8s学习笔记——cephfs
cephfs安装参考：//创建 Ceph 文件系统 — Ceph Documentation//CephFs的操作方法 - 系统运维 - 亿速云
2021-11-02 09:48:32
1402
原创 k8s学习笔记——cicd前手动部署测试
为能搞明白使用jenkins、harbor、gitlab进行CICD部署的流程，我先进行了一下不使用其软件进行部署的过程，明白了这个过程，在配置上述自动化部署的工具时也就知道了大体回路。以部署一个使用springboot做的helloword程序为例1、将spingboot项目先用maven打包成jar文件在项目目录下使用命令mvn clean package就可以在target目录下看到生成的helloworld.jar文件，使用java -jar helloword.jar命令运行一下看
2021-10-20 11:15:17
279
原创 k8s学习笔记——安装k8s资源监控
参考//metrics-server部署 - 简书下载yaml文件和镜像wgethttps://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml这个yaml文件中的metrics-server镜像地址为外国地址，由于墙的原因下不了，需要先手动到Docker Hubhttps://hub.docker.com/下载，我这里下载的版本是V0.5.0手动换一下标签sud.
2021-09-26 10:50:28
179
原创 k8s学习笔记——关于harbor与docker
最近半个多月我被vim编译器坑死了，自己挖了个大坑，耗时20多天才爬出来。不管怎么样，爬出来了，总该庆贺一下。我前不久安装了harbor要建立私有仓库。要创建自己的私有仓库首先要配置harbor同docker通信，要让docker可以通过login登录harbor，并且可以通过push上传镜像到harbor里面。我的harbor是通过helm安装，ingress控制器使用的traefik，并将traefik的服务通过noteport暴露出来，使之所有https服务都有了统一的访问入口，端口号为3..
2021-09-07 11:35:17
1379
原创 k8s学习笔记——关于ceph存储卷卸载异常
在cephrbd存储中动态分配pv，我遇到两次删除不掉pod的问题（具体原因还暂时没搞明白），所有pod都显示Terminating状态。使用如下命令可以强制删除：kubectldeletepods <pod> --grace-period=0 --force但是pod删除后，pod动态挂载的pvc也会删除异常，我这里也使用了强制手动删除的方式，删除pvc和pv。经过这么一翻操作后发现ceph的rbd不会释放，使用ceph df查看已占用空间不变。使用rbd ls <...
2021-08-30 08:21:00
1336
原创 k8s学习笔记——gitlab\harbor\jenkins安装
//安装参考https://blog.51cto.com/u_15127693/2824724
2021-08-17 11:14:45
578
原创 k8s学习笔记——traefik tls设置
//生成证书密钥，参考https://www.cnblogs.com/tugenhua0707/p/10927722.html
2021-08-15 21:45:20
767
原创 k8s学习笔记——关于traefik 2
关于ingress使用traefik作为控制器traefik官网推荐使用ingressroute 是有traefik开发的组件，但是traefik也是支持ingress的。我查了好多资料，发现要使用ingress必须要设置好两个东西1、ingressclass这个组件若使用helm按照traefik，安装时系统就给创建好了。kubectl get ingressclassNAME CONTROLLER PARAMETERS AG
2021-08-12 15:40:07
621
原创 k8s学习笔记——基础知识
1、关于svc中ClusterIP的API格式https://localhost:6443/api/v1/namespaces/$ns/services/$svc前提是token具有相应访问权限//获取token=$(kubectl describe secret $(kubectl get secret -n kube-system |grep default |awk '{print $1}') -n kube-system |grep -E '^token' |cut -f2 -d':
2021-08-06 17:15:39
1046
原创 k8s学习笔记——ceph pv rbd动态挂载2
接着上一篇“ceph pv rbd动态挂载”写起。docker镜像里的ceph升级后，可以正常运行了，不过过了一段时间，再重新创建需要分配存储的文件，发现有出问题了。通过查看rbd-provisioner pod上的log信息发现和原来报错一样，登陆到容器里后发现ceph的版本有还原回去了。忽然想起来k8s中每个pod都是有生命周期的，对于用户来说，查看服务并没有中断或别的什么变化，但是你可以查看pod的name名称是有变化的。一旦重新生成个新pod那么里面的image也相应有动作，默认情况下i..
2021-08-06 09:00:07
332
原创 k8s学习笔记——关于traefik 1
//参考：https://cloud.tencent.com/developer/article/1615712已测试
2021-08-04 23:03:36
1734
原创 k8s学习笔记——ceph pv rbd动态挂载
//参考https://github.com/kubernetes-retired/external-storage/tree/master/ceph/rbd//参考https://www.wenjiangs.com/doc/hqefraum1、创建pool，动态pv专用的数据池2、创建ceph-secret.yamlapiVersion: v1kind: Secretmetadata: name: ceph-secret-admin namespace: kube-syste
2021-08-02 18:12:51
2417
原创 k8s学习笔记——k8s pv rbd手动挂载
//创建imageceph osd pool create kube 9 9 //可做或者使用默认的rbdrbd pool init kuberbd create --size 2048 kube/static_pv//获取管理key并进行64位编码ceph auth get-key client.admin | base64将内容保存下来//创建ceph-secret-default.yamlapiVersion: v1kind: Secretmetadata:
2021-08-02 17:40:38
617
原创 k8s学习笔记——ceph rbd本地手动挂载
//在客户端节点上执行1、创建rbd手动挂载//cephosd pool create <pool> [<pg_num:int>] [<pgp_num:int>]sudo ceph osd pool create rbd 5 5//初始化pool为rbd应用//rbd应用格式属于块存储，可以直接当硬盘挂载到操作系统或k8s容器下，不过不支持多点挂载同一个image，无法实现多点文件共享交换sudo rbd pool init rbd//创..
2021-08-02 17:05:46
1886
原创 k8s学习笔记——ceph客户端安装
在非monitor节点安装ceph客户端可以配置操作ceph集群1、首先查看操作系统版本，最后和ceph集群版本一致lsb_release -auname -r2、ceph集群安装（前期准备）在每一台客户端机器上设置一遍3、安装ceph在monitor的管理节点上，在创建的ssh免密登录用户下执行(在hosts上添加客户端hostname)ceph-deploy install k8s70131在管理节点上，用ceph-deploy把 Ceph 配置文件和ceph.c...
2021-08-02 15:47:55
563
原创 k8s学习笔记——ceph集群扩展
添加mds要使用CephFS，至少需要一个元数据服务器ceph-deploy mds create k8sceph70201添加mon为保证集群的高可用，设置3个monitor节点首先，修改/etc/ceph/ceph.conf文件//在[global]下添加mon_initial_members = k8sceph70201,k8sceph70202,k8sceph70203mon_host = 10.12.70.201,10.12.70.202,10.12.70.203
2021-08-02 15:27:31
159
原创 k8s学习笔记——ceph集群安装
如果//ubuntu系统添加 release keywget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -添加Ceph软件包源echo deb http://download.ceph.com/debian-octopus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list更新仓库，并安装cep..
2021-08-02 13:10:21
1712
原创 k8s学习笔记——ceph集群安装（前期准备）
参考http://docs.ceph.org.cn/start/intro/使用ceph-deploy安装
2021-08-01 17:47:57
207
原创 k8s学习笔记——dashboard安装
//安装dashboardcurl https://raw.githubusercontent.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yamlkubectl apply -f ./recommended.yaml//创建serviceaccountkubectl create serviceaccount dashboard-admin -n kubernetes-dashboard//创建clusterrolebind
2021-08-01 17:40:31
157
原创 k8s学习笔记——keepalived非容器安装
//用keepalived 配置vip配置 keepalivedhost1 上 keepalived 配置$ cat /etc/keepalived/keepalived.confvrrp_instance VI_1 { state MASTER interface eno1 virtual_router_id 51 priority 101 advert_int 1 authentication { auth_type PASS ...
2021-08-01 17:17:51
117
原创 k8s学习笔记——iptables
2、iptables -L [-t 表名]只查看某个表的中的规则。说明：表名一共有三个：filter,nat,mangle，如果没有指定表名，则默认查看filter表的规则列表（就相当于第一条命令）。举例：iptables -L -t filter3、iptables -L [-t 表名] [链名]这里多了个链名，就是规则链的名称。说明：iptables一共有INPUT、OUTPUT、FORWARD、PREROUTING、POSTROUTING五个规则链。ip
2021-08-01 17:10:59
1158
原创 k8s学习笔记——iptables基础
表顺序：raw - mangle - nat - filterFILTER:INPUT链 处理来自外部的数据 OUTPUT链 处理向外发送的数据 FORWARD链 将数据转发到本机的其他网卡设备上NAT: PREROUTING链 处理刚到达本机并在路由转发前的数据包，常用于DNAT POSTROUTING链 处理即将离开本机的数据包，常用于SNAT OUTPUT链 处理本机产生的数据包MANGLE: 用于指定如何处理数据包。能改变TCP头中的QoS...
2021-08-01 17:09:00
768
原创 k8s学习笔记——calico
calico是k8s集群安装所用到的网络组件，calico与fannel相比具有访问控制功能，复杂性也更高些。在节点加入集群时，如果节点没有安装calico组件，节点会处于NotReady状态。安装方法之前介绍过，可以通过官网下载https://docs.projectcalico.org/getting-started/kubernetes/quickstart yaml文件保存为calico.yaml下载到节点本地，将里面的网络域修改为自己设定的网络域，然后安装。比如下载3.8版本的calico，将..
2021-08-01 17:04:48
4213
原创 k8s学习笔记——设置ntp服务器
1、安装apt install -y ntp ntpdatentpdate -u times.aliyun.com//设置时区sudo dpkg-reconfigure tzdata //配置时区，选择shanghai2、找到 server ntp 服务器 iburst 的记录，用 # 注释掉sudo vim /etc/ntp.conf3、添加阿里云 NTP 服务器地址server 0.cn.pool.ntp.org iburstserver 1.cn.pool.ntp.or
2021-07-06 16:30:28
1081
原创 k8s学习笔记——将iptables模式转为ipvs
K8S中iptables和ipvs区别https://blog.csdn.net/qq_36807862/article/details/106068871kubectl edit cm kube-proxy -n kube-system//修改kind: KubeProxyConfigurationmetricsBindAddress: 127.0.0.1:10249mode: "ipvs"//重启kube-proxykubectl get pod -n kube-system .
2021-06-23 11:30:52
611
原创 k8s学习笔记——添加worker节点
在安装完master节点后，下一步就是添加worker节点，如果以前机器上已经运行过kubeadm命令，在添加之前需要先清空一下，使用kubeadm reset命令。然后删除网络插件sudo rm -rf /etc/cni/net.d删除用户权限文件sudo rm -rf /root/.kube/config && sudo rm -rf $HOME/.kube/config1、如果kubeadminit时没有保存下来token信息或者token已过期，需要重新生成token。.
2021-06-23 11:25:53
3461
原创 k8s学习笔记——安装中常见错误2
1、执行kubeadm init集群初始化时遇到或join：[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd".解决方法：vim /etc/docker/daemon.json加入以下内容：{"exec-opts":["native.cgroupdriver=systemd"]}systemctl .
2021-06-23 09:49:39
1309
原创 k8s学习笔记——安装
所有节点需要设置一下系统参数cat <<EOF >/etc/sysctl.d/k8s.confnet.ipv4.ip_forward = 1net.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1EOFsysctl -p /etc/sysctl.d/k8s.conf2.、更新k8s的镜像源curl https://mirrors.aliyun.com/ku.
2021-06-04 18:03:11
661
原创 k8s学习笔记——安装前的准备2
keepalived高可用部署的k8s架构是由3个master节点和多个worker节点组成。master节点上主要运行k8s系统注册服务中心etcd、apiserver
2021-06-02 17:11:04
261
QtRedis-master.rar
2020-01-14
诺基亚N85刷机程序
2012-02-11
doc转换jpg工具（新）
2011-02-20
word文档转换jpg图片工具
2011-02-17
soal病毒恢复工具
2009-10-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人