- 博客(73)
- 收藏
- 关注
RSS订阅原创 CICD系列之k8s
k8s 安装操作系统配置主机规划hosts配置(所有主机都要配置)防火墙配置(所有主机都要配置)内核配置参数(所有主机都要配置)selinux 和 swap配置(所有主机都要配置)ipvs配置(所有主机都要配置)安装docker安装k8s组件配置k8s组件安装yum源安装kubelet,kubeadm,kubectl(所有节点都要安装，工作节点不用安装kubectl)设置kubelet开机自启动初始化集群(主节点操作)获取集群默认启动配置并修改启动集群给当前用户执行kubctl客户端权限查看集群信息节点ta
2021-06-26 12:30:23
416
原创 CICD系列之jenkins
jenkins专题安装docker安装jenkins配置jenkins记录jenkins安装、配置、使用的常用操作linux物理机安装安装dockerdocker安装与配置安装jenkins# 创建docker桥接网络docker network create john-net# 编写jenkins服务管理脚本vim jenkins.sh#! /bin/bash#### docker jenkins manage shell ########if [ ! -n "$1" ];
2021-04-26 12:22:14
175
原创 CICD系列之harbor
镜像仓库专题安装docker & docker-compose安装harbor下载并解压安装文件修改配置文件安装、管理harbor访问harbor重点提示记录镜像仓库的常用操作。安装docker & docker-composedocker & docker-compose安装与配置安装harbor下载并解压安装文件# 下载到指定目录并进入该目录wget https://github.com/goharbor/harbor/releases/download/v2.2.
2021-04-25 20:37:34
330
原创 idea骚操作系列(1) 连接远程docker
idea连接远程docker安装docker并配置启用远程连接idea连接远程docker配置docker连接，连接远程docker场景1、2：发布应用镜像到远程服务器、私有仓库新建spring boot项目(略)配置pom.xml文件配置dockerfile(配置文件在项目根目录下)发布应用镜像到远程服务器、私有仓库命令行方式启动容器场景3: 直接在本地运行应用容器添加启动配置记录idea连接远程docker发布应用镜像到docker服务器、发布应用镜像到私有仓库及直接运行应用容器3个场景安装dock
2021-04-25 12:54:34
529
原创 CICD系列之docker
Docker专题Docker安装官网安装教程卸载老版本配置docker yum 源安装docker配置docker配置daemon.json配置支持远程连接Docker常用命令记录个人认为有价值的所有跟docker相关的配置和操作Docker安装官网安装教程卸载老版本sudo yum remove docker \ docker-client \ docker-client-latest \
2021-04-25 10:47:06
197
原创 高可用_keepalived + haproxy
前言：查了下阿里云和腾讯云目前都不支持vip。腾讯云vpc环境通过keeplived生成的vip, 其他服务器无法访问,且外网无法访问，所以这里的vip用的是vpc主机的真实外网ip。1.部署keepalived安装keepalived yum install -y keepalived 配置keepalived vim /etc/keepalived/keepalived.conf 内容如下:! Configuration File for keepalived...
2021-03-25 16:17:14
212
1
原创 centos系统 用kubeadm 搭建高可用k8s集群
官网教程(部分国外镜像源下载会超时)1. 安装前调整系统配置启用桥接防火墙(透明网桥)功能 cat >/etc/modules-load.d/k8s.conf <<EOFbr_netfilterEOF 开启iptables对bridge的数据进行处理 cat >/etc/sysctl.d/k8s.conf <<EOFnet.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-.
2021-03-01 15:14:03
189
原创 linux服务器多台机器之间打通ssh免密登录
前提：有一台机器能连外网，多台机器之间网络互通原理就是多个服务器共用一个私钥，然后把不同服务的公钥记录在known_hosts文件里，每台服务器都放一份1. 安装expectyum 方式安装（推荐） #!/bin/bash# install expectSUCCESS_FLAG=$(expect -v | awk '{print$3}')if [ ! -z $SUCCESS_FLAG ]; then echo "expect$SUCCESS_FLAG already ins
2021-02-20 14:57:38
670
原创 docker 部署api中间件kong
1.docker 部署kong-database（postgres）详细参考docker 部署数据库(kong不支持postgres12及以上版本，latest版本已经13+了) 启动数据库服务:/usr/bin/docker run --net host --restart=always -d --name kong-database \ -e POSTGRES_DB=kong -e POSTGRES_USER=kong -e POSTGRES_PASSWORD=kong ...
2021-02-01 14:25:40
244
原创 docker 部署数据库
1. docker部署postgresql查找镜像: docker search postgres 下载镜像: docker pull postgres 登入镜像内部查看配置文件路径: docker run --rm -it postgres/bin/bash (未找到) 添加环境配置文件/data/instrument/postgres/conf/postgresql.conf 内容如下 data_directory = '/var/lib/postgresql/data' listen..
2021-02-01 11:27:24
392
原创 docker 部署常用中间件
1. docker 部署nginx查找镜像: docker search nginx 下载镜像: docker pull nginx 登入镜像内部查看配置文件路径: docker run --rm -it nginx /bin/bash (/etc/nginx/..) docker ps 查看对应的容器id 比如是:83f6d53c4194 把配置文件拷贝到宿主机(不需要提前建好目录): ### 没有目录会先生成conf目录，然后把nginx目录下的文件和目录直接考的conf目录doc..
2021-01-29 19:10:20
742
原创 搭建docker私有仓库并部署镜像到私有仓库和docker hub
1. docker 搭建私有仓库--http 无密码(需要认证可以参考这篇博客 https://www.cnblogs.com/QicongLiang/p/docker.html)查找镜像: docker search registry 下载镜像: docker pull registry(官方镜像) 修改docker配置(registry默认是https协议):vim /etc/docker/daemon.json 添加下面内容insecure-registries最好把内网和外网都配置下,重..
2021-01-29 12:19:57
410
原创 centos7系统搭建k8s(minikube)
1.官网安装教程（选择RPM package） 下载rpm安装包:curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-latest.aarch64.rpm 安装:sudo rpm -ivh minikube-latest.aarch64.rpm 新增启动账号(minikube不能通过root账号启动，minikube相关操作都用这个新增的用户):useradd -g docke...
2021-01-26 11:40:03
543
原创 docker & idea 集成开发环境搭建
1.官网安装教程2. 配置国内镜像仓库vim/etc/docker/daemon.json 添加以下内容 { "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn/"] } 重启docker守护进程 sudo systemctl restart docker 3. docker常用操作docker search imageName 搜索镜像(模糊搜索) docker pull imageName 拉取镜像 dock..
2021-01-21 18:49:43
1142
原创 web服务器系列_nginx实战
nginx安装使用官网安装教程1. 安装依赖 yum -y install yum-utils2. 配置yum源 vim /etc/yum.repos.d/nginx.repo###稳定版####[nginx-stable]name=nginx stable repobaseurl=http://nginx.org/packages/centos/$releas...
2020-04-16 22:30:41
159
原创 性能监控系列_zabbix实战
本篇文章记录了zabbix结合apache服务器和nginx服务器的搭建过程。1. 安装yum源 rpm -Uvh https://repo.zabbix.com/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-2.el7.noarch.rpm yum clean all 2. 安装依赖插件 yum provid...
2020-04-16 21:52:59
250
原创 spring-boot系列(2) 中间件配置
**写在前面，最近在搞spring boot项目集成radis,redis-cluster,rabbitmq,mybatis。各种百度都是给个基本上都是给个现成的配置。根本不知道他们有哪些东西可以配置。以及为什么要怎么配置。这篇文章是记录spring boot 项目集成中间件。包含spring boot自动集成的和第三方自己实现start集成的。**spring-boot自带的中间件配置...
2020-02-21 13:08:17
2269
原创 前端summer-front开发系列二：初始化项目（Vue，element-ui）
全局安装vuecnpm install -g @vue/cli在新文件夹下创建项目vue create summer-front安装element-uicnpm install element-ui --save-dev安装插件样式： cnpm install node-sass sass-loader style-loader --save-devhttp插件：cnpm in...
2020-02-17 05:35:38
204
原创 持续集成系列_Jenkins安装使用
1 添加jenkins安装源 wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo2 导入公钥 rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key3 安装jenkins yum inst...
2020-02-13 12:01:06
241
原创 持续集成系列_JDK安装配置
写在前面，记录是为了快速重现，避免重复工作耗费过多时间。并不会涉及很多深层原理。当然遇到有价值问题，如果解决了也会记录，原则上还是方便重复工作的时候能快速重现。1 官网下载java tar包,如jdk-8u211-linux-x64.tar.gz 下载地址：jdk8下载路径 2 安装jdk 新建目录: mkdir -p /data/jdk 把下载的安装...
2020-02-12 11:57:45
111
原创 中间件系列_rabbitmq安装(更新)
1. 添加erlang源 在/etc/yum.repos.d目录下新建rabbitmq-erlang.repo文件，添加内容： [rabbitmq-erlang] name=rabbitmq-erlang baseurl=https://dl.bintray.com/rabbitmq-erlang/rpm/erlang/22/el/7 gpgcheck=1...
2020-02-03 22:44:07
357
原创 中间件系列_单机搭建redis-cluster集群
------------------------------------------------------------------ 非核心操作 -----------------------------------------------------------------------------------安装epel源： rpm -ivh https://dl.fedorapro...
2020-02-02 22:56:34
215
原创 前端summer-front开发系列一：前端环境准备（node.js npm vscode）
写在前面: 作者是个后端开发人员，为了体验下前后端分离开发模式下，前端是如何工作的，同时为了锻炼全栈能力，特此研究了相关内容。内容有点肤浅，着重在实践上，为了体现前后端整体开发环境。安装环境：win7 64位系统安装内容：1.Node.js 安装配置我的前端第一篇文章，可供参考，本篇不再介绍2. vs-code 安装使用 2.1进入vscode下载页面下载压缩版...
2019-10-14 23:22:46
358
原创 数据库系列_shell脚本连接postgresql并操作数据库
以前抽数据都是重其他数据库抽取到postgres数据库的所以选择kettle。新项目需求里需要把客户给的csv文件数据抽到postgresql，其中还需要对相关字段进行清洗。先声明下kettle也可以实现，但是总感觉依赖第三方软件抽数据不如直接操作数据库，除非逼不得已，尽量不用（纯属个人见解）。于是就研究linux直接连接数据库处理这部分需求。代码如下#!/bin/bash# ***...
2019-01-08 16:22:46
11855
3
原创 pgsql使用积累系列_pg存储过程（函数）创建(以手机号校验为例)
pg数据库里面没有地道的存储过程（procudure），取而代之的是函数。函数的编写支持多种语言，底层的库函数通常是用C语言编写的，应用级别函数可用sql和pgsql。下面通过一个通用的手机号清洗的函数，来展示一个函数的级别要素，通用函数构造方案，及postgresql中正则表达式的使用和拼接包含字符串的字符串方法。整个函数的功能，就是通过传入的表名，表主键及需要清洗的手机号字段，...
2019-01-08 13:00:23
2806
原创 pgsql使用积累系列_pg数据库插件安装(以创建外部表连接为例)
pg数据库插件安装看这一篇就足够了写在前面pgsql的外部表连接就是dblink，通过不同的外部连接插件可以实现pg库操作其他数据库（pg数据库或者mysql等其他类型的数据库）。这里以外部连接其他pg数据库和mysql为例，聊聊pg数据库插件安装。1. 安装postgresql(10.1)参考链接：postgresql10安装2. 查看可安装插件yum search post...
2018-12-07 17:42:17
1423
原创 自动化系列_cron配置定时任务(pg数据库备份实战)
以postgresql数据库备份为例。1. vim /data/backup.sh 编写测试脚本backup.sh内容如下，需要注意的是crontab并不能识别/etc/profile配置的环境变量，在执行crontab用户的家目录配置环境变量不确定有没有用，索性就用绝对路径了。#普通备份#/usr/pgsql-10/bin/pg_dump -h 127.0.0.1 -p 5432...
2018-12-07 15:08:45
429
原创 tensorflow环境搭建
写在前面：windows10环境；anaconda(只有python3.7和python2.7版本及Miniconda)，Miniconda:anaconda软件的最小安装版；安装tensorflow(windows环境只支持python3.5/3.6)。本人偷懒安装的是python3.7的anaconda，安装后想了下好像安装Miniconda更好点，用到的包再去安装应该比直接就把不...
2018-11-09 09:15:04
181
转载 十分钟学会写shell脚本
转载：http://www.cnblogs.com/handsomecui/1.在linux下会写shell脚本是非常重要的，下面我参照例子给大家展示几个脚本，顺带这学习shell 的语法：什么时候helloworld是必不可少的，第一个脚本肯定与helloworld是离不开的：#!/bin/sha="hello world!"num=2echo "a is : $a num ...
2018-11-01 23:34:20
129
原创 python3环境搭建
linux环境（centos7）：查看是否已安装python版本：python -V一般系统会自带安装python2的，yum等其他软件会用到查看系统自带安装的python2的位置whereis python找到python2的可执行脚本位置，安装好python3,需要创建软连接到对应位置查看并安装python3依赖，如果已经安装的话就不用再安装了rpm -qa zlib...
2018-11-01 20:46:16
353
转载 tomcat证书文件转nginx证书
https://blog.csdn.net/ziruominglin/article/details/78350858前提条件：tomcat已经配置过https,防火墙里已经配置端口规则由nginx转发配到tomcat:比较关键的一步是将jks转成cer、key,其中key必须是没有密码的Nginx证书配置：tomcat证书jks文件转nginx证书.cet和key文件1.查看...
2018-10-30 10:12:05
1855
原创 pgsql使用积累系列_安装pg_stat_statements获取慢sql
1. 安装postgresql(10.1)参考链接：postgresql10安装2. 配置postgresql.conf文件打开配置文件找到shared_preload_libraries，添加pg_stat_statements，配置好要重启pgsql。如下图所示3. 连接指定数据库，并安装pg_stat_statements插件psql -p 5433 -d pg...
2018-10-29 17:54:19
576
原创 pgsql使用积累系列_pg数据库定时任务配置
1. 安装postgresql(10.1)参考链接：postgresql10安装2. 安装服务端pgadmin4在postgresql10版本中 pgadmin4 yum源已经包含在postgresql数据库安装的yum源中，不需要再另行处理直接安装yum -y install pgadmin43. 安装postgresql(10.1)对应版本的插件安装yum源yum...
2018-10-24 17:35:05
4610
5
原创 数据库系列_postgresql安装使用
1.6.1 分配存储格式化磁盘vdb：mkfs –t ext4 /dev/vdb新建文件夹：mkdir /data挂载磁盘到/data：mount /dev/vdb /data新建文件夹/data/pg_data：mkdir /data/pg_data1.6.2 安装postgresql yum源yum install -y https://download.postgre...
2018-10-24 16:41:14
554
原创 ETL（kettle）实战三：数据抽取规范
写在前面：上一篇谈到的规则及这一篇谈到的规范都是本人的经验总结，不代表一定正确。kettle开发规范：1. 对于会发生变化的因素要用变量替换，不能写死。根据需求严格区分在未来哪些有可能变化的，哪些一定会变化的及哪些是不变的，如做增量数据抽取时，增量的时间范围未来就是有可能会发生变化的。通常情况下数据库是一定会变化的(开发环境和测试环境及生产环境通常都是不一样的)，变量要控制作用域，即合理的...
2018-08-12 11:46:36
3209
原创 ETL（kettle）实战二：数据抽取原则分享及简单使用介绍
关于kettle使用的场景简单总结下。1.异构数据库或者跨库数据抽取,用kettle的转换比较方便，数据的适配是在内存中进行的，性能比dblink之类的要好。2.同构数据库能通过简单的sql跨库（mysql,seqlserver等）跨schema（pgsql）操作的，建议直接使用kettl的sql脚本，性能要好点，通过脚本独立出来，维护也方便点（转换只能在kettl工具中维护，sql可以在...
2018-08-04 20:36:50
2657
原创 ETL（kettle）实战一：kettle安装
抽数据快半年了，总结下这半年来的工作。ETL安装，安装依赖jdk8（自行安装，jdk需要配置环境变量）下载ETL工具.kettle稳定版 （windows,linux通用） 下载后的文件是压缩包，解压到文件，配置下环境变量就可已使用了。linux安装同理，需要先安装jdk,然后解压文件，然后配置/etc/profile，配置完记得执行下source /etc/profile使配置文件生效。...
2018-07-19 19:22:22
697
原创 linux基础系列_查看服务器信息
查看cpu:查看CPU信息（型号）[root@AAA ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c24 Intel(R) Xeon(R) CPU E5-2630 0 @ 2.30GHz# 查看物理CPU个数[root@AAA ~]# cat /proc/cpuinfo| grep "physical id"| sort| uni...
2018-06-21 10:46:38
192
原创 持续集成系列_gitlab安装使用
写在前面。因为好多开源软件的安装会使用到epel yum源,虽然跟gitlab无关，但是作为一个系列epel有必要作为基础软甲安装下。1. 下载epel的rpm包，这个网站包含了各个版本epel，你可以选择你需要的fedora epel网址2. 安装epel rpm -ivhepel-release-latest-7.noarch.rpmgitlab功能比较多，适合想研究代码托管服务...
2018-06-08 08:36:30
334
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人