- 博客(133)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 配置Linux服务器为http&https代理服务器
1： Centos操作系统安装： yum install tinyproxy配置修改：vi /etc/tinyproxy/tinyproxy.confPort 8888 //预设是8888 Port,你可以更改Allow 127.0.0.1 //将127.0.0.1改成你自己的IP//Allow 192.168.1.0/24 #表示一个网络的IP启动：service tinyproxy start...
2022-01-11 10:54:38
781
原创 NTP服务的安装和使用
NTP服务的安装和使用本文是基于CentOS 7.3系统环境，进行NTP的安装和使用一、NTP简介(1) NTP网络时间协议，英文名称：Network Time Protocol（NTP）是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源（如石英钟，GPS等等)做同步化，它可以提供高精准度的时间校正（LAN上与标准间差小于1毫秒，WAN上几十毫秒），且可介由加密确认的方式来防止恶毒的协议攻击。NTP的目的是在无序的Internet环境中提供精确和健壮的时间服务。二、NTP的
2021-03-17 17:11:14
704
原创 快速部署单机版本k8s（kubernetes 1.13）
一，关闭selinux和firewalld# setenforce 0# systemctl stop firewalld# sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config# systemctl disable firewalld二，禁用swap# swapoff -a三，安装docker这里可能会碰到yum源的问题，建议改成国内的源，速度比较快# yum -y install yu
2021-03-17 16:53:59
365
原创 Android使用adb工具及root权限完成手机抓包
1.环境准备/注意： 手机要求已经root。首先需要配置JDK环境变量，这里主要讲解抓包，JDK环境变量配置跳过。将包内附带的adb.zip解压到C盘根目录。 整个操作过程都需要用手机用数据线连接电脑。点击运行，打开cmd窗口，运行cd至adb目录然后把tcpdump程序 发布至手机上adb push c:/tcpdump /data/local输入命令进入手机...
2020-05-07 10:13:07
1267
原创 反编译微信小程序
前言最近有一个任务，就是让我试下反编译微信小程序，搞起。事先说明，写这篇博客，只是为了记录过程，不建议大家都去反编译，毕竟都是别人的劳动成果。然后反编译的这个事例，也打了码。如果贵公司的人发现了，希望及早更新处理下，以免接口的泄露。准备工具1、node.js环境，https://nodejs.org/en/2、反编译脚本，https://github.com/qwerty472123...
2020-05-07 10:04:36
649
原创 开源SQL解析工具－Apache Calcite
概念Apache Calcite 是一款开源SQL解析工具, 可以将各种SQL语句解析成抽象语法术AST(Abstract Syntax Tree), 之后通过操作AST就可以把SQL中所要表达的算法与关系体现在具体代码之中。Calcite的生前为Optiq(也为Farrago), 为Java语言编写, 通过十多年的发展, 在2013年成为Apache旗下顶级项目，并还在持续发展中, 该项...
2020-03-11 16:56:36
10638
原创 kubernetes工作原理（二）－iptables
前言虚拟化的网络可以自由的在本地进行基于单机的网络配置或者借助一些互联技术(underlay、overlay或者点对点技术)在虚拟网络内部空间实现跨节点和数据中心的网络互联，但是如果虚拟网络内部的服务要对外进行暴露，就不得不借助地址转换或者端口转换等数据包修改技术。而在现有的container管理框架中，iptables更是承担了服务暴露和服务后端负载均衡等功能，是诸如kubernetes、O...
2020-03-09 17:06:38
3133
原创 kubernetes工作原理（一）－利用iptables对外暴露service
前言Kubernetes利用iptables达成以下两个目的：1）对外暴露POD和服务2）简单的负载均衡在kubernetes worker node的iptables的NAT表的prerouting和output链表会出现如下规则作为kubernetes相关的数据包操作的入口：-A PREROUTING -m comment --comment "kube hostpo...
2020-03-09 17:00:10
2198
原创 云计算－Ironic概念
Ironic结合多个驱动提供一套hypervisor API来操作物理机，类似提供一个hypervisor驱动来供Nova使用。简介：简而言之，OpenStackIronic就是一个进行裸机部署安装的项目。 所谓裸机，就是指没有配置操作系统的计算机。从裸机到应用还需要进行以下操作： （1）硬盘RAID、分区和格式化； （2）安装操作系统、驱动程序； （3...
2020-03-06 16:50:42
1649
原创 Kubernetes 运行strom（七）
前提：已经安装运行Kubernetes集群安装步骤：1: 启动Zookeeper服务ZooKeeper是一个分布式协调者服务，Strorm使用它来作为引导程序和存储运行状态数据使用examples/storm/zookeeper.json来创建一个运行ZooKeeper服务的pod。kubectl create -f xxxx/zookeeper.json然后使用...
2020-03-03 08:20:06
3868
原创 Kubernetes 运行flink（六）
概念：Flink 由Job Manager和Task Manager两个部分组成，Job Manager负责协调流处理作业，管理作业的提交以及生命周期，并把工作分配给任务管理器。任务管理器执行实际的流处理逻辑，同一个时间只能一个活跃的Job Manager，但可以有多个Task manager。Flink还引入Checkpoint机制，来周期性记录各种流处理操作的状态，并且进行持久化存储，...
2020-03-03 08:18:58
4505
2
原创 Kubernetes运行hive（五）
目的：hive 可以基于hadoop mr或者Spark进行高层次的数据处理前提：安装之前先要保证hadoop的目录可以为root用户读写：hadoop fs -chown root:root /1: 构建镜像下载依赖mkdir -p hive/image-buildcd hive/image-buildwget http://download.oracl...
2020-03-03 08:13:03
2944
3
原创 Kubernetes的Spark运行Terasort(四)
目的：Terasort测试Kubernetes平台对于Spark计算过程前提：从HDFS读取能力向HDFS写入能力shuffle中网络读写能力1:准备工作获取代码git clone https://github.com/ehiggs/spark-terasort.git修改编译配置指定合适的spark和scala版本<propertie...
2020-03-02 09:34:24
2290
原创 Kubernetes的Spark安装History Server（三）
目的：通过hadoop的共享目录，可以将Spark运行的状态通过运行在Kubernetes的History Server进行展示和跟踪。前提：保证Hadoop HDFS已经顺利运行并且事先在hdfs建立如下目录：hadoop fs -mkdir ／eventLog在Kubernetes安装Spark History Server1:获取chart代码git ...
2020-03-02 09:23:51
2340
原创 Kubernetes编译并运行基于Scalar的Spark程序WordCount（二）
目的：通过SBT编译scala程序然后在Kubernetes使用Spark运行WordCount任务1: 安装环境和编译安装SBTcurl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repomv bintray-sbt-rpm.repo /etc/yum.repos.d/yum install -y sb...
2020-03-02 09:15:58
2372
1
原创 Kubernetes Scheduler运行Spark（一）
概念：版本2.3.0起，Spark开始支持采用Kubernetes作为native的资源调度器；使用Kubernetes作为原生调度器需要满足如下的前提条件：Spark 2.3+ Kubernetes 1.6+ 有增删改查POD的能力 Kubernetes配置了DNS和传统的Spark运行方式一样，通过spark-submit向Kubernetes提交任务，只是将maste...
2020-03-02 09:13:08
2988
2
原创 Centos 部署k8s集群
主机信息：master节点： 节点功能Master、etcd、Registry； 主机名： master ； IP地址：192.168.80.161node节点： 节点功能Node1； 主机名：node1； IP地址：192.168.80.1621: 设置机器的主机名master主机上执行：hostnamectl --static set-hostname master...
2020-02-28 17:18:37
5776
原创 VMware下创建的虚拟机网络设置
1:设置虚拟机的网络连接模式为NAT2:启动虚拟机，输入指令：ls /etc/sysconfig/network-scripts找到ifcfg-ens33文件；3: vi/etc/sysconfig/network-scripts/ifcfg-ens33修改ONBOOT＝no为ONBOOT＝yes4: 重启虚拟机即可...
2020-02-28 09:06:40
1913
原创 Kubernetes常见运维操作（二）
1:应用滚动升级操作功能： 应用滚动升级操作步骤： 以redis-master为例子，假定当前运行的redis-master Pod是1.0版本，现在要升级到2.0版本 创建redis-master-controller-v2.yaml的配置文件如下： apiVersion: v1 kind: ReplicationController m...
2020-02-24 11:15:31
4592
原创 Kubernetes常见运维操作（一）
K8s运维操作Node隔离和恢复操作功能： Node隔离和恢复操作步骤：node隔离：yaml文件：apiVersion: v1kind: Nodemetadata: name: kubernetes-minion1 labels: kubernetes.io/hostname: kubernetes-minion1spec: unsch...
2020-02-24 11:02:55
4683
原创 K8s常见问题分析&解决（未分类问题三）
1: 高版本docker与老版本Linux内核不兼容，导致内存泄漏详细描述：高版本docker与老版本Linux内核不兼容，导致内存泄漏容器集群中某个计算节点ICMP ping失败，上线查看机器已经宕机，重启后查看内核日志出现：SLUB: Unable to allocate memory on node -1重启后机器不断打出改log。但free查看内存，发现内存有空闲解题思路...
2020-02-21 16:49:45
5774
原创 K8s常见问题分析&解决（未分类问题二）
1:容器内部时间和node节点的系统时间不一致详细描述： 容器内部时间和node节点的系统时间不一致 例如： kubectl exec -it <pod-name> date UTC 2019 node 上的date CST解题思路： 无原因分析： 这个不单单是K8s问题， 单纯使用docker也存在类...
2020-02-21 16:09:21
5448
原创 K8s常见问题分析&解决（未分类问题一）
1:Pod始终处于pending状态详细描述： Pod始终处于pending状态解题思路： 如果pod保持在pending的状态，意味着无法被正常的调度到节点上，由于系统的某些资源无法满足Pod的运行需求原因分析： 系统没有足够的资源或者用户指定了hostPort；通过hostPort用户能够将服务暴露到指定的主机端口上，会限制pod被调度到可运行节点上解决步...
2020-02-19 17:06:21
5667
原创 K8s调度器Kube-scheduler
kube-scheduler简介 调度是容器编排的重要环节，需要经过严格的监控和控制，现实生产通常对调度有各类限制，譬如某些服务必须在业务独享的机器上运行，或者从灾备的角度考虑尽量把服务调度到不同机器，这些需求在Kubernetes集群依靠调度组件kube-scheduler满足。 kube-scheduler是kubernetes中关键模块，扮演管家的角色遵从一套机制为Pod...
2020-02-17 10:39:11
2695
原创 K8s常见问题分析&解决（docker问题）
1:k8s集群内的容器，只能在其所在的节点上curl访问，其他任何主机上无法访问容器占用的端口详细描述： k8s集群内的容器，只能在其所在的节点上curl访问，其他任何主机上无法访问容器占用的端口解题思路： 无原因分析： 主机中网络包转发问题解决步骤： vim /etc/sysctl.conf 找到 net.ipv4.ip_forward=1 ...
2020-02-14 12:10:56
6818
原创 Kubernetes增强型调度器Volcano（适配大数据调度）
Volcano调度器背景 Volcano是基于Kubernetes的批处理系统，为华为开源。Volcano方便AI、大数据、基因、渲染等诸多行业通用计算框架接入，提供高性能任务调度引擎，高性能异构芯片管理，高性能任务运行管理等能力。 Volcano调度的意义 K8s自带的资源调度器，有一个明显的特点：依次调度每个容器。但是在AI训练或者大数据，这种必须多个容器同时配合...
2020-02-13 15:55:20
6890
原创 K8s常见问题分析&解决（基础问题）
1:部分工作节点pod无法启动详细描述： 部分工作节点pod无法启动（处于ContainerCreateing状态）日志： failed to set up ..... Network: failed to set bridge addr解题思路： 日志部分出现网络相关的失败LOG，问题调查的方向主要查看对应网络节点的状态原因分析： 当前节点被反复注册，导...
2020-02-11 17:31:51
6684
原创 K8s常见问题分析&解决（coreDns）
1:docker容器时间与宿主机时间不一致问题详细描述： docker容器时间与宿主机时间不一致问题解题思路： 对比容器和宿主机的时区是否一致；原因分析： 一般情况下主要由于宿主机和容器的时区不一致导致解决步骤： 修改容器内的时区： docker exec -it <容器名> ／bin／bash ln -sf /usr/share...
2020-02-11 16:54:40
12942
1
原创 TcpDump工具基本使用
Tcpdump基本用法：1: 截获192.168.1.10主机收到和发出的所有数据包＃tcpdump host 192.168.1.102:截获主机192.168.1.10 和主机192.168.1.11 或者192.168.1.12的通信＃tcpdump host192.168.1.10 and /(192.168.1.11 or 192.168.1.12/)3:获取主机...
2020-02-11 11:54:23
765
原创 K8s coreDns安装部署教程&简单使用
1: coreDns安装根据需要编辑coredns.yamlapiVersion: v1kind: ServiceAccountmetadata: name: coredns namespace: kube-system---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRolemetadata: lab...
2020-02-11 11:25:14
5081
原创 kubectl命令系列（kubectl apply）
kubectl apply通过文件名或控制台输入，对资源进行配置。接受JSON和YAML格式的描述文件。kubectl apply -f FILENAME示例：# 将pod.json中的配置应用到pod$ kubectl apply -f ./pod.json # 将控制台输入的JSON配置应用到Pod$ cat pod.json | kubectl apply...
2019-12-19 11:31:22
2744
原创 Python Web 爬虫中Selenium插件使用教程
Selenium主要用于Web应用中的自动化测试，是一种比较常用的自动化测试工具；Selenium直接运行在浏览器之中，模拟用户对浏览器的相应操作。可以支持像IE， Firefox、safari，Opera或者Chrome等相关浏览器；在WEB爬虫应用中，我们主要通过Selenium来模拟用户对网页的访问，进而实现用户信息获取。我们以Chrome为例子：1：Selenium安...
2019-12-18 14:28:43
3478
原创 Centos 下yum 安装golang
root账户下执行如下：rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpmyum install golang -y
2019-11-11 13:22:38
834
原创 Openstack O版本以上安装Nova 出现plancement相关错误问题
由于官方文档没有对该部分进行相应的解释，故创建过程会出现相应的问题，具体的安装步骤如下：1）控制结点mysql -u root -pCREATE DATABASE nova_api;CREATE DATABASE nova;CREATE DATABASE nova_cell0;GRANT ALL PRIVILEGES ON nova_api.* TO'nova'@'loca...
2019-10-31 10:43:48
1110
原创 Nova Compute启动报错（no polkit agent available to authenticate action org.libvirt.unix.manage）
主要是WebVirtMgr的安装导致出现的错误，解决方法如下：1、增加libvirtd用户组 groupadd libvirtd2、设置用户到组 sudo usermod -a -G libvirtd $USER3、设置启动libvirtd服务的用户组 vi /etc/libvirt/libvirtd.conf 4、增加权限启动配置...
2019-10-30 19:56:18
1005
原创 Kubernetes 首次创建Pod报错No API token found for service account "default", retry after the token is auto
Kubernetes 初始集群创建首个Pod时候报错：Error from server (ServerTimeout): error when creating "hello-world-pod.yaml": No API token found for service account "default", retry after the token is automatically cre...
2019-10-19 11:45:43
1194
原创 Kubernetes 入门介绍
Kubernetes基础知识 Kubernetes；首先，他是一个全新的基于容器技术的分布式架构领先方案。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。 Kubernetes是一个完备的分布式系统支撑平台，具有完备的集群管理能力，多扩多层次的安全防护和准入机制、多租户应用支撑能力、透明的服...
2019-10-17 17:19:43
1543
原创 LVS&&KeepAlived&&Nginx实现LB方案
相应概念部分：LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。Keepalived作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部...
2019-09-11 11:53:15
1561
原创 Ambari修改DataNode存储目录
操作背景：HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时，需要修改DataNode的存储目录，以保障HDFS的正常工作，假定我们现在对应的HDFS数据盘位置为：/hadoop/hdfs/data; 预将数据目录迁移至/data/hadoop/hdfs/data目录底下；目前操作系统受影响情况：1） 更改DataNode存储目录需要停止HDFS服务，在此期...
2019-09-08 21:10:28
2636
原创 Devstack安装Openstack L版本
ubuntu14通过devstack安装openstack：参照网址： http://docs.openstack.org/developer/devstack/ http://www.07net01.com/2015/11/958333.htmlubuntu14_64的vm(ubuntu15支持的不好）;修改源指向163apt-get updateadduser s...
2019-03-21 10:47:05
961
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人