- 博客(147)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 先知先觉
作者CSDN主页：http://blog.csdn.net/qq_32642039/article/details/78489918 作者个人博客：http://www.51centos.com/ 作者简书主页：http://www.jianshu.com/p/60f1957dcb55 CSDN太丑了，对图片支持太差，迁移博客园中。LinuxShellMysqlPython2...
2017-11-09 15:09:30
943
原创 Python2.7学习笔记
Python基础知识 Python简介Python的使用运算符Python数据类型 整型浮点型布尔类型字符串列表元组字典复数型数字型非数字型Python 循环语句和条件语句Python的File(文件) 方法Python的函数 Python的函数的一般形式Python的常用函数Python的类 Python类的一些概念Python的类的一般形式Pyt...
2017-10-17 10:41:12
995
原创 Ansible-playbook一键安装docker
hosts: kubernetes #定义的主机组，即应用的主机 remote_user: root # 远程用户为root vars: project_directory: /opt/docker/ansible_playbookstasks:name: docker install shell: sudo yum install -y yum-utils de...
2018-09-07 09:29:52
2956
原创 Kubeadm安装Kubernetes1.11
一、环境介绍 host ip master,etcd 192.168.205.70 node1 192.168.205.75 node2 192.168.205.76前提 1.基于主机名通信：/etc/hosts 2.时间同步 3.关闭firewalld和iptables.service安装配置步骤： 1.etcd clu...
2018-09-06 09:47:34
997
2
原创 Kubernetes架构概述
一、k8s上运行的原则单元：pod 一个pod中一般只放一个容器，一个容器只跑一个进程。如果放多个容器那么一般有一个容器为主容器。 一个pod内的容器只能跑在一个node之上。k8s集群的工作节点：node node终端用户无需关心服务运行在哪一个node节点。删除pod： 在创建pod时，对pod打上label标签，用label标签来删除一类pod。selector：...
2018-08-30 14:27:12
433
原创 rinetd代理阿里云redis导致服务器cpu满载
一、应用场景场景阿里云官方文档中的redis公网访问方案使用了rinetd作为代理工具，这个工具并不适合公司场景。一旦访问人数过多就会服务不可用，在这一点上我觉得阿里云没有测试方案的稳定性就给用户使用。二、部署方案通过nginx的stream模块，代理阿里云redis和阿里云memcache。参考教程：https://help.aliyun.com/document_detail/...
2018-08-27 23:23:24
979
原创 Kubernetes Kubectl
Kubernetes KubectlKubectl 操作示例说明创建资源对象 根据 yaml 配置文件一次性创建 service 和 rc：[root@Docker /] kubectl create -f my-service.yaml -f my-rc.yaml#根据 <directory> 目录下所有 .yaml、.yal、.json 文件的定义进行创建操作。...
2018-08-27 15:58:57
251
转载 Ansible普通用户sudo执行指令
一、应用场景1.linux机器都禁止使用root远程登陆，需要ansible来实现切换用户文件分发。二、实验步骤1、配置资源清单hosts文件[root@master playbook]# cat /etc/ansible/hosts[test_su]192.168.1.232 ansible_ssh_user=saas ansible_ssh_pass='xE#bH2bm...
2018-08-20 14:34:11
17992
原创 Devops之Ansible大规模主机部署
利用Ansible构建playbook，数百机器并发装机。1.创建用户和密钥useradd Developmentsu Developmentcd ~/mkdir .sshchmod 700 .sshcd .ssh/(cat << EOFssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDb
2018-08-10 11:13:36
1116
原创 Ansible的Playbook详解及示例
一、Playbook 简介 Playbooks与Ad-Hoc相比，是一种完全不同的运用Ansible的方式，而且是非常之强大的；也是系统ansible命令的集合，其利用yaml语言编写，运行过程，ansbile-playbook命令根据自上而下的顺序依次执行。 简单来说，Playbooks 是一种简单的配置管理系统与多机器部署系统的基础。与现有的其他系统有不同之处，且非常适合于复杂应用...
2018-08-10 11:01:51
2949
转载 MapReduce任务参数调优
一、本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xml hdfs-default.xmlmapred-default.xml说明： 在hadoop2中有些参数名称过时了，例如原来的mapred.reduce.tasks改名为mapreduce.job...
2018-07-27 10:44:32
181
原创 MapReduce实践
一、MapReduce实践1.文 件 分 发 与 打 包 （ - f i l e ） - 如果要分发的文件在本地且没有目录结构，可以使用-file /path/to/FILENAME选项分发文件，将本地文件/path/to/FILENAME分发到每个计算节点。 - 在Streaming程序中通过./FILENAME就可以访问该文件 - 对于本地可执行的文件，除了指定的mapper或...
2018-07-26 16:17:39
308
原创 Hadoop Streaming开发要点
$HADOOP_HOME/bin/hadoop jar streaming \-input /user/test/input \-output /user/test/output \-mapper "python mapper.py” \-reducer "python reducer.py” \-file mapper.sh \-jobconf mapred.job.name=”x...
2018-07-26 15:48:33
171
原创 Hadoop Streaming原理
1.MapReduce和HDFS采用Java实现，默认提供Java编程接口2.Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用3.Streaming方便已有程序向Hadoop平台移植 4.开发效率高 – 方便移植Hadoop平台，只需按照一定的格式从标准输入读取数据、向标准输出写数据就可以 – 原有的单机程序稍加改动就可以在H...
2018-07-26 15:44:35
412
转载 阿里云磁盘扩容
一、应用场景1.随着业务的增长，您的磁盘容量可能无法满足数据存储的需要，这时您可以使用磁盘扩容功能扩容磁盘盘。 2.阿里云支持系统盘扩容和数据盘扩容。 3.所有涉及数据的东西都需要备份。量大可以使用阿里云快照，量小可以rsync等。二、扩容系统盘系统盘 通过 更换系统盘 功能变更系统盘容量时，只能保持容量不变或者增加容量，不能缩小容量。比如，一台CentOS实例扩容前系统盘容量...
2018-07-09 16:20:03
4619
原创 自建Mysql迁移阿里云RDS
一、应用场景1.本地自建Mysql迁移到阿里云RDS 2.阿里云RDS不支持基于文件层面的导入导出，导出sql文件进行数据迁移。 3.建议使用命令进行数据迁移，而不是通过工具。因为通过工具非常慢，使用Mysqldump导出，mysql导入。二、迁移过程(以禅道举例)1.导出sql文件/usr/local/mysql/bin/mysqldump -h127.0.0.1 -uzen...
2018-07-06 18:37:52
1015
转载 安装Confluence
一、安装教程1.破解教程 https://www.cnblogs.com/Javame/p/8779772.html2.设置数据库字符集utf8-bin https://confluence.atlassian.com/kb/how-to-fix-the-collation-and-character-set-of-a-mysql-database-744326173.html3....
2018-07-06 18:12:46
1433
转载 Confluence无法发送邮件修复
一、应用场景1.配置好Confluence后无法发送找回密码邮件。二、问题处理1.我首先申领了一个网易的邮箱，然后找到网易邮箱的配置如下：主机名：smtp.163.com端口号：25或465常规的思路是填写25号端口，因此，我填入25号端口以后，发现根本连接不上smtp.163.com这个邮件服务器，很郁闷。报错信息如下：An error has occurr...
2018-07-06 18:04:54
5576
8
原创 xshell显示Tomcat日志中文乱码
一、环境介绍Tomcat服务器，部分服务器xshell显示Tomcat日志中文乱码。我这里给大家讲一个排查思路。 显示乱码说到底就几个问题。 1.系统字符集（解决办法网上很多） 2.连接软件字符集(xshell,crt等字符集设置，网上也有很多) 3.系统服务器字符集问题。(如果你想单纯显示，那么修改字符集为GBK就可以了，如果想统一字符集方便管理，那么往下看。)二、修复显示乱码问...
2018-07-04 14:28:39
1041
原创 Zookeeper详解
一、Zookeeper介绍ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。二、Zookeeper应用场景1.配置管理 这个好理解。分布式系统都有好多机器，比如我在搭建hadoop的...
2018-07-02 22:49:01
212
原创 Storm环境安装
0. Storm源码包下载http://mirror.bit.edu.cn/apache/storm/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载安装包#Masterwget http://mirror.bit.edu.cn/apache/storm/apache-storm-0.9....
2018-07-02 17:58:35
173
原创 Zookeeper3.4.10详解和安装
0. zookeeper源码包下载http://mirror.bit.edu.cn/apache/zookeeper/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://mirror.bit.edu.cn/apache/zookeeper/zooke...
2018-07-02 17:57:54
5499
原创 hbase环境安装
0. 软件版本下载http://mirror.bit.edu.cn/apache/hbase/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-...
2018-07-02 17:57:27
138
原创 Kafka环境安装
Kafka源码包下载 http://mirror.bit.edu.cn/apache/kafka/集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99下载软件包Masterwget http://mirror.bit.edu.cn/apache/kafka/0.10.2.1/kafka_2.11...
2018-07-02 17:55:38
254
翻译 Hadoop简介
一、Hadoop简介Hadoop主要包括以下四个模块1.Hadoop Common: 为其他Hadoop模块提供基础设施 2.Hadoop HDFS: 一个高可靠、高吞吐量的分布式文件系统 3.Hadoop MapReduce: 一个分布式的离线并行计算框架 4.Hadoop YARN: 一个新的MapReduce框架，任务调度与资源管理HDFSHDFS即Hadoop Distributed Fi...
2018-07-02 16:57:04
247
原创 Redis自动安装脚本
一、安装方式1.yum 2.rpm 3.编译安装1、2方式比较简单不做介绍，下面是自动编译安装脚本。二、编译安装#!/bin/bash##Date 2017/11/30##create by xingcheng##function nosql_install.shredis_install(){#编译安装cd /usr/local/srcwget http:/...
2018-07-01 10:35:33
1120
原创 Hive1.2.2 环境安装
Hive源码包下载 http://mirror.bit.edu.cn/apache/hive/集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99下载软件包Masterwget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive...
2018-06-29 18:41:24
690
原创 Flume环境安装
软件版本下载 http://mirror.bit.edu.cn/apache/flume/集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99下载软件包Masterwget http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-...
2018-06-29 18:39:44
327
原创 Hadoop2.8.4环境安装（单机安装多版本hadoop和JDK）
Hadoop源码包下载 http://mirror.bit.edu.cn/apache/hadoop/common集群环境 192.168.205.60 master 192.168.205.65 slave1 192.168.205.66 slave2下载安装包#Masterwget http://mirror.bit.edu.cn/apache/hadoop/common...
2018-06-29 15:57:02
1636
原创 Docker使用verdaccio搭建私服npm
一、场景和需求分析 搭建公司的私有npm服务器，对于带宽要求最小5M。二、部署方式#环境准备docker pull verdaccio/verdacciomkdir -p /opt/docker/verdaccio/conf #config.yaml和htpasswd存放在这里mkdir -p /opt/docker/verdaccio/storage #包文件等chown -...
2018-06-14 12:02:50
2672
原创 eval的作用（非常重要）
一、场景eval会对后面的cmdLine进行两遍扫描，如果第一遍扫描后，cmdLine是个普通命令，则执行此命令；如果cmdLine中含有变量的间接引用，则保证间接引用的语义。 我不止一次遇到过这种问题。在shell给mysql传参，在shell给python传参,shell给数组传参。 区别就是在一些场景无伤大雅，一些场景就读不出这个值就无法执行下去。mysql -e传参就是这个情况。e...
2018-06-12 15:45:08
3518
原创 批量shell实现交互登录普通用户，切换root用户，并执行shell语句。
一、环境介绍对100台服务器进行登录，增加jumpserver管理里用户。由于所有服务器root禁止登录，导致需要多层交互。二、思路1、通过expect批量shell实现交互登录普通用户，切换root用户，并执行shell语句。 2、python实现三、shell实现ps：感觉白写了，交互速度大概5秒一台。建议用python实现[root@jumpserver s...
2018-06-08 16:41:55
7765
4
原创 Jenkins反弹shell攻击（AppRun进程，xmrig）
一、服务器环境Centos 7 2核4G 经典网络 Jenkins服务器二、排查流程1.top命令查看服务器负载top - 16:58:25 up 164 days, 1:36, 3 users, load average: 2.25, 2.49, 2.66Tasks: 75 total, 2 running, 73 sleeping, 0 stopped, ...
2018-05-17 17:15:34
2641
原创 shell脚本实现批量自动redis反弹shell攻击
一、shell实现redis反弹shell[root@xingcheng attack]# cat shell_rebound.sh#!/bin/bash##create by xingcheng##20180403##function 批量redis反弹shell获取系统权限,主要针对没有安全策略的reids服务器和弱口令redis服务器，他们往往使用root账户运行#ip_...
2018-04-03 17:09:56
1476
Elasticsearch5.2可视化插件 elasticsearch-head-master
2017-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人