lynnyq-CSDN博客

原创 KuduTablet设置维护时间

KuduTablet设置维护时间参考follower_unavailable_considered_failed_sec默认为300s，tablet失去联系超过300s后，该节点的数据就会在其他节点重建，为了避免维护造成的不必要的数据移动和拷贝，可以临时设置此时间为更长的时间（重启维护加上tablet重启后初始化需要的时间）1.健康检查维护前需要健康检查，如果有任何副本不足的情况，需等...

2019-10-24 16:44:16 829

Kudu TabletServer服务器断电无法启动1.问题Kudu TabletServer服务器正常大量写入时，服务器异常重启，会造成TabletServer的metadata的文件数据不完整功能，再次启动TabletServer会报如下错误：Check failed: _s.ok() Bad status: Corruption: Failed to load FS layout: C...

2019-10-24 16:42:12 1651

原创 KuduMaster迁移

KuduMaster迁移主数量必须为奇数。官方文档1.添加Kudu Master获取现有master的uuidsudo -u kudu kudu fs dump uuid --fs_wal_dir=/kudu/master/fs_wal_dir --fs_data_dirs=/kudu/master/fs_data_dirs 2>/dev/null5315431da71e4...

2019-10-24 16:41:10 492

原创 05.Ansible Python API

Ansible Python API官方文档参考官方示例#!/usr/bin/env pythonimport jsonimport shutilfrom ansible.module_utils.common.collections import ImmutableDictfrom ansible.parsing.dataloader import DataLoaderf...

2019-10-24 16:38:08 648

原创 04.Ansible的Playbook模式

Ansible的Playbook模式1、概念playbook的基础组件:Hosts:运行指定任务的目标主机;remoute_user: 在远程主机上执行任务的用户;sudo_user: tasks:任务列表模块，模块参数; 格式:(1) action: module arguments (2) module: arguments注意:shell和command模...

2019-10-24 16:37:33 242

原创 03.Ansible常用Ad-Hoc模式

Ansible常用Ad-Hoc模式1、authorized_key# 给主机添加密钥认证ansible all -m authorized_key -a key="{{ lookup('file', '~/.ssh/id_rsa.pub') }} user=root" --ask-pass -u root2、pingyangqian@YQ  ~  ansible cdh_uat -...

2019-10-24 16:36:47 295

原创 02.Ansible主机清单（inventory）配置

Ansible主机清单（inventory）配置官方文档[cdh_dev]10.9.251.3[0:4]:60777 ansible_user=root[cdh_pro]bj-yg-bi-prd-10-240-20-[20:29]-belle.lan ansible_user=root ansible_ssh_private_key_file=/Users/yangqian/ansi...

2019-10-24 16:36:12 264

原创 01.Ansible配置

Ansible配置1.ansible.cfg位置配置官方文档ansible.cfg默认读取顺序如下ANSIBLE_CONFIG (environment variable if set)ansible.cfg (in the current directory)~/.ansible.cfg (in the home directory)/etc/ansible/ansible....

2019-10-24 16:35:15 270

原创 Centos7部署AirFlow

Centos7部署AirFlow官方文档1.准备环境1.1.安装Python3yum install epel-release -yyum install https://centos7.iuscommunity.org/ius-release.rpm -yyum install python36u -yln -s /bin/python3.6 /bin/python3yum in...

2019-10-11 11:04:46 318

转载 linux中grep命令的用法

linux中grep命令的用法linux中grep命令的用法作为linux中最为常用的三大文本（awk，sed，grep）处理工具之一，掌握好其用法是很有必要的。首先谈一下grep命令的常用格式为：grep [选项] ”模式“ [文件]grep家族总共有三个：grep，egrep，fgrep。常用选项：-E ：开启扩展（Extend）的正则表达式。-i ：忽略大小写（ignor...

2019-10-11 11:03:15 216

原创 CentOS7开启iptables

CentOS7开启iptables参考1.安装systemctl stop firewalld && systemctl mask firewalld && yum install -y iptables iptables-services2.配置#!/bin/shiptables -P INPUT ACCEPTiptables -Fiptable...

2019-10-11 11:02:10 884

原创 CentOS7安装ftp服务

CentOS7安装ftp服务参考1.安装vsftpd服务yum install -y vsftpdvi /etc/vsftpd/vsftpd.confmv /etc/vsftpd/vsftpd.conf /etc/vsftpd/vsftpd.conf.bakgrep -v "#" /etc/vsftpd/vsftpd.conf.bak > /etc/vsftpd/vsftpd.c...

2019-10-11 11:00:13 148

转载 YAML 语言教程

YAML 语言教程原文连接编程免不了要写配置文件，怎么写配置也是一门学问。YAML 是专门用来写配置文件的语言，非常简洁和强大，远比 JSON 格式方便。本文介绍 YAML 的语法，以 JS-YAML 的实现为例。你可以去在线 Demo 验证下面的例子。一、简介YAML 语言（发音 /ˈjæməl/ ）的设计目标，就是方便人类读写。它实质上是一种通用的数据串行化格式。它的基本语法规...

2019-10-11 10:27:29 429

原创电信IPTV直播源抓取

1.环境准备电信IPTV机顶盒支持openwrt和U盘的路由器（抓取的包时间长会很大，有可能几百MB）Wireshark2.抓取步骤将电信IPTV盒子连接到路由器的LAN口配置盒子，使盒子处于观看电视频道状态待用获取电信盒子IP（本次抓取ip为192.168.1.10）ssh登录路由器执行命令# 进入u盘挂载目录，根据实际情况选择cd /tmp/mnt/di...

2019-06-10 23:22:45 97374 6

原创 CentOS 7安装后的配置

CentOS 7安装后的配置1.修改静态ip修改配置vi /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEF...

2018-11-29 00:01:21 354

原创 Centos7下Cloudera Manager 5离线部署CDH5

Centos7下Cloudera Manager 5离线部署 CDH5文章目录Centos7下Cloudera Manager 5离线部署 CDH51.先决条件2.准备工作3.CM安装3.1.网络配置3.2.JDK安装3.3.配置ntp3.4.cdh01节点安装配置MySQL3.5. 创建用户 cloudera-scm （所有节点）3.6.解压CM包3.7.修改agent配置3.8.拷贝CM...

2018-10-16 10:01:18 566

转载 Centos7.3升级内核

Centos7.3升级内核原文# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm# yum --disablerepo="*" --enablerepo="elrep...

2018-08-04 11:36:56 1622

原创 Docker开启远程访问

Docker开启远程访问参考： https://blog.csdn.net/alinyua/article/details/81086124 https://docs.docker.com/engine/security/https/ https://www.openssl.org/docs/manmaster/man5/x509v3_config.html https://doc...

2018-08-04 11:35:48 1487

原创 Docker私有仓库搭建

Docker私有仓库搭建1.安装mkdir -p /data/docker-registry/authmkdir -p /data/docker-registry/configdocker pull registry# 创建用户docker run --entrypoint htpasswd registry -Bbn lynnyq lynnyq >> /data...

2018-07-18 23:35:47 215

原创 Centos7 安装和卸载docker

Centos7 安装和卸载docker1.安装官方教程1.1.卸载旧版本yum remove docker \ docker-client \ docker-client-latest \ docker-common \ doc...

2018-07-18 23:34:11 1365

原创 Flume学习笔记

Flume学习笔记1.Flume概述 Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持Failover和负载均衡。并且它拥有非常丰富的组件。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Ch...

2018-07-05 19:34:42 623

原创 gost配置

gost配置项目地址：https://github.com/ginuerzh/gost1.服务端下载Linux客户端wget https://github.com/ginuerzh/gost/releases/download/v2.5/gost_2.5_linux_amd64.tar.gztar -zxvf gost_2.5_linux_amd64.tar.gzm...

2018-07-03 01:13:20 8777 1

原创 Python和Go递归效率对比

Python和Go递归效率对比使用递归实现的斐波那契数列来对比Python和Golang递归效率Python代码import timedef fib(n): if n < 1: return -1 if n == 1 or n == 2: return 1 return fib(n-1) + fib(n-2)...

2018-06-13 23:38:58 1927 1

原创 Centos7安装Python3

Centos7安装Python31.安装依赖yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make不能忽略相关包，我之前就没有安装readline-devel导致执行python模式无法使用键盘的上下左右键；...

2018-05-24 23:07:34 526

原创 CentOS7安装RabbitMQ

CentOS7安装RabbitMQ1.安装erlangGitHub地址二进制包地址wget https://bintray.com/rabbitmq/rpm/download_file?file_path=erlang%2F20%2Fel%2F7%2Fx86_64%2Ferlang-20.3.6-1.el7.centos.x86_64.rpmrpm -ivh erlang...

2018-05-24 22:21:17 268

转载 pip换国内源

pip换国内源1.国内常用源阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 https://pypi.tuna.tsinghua.edu....

2018-05-15 18:58:49 595

原创 PyCharm中py文件自动添加头文件

PyCharm中py文件自动添加头文件1.PyCharm设置打开File–&gt;Settings–&gt;Editot–&gt;File and Code Templates选择Python Script添加如下头文件#!/usr/bin/env python# -*- coding: utf-8 -*-"""@author: yangqian@license: ...

2018-05-13 23:06:50 1228

原创 Ubuntu18.04安装mysql5.7

Ubuntu18.04安装mysql5.71.1安装首先执行下面三条命令：# 安装mysql服务sudo apt-get install mysql-server# 安装客户端sudo apt install mysql-client# 安装依赖sudo apt install libmysqlclient-dev# 检查状态sudo netstat -tap |...

2018-05-12 23:46:09 15092 13

原创 Python常见第三方库在Windows安装报错解决方案

Python常见第三方库在Windows安装报错解决方案最近在Windows下开发，发现很多第三方库在Windows上的兼容性都不是很好，通过谷哥度娘后，发现一个非官方的临时解决方案，先贴上地址：Unofficial Windows Binaries for Python Extension PackagesPS：官方方案：使用Linux发行版。1.安装方法找到库后下载对应使用的P...

2018-04-19 18:00:12 23844 3

原创 Python之禅

Python之禅>>> import thisThe Zen of Python, by Tim PetersBeautiful is better than ugly.# 1.优美胜于丑陋（Python以编写优美的代码为目标）Explicit is better than implicit.# 2.明了胜于晦涩（优美的代码应当是明了的，命名规范，风格相似）...

2018-03-17 20:50:20 294

原创 Python接口与归一化设计

Python接口与归一化设计1.什么是接口(interface)接口(interface)是面向对象编程语言中接口操作的关键字，功能是把所需成员组合起来，用来装封一定功能的集合。它好比一个模板，在其中定义了对象必须实现的成员，通过类或结构来实现它。接口不能直接实例化，接口不能包含成员的任何代码，只定义成员本身。接口成员的具体代码由实现接口的类提供。2.归一化使用接口的意义在...

2018-03-14 21:40:45 459

原创 Python面向对象

Python面向对象1.定义面向对象：把数据和动作内嵌到一个结构体（函数或类）里，就有了一个‘对象系统’（对象就是数据与函数整合在一起的产物）类：把一类事物的相同的特征和动作整合到一起就是类，类是一个抽象的概念。对象：就是基于类而创建的一个具体的事物（具体存在的），也是特征和动作整合到一起。面向对象设计（Object oriented design）：将一类具体事物的数据和...

2018-03-14 19:50:52 285

原创 Python装饰器的用法

装饰器1.定义装饰器函数本质是闭包(外部函数的返回值是内部函数的引用)，为了运行时动态的增加功能，又不想改动原函数本身的代码和函数的调用方式2.装饰器的原理功能函数foo，实现某个功能def foo(): print("This is func foo, doing somethings……")现在需要在不改变foo函数原有函数的代码和调用方式的情况下...

2018-03-11 16:58:57 166

原创 Python爬取豆瓣动作电影好评前100名

获取豆瓣动作电影好评前100名代码#!/usr/bin/env python# -*- coding: utf-8 -*-# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=40&limit=20import urllib2...

2018-02-27 15:33:53 2818 1

原创 03.golang入门

golang入门1.常用命令Go命令在命令行或终端输入go即可查看所有支持的命令Go常用命令简介go get：获取远程包（需提前安装 git或hg）go run：直接运行程序go build：测试编译，检查是否有编译错误go fmt：格式化源码（部分IDE在保存时自动调用）go install：编译包文件并编译整个程序go test：运行测试文件go...

2018-02-26 11:26:05 231

原创 02.golang开发环境配置

golang开发环境配置go下载地址：https://golang.org/dl/Windows 平台环境配置1.下载安装包：下载地址：https://dl.google.com/go/go1.9.3.windows-amd64.msi2.安装，选择默认选项3.golang环境变量设置根目录 GOROOT 和 Path: 如果上一步安装使用的是默认安装目录 ...

2018-02-26 11:24:22 285

原创 01.golang学习常用地址

golang学习常用地址1.golang常用地址：1.golang官方项目地址：https://golang.org/2.golang官方博客：https://blog.golang.org/3.golang官方情报： http://talks.golang.org/ 4.在线运行golang程序：https://play.golang.org/5.golang在线运行的互动小程...

2018-02-26 11:20:58 513

原创使用apidoc管理RESTful风格Flask项目接口文档

使用apidoc管理RESTful风格Flask项目接口文档apidoc项目地址flask扩展包地址文档示例地址1.安装nodejssudo apt-get install nodejssudo apt install nodejs-legacysudo apt install npm2.安装apidocnpm install apidoc -g

2018-02-04 19:19:06 7599 4

原创 2.Flask视图

Flask视图1.Hello World# -*- coding: utf-8 -*-from flask import Flaskapp = Flask(__name__)@app.route('/')def index(): return '主页页面！'if __name__ == '__main__': app.run(debug=True)

2018-02-02 11:53:35 264

原创 1.Flask概述

Flask概述 Flask诞生于2010年，是Armin ronacher（人名）用Python语言基于Werkzeug工具箱编写的轻量级Web开发框架。它主要面向需求简单的小应用。 Flask本身相当于一个内核，其他几乎所有的功能都要用到扩展（邮件扩展Flask-Mail，用户认证Flask-Login），都需要用第三方的扩展来实现。比如可以用Flask-extension加入OR

2018-02-02 11:52:09 492

尚硅谷全套资源下载地址

空空如也