GPF19950411-CSDN博客

原创 MySQL慢SQL采集方案

作为一名MySQL DBA，首要的任务是维持数据库的可用性和稳定性，在生产中，有时候一条慢SQL会拖垮整个系统的响应和体验，所以慢SQL治理至关重要。文章目录前期准备MYSQL 慢sql参数解析和调整pt-query-digest工具简介安装和使用pt-query-digest一些用法和解析pt-query-digest 一些用例直接解析入库的方案：参考解析命令参考表结构：参考python ...

2019-08-16 13:55:15 1005

原创 Kafka1.0日常维护

日常维护操作4.1 创建topic两个备份6个分区：./kafka-topics.sh --create --zookeeper app212:2181 --replication-factor 2 --partitions 6 --topic t_test4.2 查看存在的topic：./kafka-topics.sh --zookeeper app212:218...

2018-03-03 14:36:31 949

原创 Kafka集群Cenos6.5搭建

Kafka搭建前提条件： jdk、SSH互信、zookeeper集群，如何安装JDK请看《JDK安装》，如何建立服务器互信请看《SSH免密登录配置》;如果没有独立的zookeeper集群，也可以使用kafka自带打包和配置好的Zookeeper(配制zk请参照zookeeper集群搭建)：bin/zookeeper-server-start.sh config/zookeeper.pr...

2018-03-03 14:21:06 186

原创 ETCD Restful Client V3

运行环境中需要支持python2.6 2.7环境的etcdclient,etcd版本为3.4，采用社区的包，由于会引用grpc包，导致import包很慢，测试中发现就引入包用了0.6-0.8S，所要开发的代码是一个实时采集程序，所以决定使用etcd开放的restful api，自己封装一个client,目前只实现了部分接口代码如下，记录下#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2020/8/10 17:05# @Auth.

2020-08-29 10:42:44 431 1

原创 Python MySQLdb read_timeout

从MySQLDb 1.2.5开始支持read_timeout，这个值你会发现设置的值，一般返回结果为这个值的3倍，原因就是mysql本身会重试两次，记录下

2020-02-15 13:02:50 279

原创 Mysql跨库迁移（记录）

一种方法是比较保守的.直接把老库的内容mysqldump到新库里面还有一种类似上面方法.先alter table 的存储引擎到MyISAM,然后改了库目录的名字,然后再改回来INNODB.最后一种方法还是比较好的.这边详细写一下.假设源库名是’srcdb’,目标库名是’trgdb’首先创建目标库create database trgdb;获取所有源库的表名use informatio...

2018-10-04 10:03:38 2204

原创 Hadoop2.7.5双主基本配置（记录）

hadoop集群搭建首先需要JAVA环境，还有要zookeeper集群，可以参考JAVA和zookeeper安装文档准备软件准备请到hadoop官网下载hadoop2.7.5版本：https://hadoop.apache.org/releases.html，可以下载binary包直接安装hadoop-2.7.5.tar.gz，或者下载source包编译安装环境准备服务器列表：10...

2018-10-04 10:02:25 479

原创 ClickHouse初探（单点）

软件准备到https://packagecloud.io/Altinity/clickhouse下载适合自己服务器版本的RPM包clickhouse-client-18.12.13-1.el6.x86_64.rpmclickhouse-common-static-18.12.13-1.el6.x86_64.rpmclickhouse-compressor-1.1.54336-3.el6.x...

2018-10-04 10:00:03 1482

原创 Hive2基础搭建（记录）

安装hive之前先搭建好hadoop集群、mysql元数据库软件准备到官网下载hive软件包apache-hive-2.3.2-bin.tar.gz安装tar -xivf apache-hive-2.3.2-bin.tar.gz -C /usr/localmv apache-hive-2.3.2-bin hive2配置hive-env.shexport JAVA_HOME=/u...

2018-10-04 09:58:28 1246

原创 Elasticsearch6.3.1集群搭建

Elasticsearch安装需要先配置好Java环境，Java环境可以参考JDK安装教程准备：软件准备：去官网下载elasticsearch6.3.1:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.tar.gz硬件准备：硬件配置：16C 32G 1024G10.242.154....

2018-10-04 09:56:05 1580

原创 StormV1.1.3基本配置和使用

在安装storm之前先要安装好JDK和zookeeper准备机器准备：10.242.167.193 (nimbus)10.242.167.194 (nimbus)10.242.167.195 (supervisor)10.242.167.196 (supervisor)10.242.167.197 (supervisor)10.242.167.198 (zk)10.242.1...

2018-09-20 22:27:24 349

原创 Rabbitmq+haproxy+keepalived构建双主热备高可用镜像集群

服务器准备rabbitMq主备需要两台；haproxy和keepalived共用或者分开，需要两台或者4台服务器，VIP一个，用于LVS分发软件准备需要准备软件：rabbitMq3.6.15：rabbitmq-server-generic-unix-3.6.15.tar.xz；haproxy1.5.9：haproxy-1.5.9.tar.gz；keepalived1.2.7: keepali...

2018-09-20 22:25:39 3362 2

原创 STS(Eclipse)构建Maven多模块项目（水平结构和树形结构）

在配置完Java开发环境和MAVEN后，我们来建立项目STS（Eclipse）下载请到官网http://spring.io/tools/sts/all/ 下载STS最新版然后放到G盘，然后解压到当前 G:\sts-bundle\sts-3.9.5.RELEASE\STS.exe就可以启动软件该版本的STS需要JDK1.8的环境，有时候我们项目开发是使用JDK1...

2018-09-17 00:44:05 5146

原创 Maven安装和开发环境配置

安装maven之前请先确保已经安装配置过JAVA环境,，可以去https://blog.csdn.net/GPF19950411/article/details/79428997 浏览软件准备和安装：请到http://maven.apache.org/download.cgi 下载最新版本的maven，或者去https://download.csdn.net/download/g...

2018-09-16 17:06:29 586

原创 Spark on yarn搭建

Spark 支持三种模式的部署方法，分别为standalone、yarn、mesoss, 这篇主要讲述yarn的部署方法一、准备1.1 说明：选spark的时候要注意与hadoop版本对应；spark基于yarn来管理，spark只能安装在NodeManager节点上1.2 服务器资源准备本地已经搭建了7节点的hadoop(HA)集群10...

2018-03-05 23:46:04 326

原创 MySQL索引varchar长度问题（不能超过255）

Mysql varchar建索引遇到长度太长的问题： CREATE TABLE `t_crrs_record` ( `ID` varchar(128) NOT NULL COMMENT '主键ID', `SYSTEM_CODE` varchar(32) DEFAULT NULL COMMENT '编码', `BUSINESS_ID` varchar(12...

2018-03-03 14:48:15 16624 1

原创 Kafka监控

KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具，其配置和使用特别的方便。源项目Github地址为：地址下载KafkaOffsetMonitor-assembly-0.2.1.jar，然后ftp到kafka服务器10.242.167.216上cd /opt/kafka编写启动脚本：vim monitor-kafka.sh...

2018-03-03 14:38:46 429

原创 Zookeeper集群搭建

Zookeeper搭建前提条件： jdk、SSH互信，如何安装JDK请看《JDK安装》，如何建立服务器互信请看《SSH免密登录配置》一、准备这里我们以三台zookeeper来搭建，准备：1.1 服务器准备：10.242.167.216 app21210.242.167.217 app21110.242.167.218 app2101.2 z...

2018-03-03 14:10:13 278

原创 JDK Linux安装和Windows安装

Linux JDK安装一、前提去java官网下载JAVA下载地址下载自己需要的java版本，我们这里下载的是jdk-8u121-linux-x64.tar.gz,解压压缩包到/usr/local 下;tar -xivf jdk-8u121-linux-x64.tar.gz -C /usr/local二、配置环境变量vim /etc/profile 在最后添...

2018-03-03 14:04:53 299

原创 CenOs7(1611)安装配置中遇到的问题（虚拟网卡、IP 、DNS、主机名）

小白决定学习大数据相关方面的知识，首先我采用安装CenOS虚拟机，朋友说不要让我用太新的系统，但是追求新鲜事物的我还是毅然决然的采用了1611版本，果然还是和我之前看到的很多教程不同的地方，该踩的坑还是要踩的。下面是我安装过程中遇到的一些问题，自己记录一下同时可能也能帮到某些人少踩一些坑，哈哈。一、看网络时发现virbr0 原来是虚拟网卡，出现虚拟网卡是因为安装时启用了 libvirtd 服务

2017-02-28 09:22:47 1221