- 博客(159)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 TiDB字符集和时区
TiDB 字符集和时区mysql> select @@version;+--------------------------------------+| @@version |+--------------------------------------+| 5.7.10-TiDB-v2.1.0-beta-179-g5a0fd2d |+--------------------------------------+1 row in set (0.00 sec)mysql> show variables lik
2023-07-11 18:36:54
632
原创 PostgreSQL 日志详解
默认单个大小是16M，源码安装的时候可以更改其大小（./configure --with-wal-segsize=target_value 参数，即可设置）这些日志会在定时回滚恢复(PITR)， 流复制(Replication Stream)以及归档时能被用到，这些日志是非常重要的，记录着数据库发生的各种事务信息，不得随意删除或者移动这类日志文件，不然你的数据库会有无法恢复的风险。说明：当你的归档或者流复制发生异常的时候，事务日志会不断地生成，有可能会造成你的磁盘空间被塞满，最终导致DB挂掉或者起不来。
2023-07-11 18:35:26
2653
原创 Oracle debug 详解
oradebug的前身是在ORACLE 7时的ORADBX,它可以启动用停止跟踪任何会话，dump SGA和其它内存结构，唤醒ORACLE进程，如SMON、PMON进程，也可以通过进程号使进程挂起和恢复等，还有很多功能，实际上这些功能都不常用，但是我们在看别人做问题诊断时，常看到别人在使用oradebug命令，其实我感觉最好用的就是他可以直接通过命令输出生成trace文件的名称（带路径的哦），省去不少麻烦，系统HANG住用它做分析也比较好用，和大家分享一下它最常用的方法！6> 获取某进程的状态信息。
2023-07-11 18:34:02
756
原创 一键执行MySQL安装
简介：shell脚本执行，通过传入对应参数，执行mysql 数据库安装，包括系统依赖包，系统参数，防火墙，用户创建，数据库部分参数自动调整（根据cpu,内存），初始化localhost 数据库root 权限，新建root@% 用户，授权。 以及启动脚本自动修改等。
2023-07-07 09:29:12
237
原创 Archery工单系统之inception 审计参数详解
当值不为0时，当达到-critical-load，gh-ost会在-critical-load-interval-millis秒数后，再次进行检查，再次检查依旧达到-critical-load，gh-ost将会退出。# 对应参数pt-online-schema-change中的参数--check-interval，意义是Sleep time between checks for --max-lag。-throttle-additional-flag-file string适合控制多个gh-ost操作。
2022-11-10 15:11:33
1500
原创 ealsticsearch 密码管理及系统系统
elasticsearch 密码认证登陆及对应的验证方式：1，curl 2,wget 3,kipana
2022-10-18 18:15:50
617
原创 MySQL数据库账号划分及权限
一，针对数据库管理和使用人员做了系统权限和权限控制访问策略。所有的数据系统登陆，由堡垒机，必须通过4A账号登陆。目前登陆方式有三种，1.主机登陆，2.数据评审端登录(archery等），3.程序直连登陆。1.1，主机登录，主要针对数据系统管理维护人员，通过切换至对应的数据账号下执行操作，此类操作界面只能有数据库维护人员可以登陆，非数据库维护人员禁止使用(没有权限)此界面。1.2， 业务开发测试人员，对生产数据系统有对应需求时，通过实名制登录archery数据评审平台后，在根据对应的服务类只读用户进行数
2022-03-25 17:38:33
3805
原创 MySQL传输表空间实测
-- 环境描述： CentOS 7.6 MySQL 5.7.33MySQL Transportable Tablespace将大的InnoDB表从一个实例，移动或者复制到另一个实例，有很多的方法，在5.6之前常用的是通过物理或者逻辑备份来实现。在5.6.6+的版本中，用到了一种基于表空间迁移的快速方法，即类似Oracle TTS。因为用到，故整理记录至此。实验用到两台机器，单机单实例，MySQL 5.6.30。并将通过vm1> mysql1> vm2>...
2021-06-07 15:41:17
247
原创 关于腾讯云调用api 下载 自动备份
### 调用腾讯云API接口下载对应的自动备份 Limit 1 ####Editor: Martin LeeDateTime: 2020/07/29PS:本目录为下载腾讯云备份的历史数据,脚本与备份策略有一定的依赖关系,如果备份策略修改,对应的备份脚本的Limit 参数也许调整：######################### -*- coding: utf-8 -*-import osimport sysimport timeimport json#i..
2020-08-12 14:24:13
650
原创 spark 分布式部署
在大数据应用场景下，面对实时计算、处理流失数据及降低计算耗时等问题，通过Apache Spark 提供的计算引擎能很好地满足这些需求。S park 是一种基于内存的分布式计算，其核心为弹性分布式数据集（ Resilient Distributed Dat asets ，简称RDD ），它支持多种数据来源，拥有容错机制，可以被缓存，并且支持并行操作，能够很好地用于数据挖掘和机器学习。Spark 是专门为海量数据处理而设计的快速且通用的计算引擎， 支持多种编程语言 ( Java 、Scala 、Python
2020-08-12 14:14:39
361
原创 Hive分布式集群部署
Hive编程，可以使开发者不需要考虑底层MapReduce算法如何实现，而只需集中精力关注SQL语句的编写即可。Apache Hive 是建立在Hadoop上的数据仓库，它提供了一系列工具，可以用来查询和分析数据，Hive提供了执行SQL的接口，用于操作存储在Hadoop分布式文件系统HDFS中的数据。Hive 可以将结构化的数据文件映射成为一张数据库表，并且提供了便捷的sql语句查询功能，开发者可以通过SQL语句将实现的业务功能转化为MapReduce任务来运行。Hive 数据仓库是构建在Ha
2020-08-12 14:12:11
2838
原创 Zeppelin 部署
--zeppelin 下载地址https://downloads.apache.org/zeppelin/http://zeppelin.apache.org/download.html[root@big-master1 conf]# cat /etc/profile# /etc/profile# System wide environment and startup programs, for login setup# Functions and aliases go ..
2020-08-12 14:08:39
463
原创 hbase 分布式部署
环境：[hadoop@big-master2 ~]$ cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6## bigdata cluster ##192.168.41.20 big-master1 #bigdata1.
2020-08-12 14:00:43
866
原创 sqoop详解-导入导出
从mysql 导入到 hadoop 文件：http://ftp.wayne.edu/apache/sqoop/-- sqoop下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/大家下的时候注意自己的版本！！（注意不要下sqoop2，不是给我们这类需求使用的。）(一定一定要选择 bin__hadoop 版本，否则也可能报错java.lang.NoClassDefFoundError: org/apache/avro/.
2020-08-12 13:56:41
1487
原创 Hadoop千里之行始于JDK之安装
Hadoop之JDK的安装1、卸载原有JDK该项的所有操作步骤需要使用root用户进行。并且在集群中每台主机操作一次https://www.oracle.com/java/technologies/javase-downloads.html1.1卸载#rpm -qa | grep java #搜索所有当前系统中已经安装的JDK相关软件包，主要针对系统自带的和使用rpm安装包安装的情况#rpm -qa | grep jdk #通过编译包直接部署的免安装版是搜索不到的，可以查..
2020-08-12 13:51:52
118
原创 Hadoop HA集群部署 - A - 详解
理论简介：HA 概念以及作用 HA(High Available), 高可用性群集，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。HDFS概述基础架构1、NameNode（Master）1)命名空间管理：命名空间支持对HDFS...
2020-05-17 03:13:24
805
原创 1离线TiDB-Ansible 部署问题-总结
总结，以草稿的方式，以点概面：一， hosts 各节点绑定######################cat >/etc/hosts << EOF127.0.0.1 tikv1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.lo...
2019-11-05 12:15:42
1945
原创 1离线 TiDB Ansible 部署方案-详解
一： 环境要求Linux 操作系统版本要求 Linux 操作系统平台 版本 Red Hat Enterprise Linux 7.3 及以上 CentOS 7.3 及以上 Oracle Enterprise Linux 7.3 及以上 ...
2019-11-05 12:08:05
963
原创 MySQL自增主键
问：如果有一张表，里面有个字段为id的自增主键，当已经向表里面插入了10条数据之后，删除了id为8、9、10的数据，再把mysql重启，之后再插入一条数据，那么这条数据的id值应该是多少，是8还是11？实际测试结果：root@martin*localhost 16:38:29 >create table emp1(c_id int not null primary key auto_i...
2019-05-14 17:07:24
1915
原创 OperationalError: (1135, "Can't create a new thread (errno 11); if you are not out of available memo
背景概述： 一台物理服务器，跑了多个实例，如果有一天 mysql 错误日志出现类似告警OperationalError: (1135, "Can't create a new thread (errno 11); if you are not out of available memory, you can consult the manual for a possible OS-depend...
2018-10-11 16:28:19
1264
1
原创 so easy !, 1次Oracle 恢复测试杂谈-rman!
-- 论Oracle恢复测试手术杂谈：[oracle@newmachine ~]$ ifconfig |grep addrbond0 Link encap:Ethernet HWaddr 6C:92:BF:6B:4D:94 inet addr:10.180.58.100 Bcast:10.180.255.255 Mask:255.255.0.0 ...
2018-09-26 16:17:05
299
原创 Oracle12c 容器数据库详解
如果是非生产环境，容器数据库CDB 这功能还可以。但是，如果生产使用CDB，也可以，但是感觉很鸡肋，一般上生产的，最好为非CDB 数据库。1, CDB 容器数据2, PDB 可插拔式数据库3，根容器 CDB$ROOT4, 种子可插拔数据库 PDB$SEED5, 克隆,通过 种子库(pdb$seed 不能修改，只读)，pdb库，非CDB库，创建可插拔数据库。6，非CDB，ORACLE12C 没有创建...
2018-06-02 08:55:33
19508
4
原创 group replication
本课件包含：1， MySQL官方文档 group replicateion 介绍2，single & multi group replication 部署配置3，my.cnf 配置参数1， MGR 官方文档及注意点：Deploying Group Replication in Single-Primary Mode部署 MySQL组复制 单主模式Create the data direct...
2018-03-15 17:26:31
945
原创 Innobackup 备份异常中断
最近再重新整理MySQL备份策略：1， 通过mysqldump 备份每个库的dump 文件。2， 通过innobackupex 全备 全部实例。 --具体脚本，可以关注我，可以免费给哦 。话题扯回来，今天的话题。 innnobackupex 备份异常中断退出：################# 报错日志 ###############[MySQL-In
2018-02-07 14:23:04
1081
原创 《破解国际大式投资机密》
--耐心比头脑更重要--不要摸石头过河，可以问问先过河的人。--千万富翁的藏宝图 -->必须严守规则和纪律，这是游戏规则，只有这样才能坚持到底。办企业的三层境界：1，创业阶段，在这个时期，创业者的勇气和经验时企业成功的首要条件2，发展阶段，在这个时期，经营技巧与管理方法成为企业家赖以致胜的手段，而此时，勇气和经验则退居其后3，规模阶段，在这个时期，要想企业继续发展前进，企业家的那些经验，技巧，方法
2018-01-18 17:55:56
303
原创 《洗脑术》逆向思维与成功学
《洗脑术》 逆向思维与成功学 --内藤谊人 part I : 神不知鬼不觉的“洗脑术” 1，杜撰一个老掉牙的格言框住对方 --如果想框住对方，提高说服力，那么就在会话中参杂一些谚语和格言。 --可真可假，瞎编一个又何妨。 2， 为自己的主张收集有利证据。 --一条证据不如两条，
2018-01-18 17:41:32
1129
原创 MHA部署配置详解
此文档，没有逻辑线路，估计看时比较吃力。不知那儿跟哪儿。 在这里说明一下，此文档是在原 网络转载上 新增了一些内容。其他的基本保持不变。阅读本文档，1， 建议从头到尾 阅读， 前面为 部署， 中间为 对应问题处理， 后段 为 mha 维护。 2， 增加了 双主模式，半同步复制。 3， 新增sudo mysql ，
2018-01-18 17:33:36
4463
原创 基于MySQL 数据库的审计设计方案
点击打开链接 --源地址信息 目录 1 xxx基于数据库审计基本信息2 场景描述3 使用范围规则4 角色与职责5 审计系统环境的部署5.1 MySQL数据库部署5.2 Replicate 部署5.3 半同步复制配置5.4 备份策略 6 审计操作6.1数据库层面审计操作
2018-01-18 17:23:42
3390
原创 Pg-数据同步详解配置
初次接触po s t g re s q l, 因海外服务器打算上p g 数据库， 为何这样，因为钱，你说国内用用ora c le, 没什么。 国外，就有点涉及到版权的问题的。其实国内，国外都有这一块， 只是。。。。 此处省略 n 课字， 为了环保吧。postgres hot_standby 主从配置部署: (hot_standy)版本: postgresql 9.6.2
2017-08-24 00:06:37
1977
原创 Postgresql 异步流复制 详解及配置切换
#######1, postgresql移步同步 and 主备切换2, postgresql 同步 and 主备切换3, archive 数据同步参考:http://blog.csdn.net/fjgui/article/details/47421609参考: >postgres hot_standby 主从配置部署: (hot_standy)版本: pos
2017-08-17 18:10:25
7957
原创 MySQL memory 引擎 table is full 处理
解决mysql的内存表“table is full”错误101209 13:13:32 [ERROR] /usr/local/mysql/bin/mysqld: The table ‘test_1291870945841162′ is full101209 13:13:32 [ERROR] /usr/local/mysql/bin/mysqld: The table ‘test_1
2017-07-26 14:19:40
2450
原创 控制文件损坏重建
SQL> startup ORACLE instance started.Total System Global Area 5010685952 bytesFixed Size 2261848 bytesVariable Size 3154119848 bytesDatabase Buffers 1
2017-04-25 16:48:38
598
原创 PG二进制安装
前言：新公司有一套postgresql, 日夜作为数据仓库，跑一些报表及批处理等。所以，就得学习这PG， 学习的第一步，就是安装配置，从但节点开始：系统：CentsOS6.8 x86 64bitPG:postgresql-9.6.2-3-linux-x64-binaries.tar.gz ( 版本*.run 需要图形界面）创建目录：[root@limin-test
2017-04-19 22:11:56
626
转载 文章标题
转载： https://oracle-base.com/articles/11g/oracle-db-11gr2-rac-installation-on-linux-using-nfs Oracle Database 11g Release 2 RAC On Linux Using NFS This article describes the installation of Orac
2017-04-15 22:12:28
612
原创 Oracle 监听处理脚本
---------Oracle 自动修改主机及监听地址 --------[root@limin-test ~]# cat 2.sh#!/bin/bash#Program:# 修改/etc/hosts下IP及主机名地址#定义的一些常量log_file=/tmp/log_HOSTNAME=`hostname`ORACLE_TNS='/u01/
2017-04-05 22:19:31
456
原创 InnoDB 共享表空间和独立表空间详解
学习mysql的时候总是习惯性的和oracle数据库进行比较。在学习mysql InnoDB的存储结构的时候也免不了跟oracle进行比较。Oracle的数据存储有表空间、段、区、块、数据文件；mysql InnoDB的存储管理也类似，但是mysql增加了一个共享表空间和独立表空间的概念；Oracle ： BLOCK(8K) ->ROW ->PAGE -->EXTENT --> SEGMENT
2017-03-16 11:55:11
483
原创 Mysql5.7 innodb innodb_* 参数详解
(root@(none)) Mysql >show variables like 'version%';+-------------------------+------------------------------+| Variable_name | Value |+-------------------------
2017-03-15 16:56:55
5597
原创 Mysql-mmm 架构部署
前言防止单点故障，虽然有master/master, master/slave 等架构，但是仅仅这样，在实际应用中，还是有诸多考虑。再则，现如今一个企业为了节约成本，除了核心稳定无赖外，更多的考虑开源数据库，通过第三方软件，实现HA 架构。话，不多说，说正事：MMM (Master-Master Replication Manager for MySQL) is a set of
2017-03-09 23:46:43
2266
原创 mysql -1045
-- 在配置mysql 架构时，配置 master- to - master 时， master B 节点 一直报错 1045， 按理这样的错不应该了，在记忆中这样的报错 主要存在 replicate user 密码错误所致， 但是，一般配置时，个人有个小小的习惯就是，把命令先通过notepad++ 写好，然后条条复制到服务器中去。mysql> show slave st
2017-02-28 15:08:30
323
大数据hadoop集群部署-最详细的部署-2.8.5.pdf
2020-05-17
MySQL 备份恢复脚本 from 工具 Innobackupex
2018-01-25
ORACLE DBA 维护脚本（推荐）
2013-09-13
oracle_rac日常基本维护命令
2013-04-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人