Z.l_-CSDN博客

原创主机重启DBUS及POLKIT服务无法启动

需注意root的配置文件，尤其是库文件指向。安装Oracle只改oracle用户的，但是如果接监控或者别的需要在root下面配置oracle环境变量时，要添加LD_LIBRARY_PATH，此时一定要看好库指向，/usr/lib64优先而不是oracle的。...

2022-08-03 11:04:51 2920 1

使用lac分词1、需求目前有一系列带有人名、机构的信息，需要将人名和机构名剥离梳理。python lac库可以实现精准定位分词。2、参考文档安装lac前的一些依赖关系解决，需要python版本3.7https://www.freesion.com/article/4512610119/书签：成功解决问题：ModuleNotFoundError: No module named 'paddle'或者 No module named 'paddle.fluid' - 灰信网（软件开发博客聚合

2022-03-31 14:25:53 3632 2

原创 ELK相关成员部署及简单配置

ELK相关成员部署及简单配置[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Gkobap7y-1623050862580)(media/73e12cd91e3782f218bd9fac89df1762.png)]1、elasticsearch的安装与简单配置！！！ JAVA环境的必要性：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-t4gFBBpy-1623050862584)(media/8c53efec682cfa80bd852815

2021-06-07 15:28:08 354 1

原创 RAC11.2.0.4GI安装执行root.sh脚本报错

环境介绍在主安装节点执行root脚本，查看日志存在以下失败信息[root@orcl1 ~]# tail -100f /u01/app/grid_home/install/root_orcl1_2021-02-04_16-43-26.logPerforming root user operation for Oracle 11gThe following environment variables are set as: ORACLE_OWNER= grid ORACLE_HOME=

2021-02-05 09:47:28 382

原创使用ISCSI+Multipath配置共享存储

环境说明VMware下CentOS7，额外添加一块硬盘具体如下：[root@orcl1 dev]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 200G 0 disk├─sda1 8:1 0 1G 0 part /boot└─sda2 8:2 0 199G 0 part ├─centos-root 2

2021-02-03 19:30:11 513

原创 log file switch解决办法

问题背景：19cRAC使用swingbench进行压测并发数200压测截图：tps存在较多起伏，同时磁盘IO存在较多抖动，说明对磁盘的写较为频繁且tps与磁盘IO变化趋势接近ash查看当前等待事件：发现较多log files witch，log file switch等待，该等待事件在日志发生切换的时候出现。后台进程 LGWR需要关闭当前日志组，切换并打开下一个日志组，在这个切换过程中，数据库的所有 DML 操作都处于停顿状态，直至这个切换完成。log file switch主要包含lo

2021-01-27 16:28:58 1495

原创使用Orion测试ASM磁盘组

Oracle orion下载https://www.oracle.com/cn/technical-resources/topics/oracle-orion-download.htmlORION (Oracle I/O Calibration Tool) 是校准用于 Oracle 数据库的存储系统 I/O 性能的独立工具。校准结果对于了解存储系统的性能有很大帮助，不仅可以找出影响 Oracle 数据库性能的问题，还能测量新数据库安装的大小。orion是一个独立的工具，用户不需要创建和运行数据库。OR

2021-01-27 16:25:17 792

原创 B+树相关数据结构和算法

二分查找法二分查找法（binary search）也称为折半查找法，用来查找一组有序的记录数组中的某一记录，简单来讲就是将记录按照有序化（递增递减）排列，在查找过程中采用跳跃式方式查找，即先以有序序列的中间位置为比较对象，如果要找的元素值小于该中点元素，则将待查序列缩小为左半部分，否则为右半部分。一次比较将查找区间缩小一半。具体如下：这里有10个数字，现在需要查找48这条记录，二分法查找过程如上，第一次查找为37，48大于37所以在右侧再次二分法查询，这次定位为50大于48在左侧查询，可以得到48，整

2021-01-27 14:53:43 478

原创 Oracle CPU打高问题排查思路

通过系统进程排查1.使用top命令确定进程pid可以看到有较多会话进程消耗CPU达到100%，然后找到这些存在问题的进程查看具体信息[oracle@ajdbosread 12.1.2]$ ps -ef | grep 432705oracle 432705 1 87 09:28 ? 02:13:13 oraclequerydb (LOCAL=NO)确认进程为远程连接后，使用如下SQL得到执行SQL的具体信息2.获取执行SQLSELECT /*+ ORDERED

2021-01-27 14:43:20 515 1

原创关于视图： V$RMAN_BACKUP_JOB_DETAILS

该视图记录了rman备份的相关信息，主要内容如下：SQL> desc V$RMAN_BACKUP_JOB_DETAILS; Name Null? Type ----------------------------------------- -------- ---------------------------- SESSION_KEY

2021-01-26 09:53:58 980

原创 19CRAC静默安装模板

GI安装模板#cat grid.rsporacle.install.responseFileVersion=/oracle/install/rspfmt_crsinstall_response_schema_v19.0.0INVENTORY_LOCATION=/u01/app/oraInventoryoracle.install.option=CRS_CONFIGORACLE_BASE=/u01/app/grid_baseoracle.install.asm.OSDBA=asmdbaoracl

2021-01-26 09:51:38 573

原创 RAC添加私有网卡

当前环境：RAC环境已存在，原环境每个节点两张网卡，现在每个节点各新增一张网卡作为私网网卡加入rac集群环境查看当前集群网卡情况：[grid@orcl2 ~]$ oifcfg getifeth0 172.16.104.0 global publiceth1 172.16.108.0 global cluster_interconnect,asm[grid@orcl1 ~]$ oifcfg getifeth0 172.16.104.0 global publiceth

2021-01-26 09:50:01 405

原创 RAC HAIP问题记录

背景介绍：在Oracle11.2.0.2之前，私网冗余通过在操作系统层面做网卡绑定来实现，从11.2.0.2开始引入了一个新特性叫做Highly Available Virtual IP，简称为HAIP。该特性替代了传统网卡通过绑定技术完成Active-Active的模式进行数据传输。同时实现故障转移功能和负载均衡（减少因为gc等待带来的性能问题）。HAIP属于ohasd资源，对于Oracle 集群而言私网通信尤为重要，因为节点和节点间通信绝大部分是通过私网来实现的。私网通信基本可以分为两种，第一种为集

2021-01-26 09:45:56 897

原创 xtrabackup原理

1.什么是xtrabackupPercona-xtrabackup是 Percona公司开发的一个用于MySQL数据库物理热备的备份工具，支持MySQL、Percona server和MariaDB，开源免费，是目前较为受欢迎的主流备份工具。开源、免费的MySQL热备份软件，它可以为InnoDB和XtraDB数据库执行非阻塞备份（对于MyISAM的备份同样需要加表锁）。在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大

2020-12-17 09:31:10 338

原创 xtrabackup整库全备恢复单库

1. 创建测试环境建立测试库mysql> create database testa;Query OK, 1 row affected (0.00 sec)mysql> create database testb;Query OK, 1 row affected (0.00 sec)mysql> create database testc;Query OK, 1 row affected (0.00 sec)mysql> create database test

2020-12-17 09:26:11 2026

原创 oracle自动启动脚本

oracle自动启动脚本/etc/oratab介绍系统版本：CentOS release 6.8 (Final)数据库版本：Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production核心文件：/etc/oratab注：如果相应目录下没有该文件，可以使用find命令进行查找复制关于该文件的说明：文件内容格式：$ORACLE_SID:$ORACLE_HOME:[Y/N]第一和第二字段分别是数据库的系

2020-12-17 09:22:25 778

原创 MySQL相关文件——二进制日志

MySQL二进制日志—binlog一、什么是二进制日志1.概念二进制日志被称为binlog，它会记录所有的修改数据库的语句或者有可能改变数据库的语句，但是像select，show等不会对数据库进行写操作的语句不会被记录。2.具体分析二进制日志，内容是二进制的也就是说使用cat等命令是无法直接查看的，在二进制日志中有着“事件”，“位置”的概念的。**事件：**events。在binlog中每一条记录都可以当作是一个“事件”，因为二进制日志记录的是对数据库的修改，也就是每有一次修改就

2020-11-03 11:28:25 123

原创 MySQL相关文件——Innodb存储引擎文件

上面说的都是MySQL本身的文件，与存储引擎无关。除了这些文件外，每个表存储引擎都还有自己独有的文件：表空间文件重做日志文件1. 表空间文件Innodb采用将存储的数据按照表空间（tablespace）进行存放的设计。在默认配置下会有一个初始大小为10MB名为ibdata1的文件。这个文件就是默认的表空间文件（tablespace file），可以通过参数innodb_data_file_path对其进行设置。查看参数对应值：mysql> show variables like

2020-11-03 11:26:01 192

原创 MySQL相关文件——表结构定义文件

因为MySQL插件式存储引擎体系结构的关系，MySQL数据的存储是根据表进行的，每个表都有一个与之对应的文件。但不论采用什么存储引擎，MySQL都有一个以frm为后缀名的文件（这个特性在MySQL8中被取消），这个文件记录了该表的表结构定义。frm还用来存放视图的定义，如下所示创建一个v_a视图，那么相应的也会产生一个v_a.frm文件，用来记录视图的定义，这个文件是文本文件，可以直接使用cat命令进行查看。mysql> create or replace view v_a as select

2020-11-03 11:25:22 368

原创 MySQL相关文件——PID文件

在MySQL实例启动的时候，会把自己的进程ID写入到一个文件中，这个文件就是PID文件。这个文件可以通过参数pid_file进行控制，默认位于数据库目录下，文件名为主机名.pid。当MySQL关闭实例后这个文件也会随之消失。查看pid文件信息：mysql> show variables like 'pid_file'\G*************************** 1. row ***************************Variable_name: pid_file

2020-11-03 11:24:29 2634

原创 MySQL相关文件——套接字文件

MySQL有两种主要的连接方式：常用的还是TCP连接：[root@mysql8 data]# mysql -h 192.168.103.67 -uroot -pEnter password: Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 14Server version: 8.0.15 MySQL Community Server - GPLCopyright (c)

2020-11-03 11:23:47 233

原创 MySQL相关文件——日志文件

日志文件记录了影响MySQL数据库的各种类型活动。MySQL数据库中常见的日志文件有：错误日志（error log）二进制日志（binlog）慢查询日志（slow query log）查询日志（log）1. 错误日志（error log）错误日志记录了MySQL启动，运行，关闭的过程。当数据库出现问题的时候应该首先查看该文件来定位问题。注意：错误日志并不只会记录数据库所有的错误信息，也会记录一些警告信息和正确信息。查看数据库错误日志的位置：show variables l

2020-11-03 11:22:43 768

原创 MySQL相关文件——参数文件

1.参数文件当MySQL实例启动的时候，数据库会先去读取一个配置参数文件，用来寻找数据库各种文件的所在位置及指定某些初始化参数，这些参数通常定义了某种内存结构有多大等，在默认情况下，MySQL实例会按照一定顺序在指定的位置进行读取，可以使用mysql --help | grep my.cnf来进行寻找。[root@mysql8 ~]# ps -ef | grep mysqldmysql 65894 1 0 14:56 ? 00:00:00 /bin/sh /usr/

2020-11-03 11:21:14 282

原创 InnoDB——关键特性

1.插入缓冲（Insert Buffer）1）Insert BufferInsert Buffer可以说是InnoDB存储引擎中比较关键的特性了。但是它并不是如名字般是缓冲池的组成部分，InnoDB缓冲池中确实存在Insert Buffer中的信息，但是Insert Buffer和数据页一样是物理页的一个组成部分。InnoDB的插入：在InnoDB存储引擎中，主键是行的唯一标识符。通常应用程序中行记录的插入是按照主键递增的顺序进行插入的，因此插入聚集索引（Primary Key）一般是顺序的，

2020-10-26 13:48:57 185

原创 python升级导致yum命令报错

yum报错File ”/usr/bin/yum“,line 30 问题处理操作系统：CentOS7需要安装新的软件包，使用yum进行安装时报如下错误[root@mysql8 logs]# yum clean all File "/usr/bin/yum", line 30 except KeyboardInterrupt, e: ^SyntaxError: invalid syntax原因：yum采用Python作为命令解释器，

2020-10-14 11:24:13 363

原创 InnoDB——Checkpoint

CheckPoint技术目标问题如果每当一个页发生变化就将其写回磁盘那么开销会变得很大，而且如果热点数据都在这几个页中，需要频繁修改，频繁写回在读取磁盘，这样数据库性能会变得极差。除此之外，如果数据库在从缓冲池将页的新版本刷新到磁盘时发生了宕机，那么数据便无法恢复造成数据的丢失。为了避免数据丢失的问题，事务数据库通常都会采用Write Ahead Log的策略，当事务提交的时候，先写重做日志再对页进行修改。当发生宕机而导致数据丢失的时候，可以通过重做日志来进行恢复。场景：如果，重做日志可以无限扩大

2020-09-19 13:54:05 245

原创 InnoDB——内存

内存1.缓冲池InnoDB存储引擎是基于磁盘存储的，并将其中的记录按照页的方式进行管理，因此可将其视为基于磁盘的数据库系统（Disk-base Database）。在数据库中CPU速度与磁盘速度是有很大差距的，基于磁盘的数据库系统通常使用缓冲池技术来提高数据库的整体性能。缓冲池简单来说就是一块内存区域，通过内存的速度来弥补磁盘速度较慢对数据库性能的影响。在数据库中进行读取页的操作，首先将从磁盘读到的页存放到缓冲池中，这个过程称为将页‘FIX’在缓冲池中。下一次再读相同的页的时候，首先判断页是否在缓冲池

2020-09-19 13:52:34 136

原创 InnoDB——线程

后台线程InnoDB存储引擎是多线程的，因此后台有多个不同的后台线程，负责处理不同的任务Master Thread核心后台线程，主要负责将缓冲池中的数据异步刷新到磁盘上，保证数据的一致性，包括脏页的刷新，合并插入缓存（Insert BUffer），undo页回收等。IO ThreadInnoDB存储引擎中大量使用AIO（Async IO）来处理写请求，可以极大的提高数据库性能。而IO Thread线程主要负责这些IO请求的回调（call back）处理。IO Thread主要可以分为write

2020-09-19 13:51:27 521 2

原创 MySQL存储引擎介绍

MySQL的组成部分：连接池组件管理服务和工具组件SQL接口组件查询分析器组件优化器组件缓冲组件（cache）插件式存储引擎（相比其他数据库比较大的区别）物理文件存储引擎是底层物理结构的实现，每个存储引擎的开发者可以按照自己的意愿来开发存储引擎是基于表的，而不是数据库。MySQL的存储引擎MySQL数据库独特的插件式存储引擎结构，每个存储引擎都有自己的特点，能够根据不同的应用建立不同存储引擎的表。MySQL开源特性使得用户可以根据自己MySQL预定义的存储引擎接口来编写自己的存.

2020-09-14 16:02:38 102

原创 InnoDB文件结构

1.innodb存储引擎文件组织[root@mysql8 ~]# ps -ef | grep mysqldmysql 18070 1 0 14:35 ? 00:00:00 /bin/sh /usr/local/mysql/bin/mysqld_safe --defaults-file=/data/mysql/mysql_3306/my_3306.cnfmysql 19690 18070 4 14:35 ? 00:00:05 /usr/loca

2020-09-06 15:22:47 622

原创 mysql优化-or的改写

使用or会导致sql无法使用索引。可以使用union进行改写SELECT `member_id` FROM `feel_member` WHERE ( `account` = 'leader' OR `mobile` = 'leader' OR `email` = 'leader' OR `name` = 'leader' ) AND `type` = 1 AND `closed` = 0 LIMIT 1;以selec

2020-09-06 14:55:48 638

原创记一次RMAN全备恢复

一次RMAN全备恢复当前环境，客户已经将相应的备份文件导入测试环境，测试环境Oracle软件已经安装完成，同时测试环境存在数据库。无法确定测试环境的数据是否可以删除，同时考虑到测试环境磁盘空间比较充裕。选择新建实例的方法。以下操作为流程，鉴于数据安全性为我自己还原的场景源库执行RMAN备份全库1）全备前操作#查看当前数据库状态SYS@proe>select instance_name,status from v$instance;INSTANCE_NAME STATUS----

2020-08-25 15:51:00 341

原创 ORA-00972: identifier is too long 问题处理

ORA-00972: identifier is too long 问题处理关于这个错误从报错提示来看，就是标识位置字段太长了，一般出现在别名长度问题上。这种情况对字段做出些修改即可。还有另外一种情况，也会报相同的错误，一条SQL可以在客户端工具如navicat，PLSQL等执行，但是却无法在SQL Plus中执行。出现这种情况一般是字符集的问题。测试流程：1）在SQL Plus中执行SYS@proe>SELECT a.tablespace_name "表空间名", to

2020-08-24 13:04:33 20106

原创 error while loading shared libraries: libnuma.so.1: cannot open shared object file: No such...

MySQL5.7二进制安装初始化报错报错信息：[[email protected] /app/mysqlapp/mysql/bin]#./mysqld --initialize --default-file=/etc/my.cnf --user=mysql./mysqld: error while loading shared libraries: libnuma.so.1: cannot open shared object file: No such file or directory解决：#直接安装

2020-08-21 15:14:08 308

原创 MySQL5.7二进制安装

软件包：https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.31-linux-glibc2.12-x86_64.tar.gz环境规划：主机名IP数据库版本系统版本MySQL5.7192.168.1.232mysql-5.7.31CentOS release 6.9 (Final)1.系统配置1）修改主机名，关闭selinux，关闭防火墙等[root@centos6 ~]# vim /etc/sysconfig/

2020-08-21 14:49:47 287

原创使用OGG实现Oracle到kafka数据同步

使用OGG实现Oracle到kafka数据同步文章目录使用OGG实现Oracle到kafka数据同步一、环境规划二、安装包下载三、搭建过程1.Oracle部署2.Oracle OGG部署3.kafka OGG部署4.OGG配置（含测试准备）四、测试五、错误分析一、环境规划实现目标：配置OGG，实现从Oracle到kafka数据增量同步。同步消息格式为json。主机规划：身份主机名版本IPOGG版本源端orcldbRelease 11.2.0.4.0172

2020-08-20 16:23:19 1102

原创通过二进制日志恢复误删数据库

一、初始环境系统版本：CentOS Linux release 7.6.1810 (Core)数据库版本： 8.0.15 MySQL Community Server - GPL二、环境模拟1.恢复的必要条件开启binlog日志，通过二进制日志和全备（逻辑备份）来恢复误删库。整体环境是在一次全备后有新数据插入，误删数据库进行恢复。先恢复全备状态，然后根据二进制日志提取出相关SQL将drop语句删除。重新恢复即可。2.创建测试环境1）查看此时数据库是否开启二进制日志mysql> s

2020-08-19 17:09:23 987

原创 Buffer Cache内部原理-LRU队列-主辅LRU

LRU队列文章目录LRU队列1.主LRU和辅LRU链表2.物理读时访问LRU链表情况3.辅助LRU为空后的处理方式LRU分为LRU和LRUW，他们两个分别分为主辅两个链表。也就是说一组LRU包含四个链表，主LRU，辅LRU，主LRUW，辅LRUW。其中主LRU和辅LRU用于在Buffer cache中寻找可以覆盖的buffer cache块。主LRUW和辅LRUW的作用和检查点队列类似或者说是二者合力而为，是DBWR用来写脏块的。1.主LRU和辅LRU链表作用：物理读时，服务器进程将数据块从数据文

2020-08-18 15:49:11 292

原创案例：单列索引和复合索引选择

单列索引和复合索引的选择问题SQL：mysql>explain SELECT product_subject_rule_id, property_type, property_value, product_subject_id, submited_num, created_at, updated_at, enabled FROM product_subject_rule WHERE ( product_subject_id.

2020-08-18 11:54:45 735

原创 ORA-27125问题解决

问题环境：在centos6上搭建单机Oracle10G，搭建完成关机后启动报错，报错信息如下：[root@centos6 ~]# su - oracle[oracle@centos6 ~]$ sqlplus / as sysdbaSQL> startup;ORA-27125: unable to create shared memory segmentLinux-x86_64 Error: 1: Operation not permittedSQL> DisconnectedO

2020-08-16 14:53:33 2371

空空如也

空空如也