- 博客(66)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 GaussDB SQL执行很慢，性能低，有时长时间运行未结束
数据库经过多次删除操作后，索引页面上的索引键将被删除，造成索引膨胀。5、对表定期做vacuum full和analyze，可回收已更新或已删除的数据所占据的磁盘空间。4、分析SQL语句是否使用了不下推的函数，建议更换为支持下推的语法或函数。2、分析查询是否被阻塞，导致语句运行时间过长，可以强制结束有问题的会话。如果没有锁，查找相关业务sql，按照方法一中的判断方法进行处理。如果有锁，则查找出pid字段，使用如下函数，结束任务，释放锁。查询表大小，如果表非常大，而实际只有很少数据，那么应该执行。
2022-10-13 20:44:54
2397
原创 linux日志文件删除
Linux find 命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时，不设置任何参数，则 find 命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。...
2022-08-09 10:10:21
2856
原创 mysql使用自定义序列实现开窗函数row_number功能(步骤详解)
业务场景在做east5.0的时候，想要实现hive库迁移mysql库，此时絮叨一个难搞的问题，就是 row_number() over(partition by ... order by...)这种开窗函数分组排序的mysql在8.0之后才支持，而我用的是5.+不支持（此处心里咒骂David、Monty Widenius N+1遍）。在一通百度之后终于知道该怎么在 mysql 里面实现 row_number() 排序了。话不多说 show time:实现一、建表create table grad
2022-05-05 10:59:25
2388
原创 Java日历
无实际教学意义，纯粹个人学习记录。package test;import java.util.Calendar;import java.util.Scanner;/** * @Time: 2022/4/27 14:57 * @Author: lee * @File: test * @Version: 1.0.1 */public class Test{ public static void main(String[] args) { Scanner sc =
2022-04-27 14:59:11
392
原创 Oracle中dba,user,v$等开头的常用表和视图
Oracle中dba,user,v$等开头的常用表和视图功能很强大，但是作为一个面向程序的程序猿来说可能很多表都并不了解或者遇见了也不知道是做什么用的，该文档主要用来供各位参考，以便更好的使用Oracle,有错误、缺失的地方欢迎指正。1 Oracle常用表1.1 dba_开头表1.2 user_开头表1.3 v$_开头表1.4 all_开头表1.5 session_开头表1.6 index_开头表以下仅包含部分表及视图。1 Oracle常用表1.1 dba_开头表表名注释dba_
2022-02-26 11:48:24
1928
1
原创 【死锁释放】Oracle存储过程（函数）死锁释放
死锁释放1、技术场景2、原因3、解决办法4、代码实现1、技术场景 存储过程（函数）1执行过程中，关闭或者中断存储过程，有时重新编译时等待时间很长。2、原因 其原因跟表死锁类似，有其他进程占用了该存储过程。3、解决办法 解决办法跟表死锁一样，解锁即可。4
2022-02-26 10:41:15
1627
原创 Oracle删除重复数据
Oracle利用伪列 rowid 删除重复数据一、首先了解一下rowid1、rowid 定义2、扩展ROWID二、利用rowid删除重复数据1、方法一：2、方法二：3、方法三： 在我们日常工作中，经常有这样一个业务场景，我们在同一张表中有重复的记录，我们要删除重复的记录，以下是本人整理的三种方法，主要是利用Oracle伪列rowid来实现的。如有别的方法欢迎指导。一、首先了解一下rowid1、rowid 定义 首先我们需要理解什么是rowid。ROWID：数据库中行的全局唯一地址对于数据中的
2021-11-02 10:10:09
633
原创 Oracle索引详解
Oracle索引一、索引介绍1、什么是索引？2、使用索引的目的二、索引的分类及结构1、逻辑上：2、物理上：三、各种索引详解1、 B树索引（1）特点：（2）技巧：2、位图索引（1）特点：（2）技巧：3、 反向索引（1）特点：（2）技巧：4、HASH索引（1）特点：5、函数索引6、分区索引和全局索引7、域索引 Domain四、怎样建立索引1、普通索引2、唯一索引 Oracle 自动在表的主键上创建唯一索引3、位图索引4、组合索引5、基于函数索引6、反向键索引7.重置索引8.删除索引五、索引失效细节1.使用不等于
2021-08-11 17:33:43
19675
7
原创 Oracle数据字典使用
一、数据字典数据字典是oracle存放有关数据库信息的地方，几乎所有的系统信息和对象信息都可在数据字典中进行查询。数据字典是oracle数据库系统的信息核心，它是一组提供有关数据库信息的表和视图的集合，这些表和视图是只读的。它是随着数据库的建立而建立的，当数据库执行特定动作时数据字典也会自动更新。数据一览与数据字典来记录、校验和管理正在进行的操作。oracle中、sys用户是数据字典的拥有者，数据字典保证在所有数据库的系统表空间system内，任何用户都无权更改sys模式下的模式对象或数据字典中的行。也
2021-08-10 15:03:30
543
1
原创 linux 环境 dos转unix文件格式方法
Window上编辑的文件上传到Linux系统上，经常会遇到报错，原因在于window上文件格式与linux上是不同的导致。 Windows上是dos格式，Linux上是unix格式，两者是有区别的。遇到这种情况有很多种解决办法。下面列举几种个人常用方法。测试文件如下file_lee.txt#!/bin/bash#This is a test file.pwd查看文件格式1、输入 vi 文件名进入该文件2、输入: set ff 回车可以看到 fileformat=dos方法1： dos
2021-07-27 15:45:50
1198
原创 oracle sqlplus/command 环境执行存储过程
存储过程调用入参+出参出参别问我为什么不用test调用，太low（其实是某些场景根本不给你使用plsql）入参+出参存储过程示例CREATE OR REPLACE PROCEDURE proc_lee_in_out_parameter(in_parameter IN VARCHAR2,out_parameter OUT VARCHAR2) ASBEGINout_parameter:='0'; EXCEPTION --异常 WHEN OTHERS THEN RO
2021-06-08 11:15:34
971
原创 ORACLE drop table 和 purge 和 flashback
删库必备技能）DROP TABLEFLASHBACK TABLEPURGEDROP TABLE ... PURGE操作 Oracle 时，经常会删除一个表，当删除错误后，希望能够恢复该表，有时也希望删除表之后能够立刻释放表的空间。通过 purge 的使用可以在 Oracle 中删除表、恢复表和空间释放。DROP TABLE当在 Oracle 中删除drop一个表时，数据库不会立刻释放表的空间，而是重命名这个表然后将其放入回收站，可以通过以下方式查询：SQL> SELECT object_na
2021-05-22 16:53:08
630
3
原创 数据库操作常用技巧
随时更新1、不要用聊天工具发sql语句2.操作数据之前先select一下3.操作数据之前注意量级4.update时更新修改人和修改时间5.多用逻辑删除，少用物理删除6.操作数据之前先做备份7.表名前面一定要带库名8.新加字段一定要注意非空或者主键限制无论是开发、测试，还是DBA，都难免会涉及到数据库的操作，比如：创建某张表，添加某个字段、添加数据、更新数据、删除数据、查询数据等等。正常情况下还好，但如果操作数据库时出现失误，比如：删除订单数据时where条件写错了，导致多删了很多用户订单。更新会员
2021-03-24 16:24:56
481
2
原创 linux swap file “*.swp”already exists！问题
在 Linux 下的 vi 编辑过程中，由于某种原因异常退出正在编辑的文件，再次编辑该文件时，会出现如下提示：E325: ATTENTIONFound a swap file by the name ".test1.sh.swp" owned by: lee dated: Sat Oct 31 10:49:13 2020 file name: ~lee/shell_test/test1.sh modified: YES us
2021-01-11 14:33:51
294
2
原创 expdp数据泵全库导出和导入dmp包
expdp数据泵全库导出和导入1、创建文件导出路径（有必要的话就进行附权）2、切换oracle用户，导出dmp包1)全库导出2)导出指定表3、在新库上创建目录4、将数据拿到需要导入的数据库环境5、dmp导入1)全库导入2）导入指定表1、创建文件导出路径（有必要的话就进行附权）create directory expdp as '/u01/expdp'; grant read,write on directory expdp to system;2、切换oracle用户，导出dmp包1)全库导出
2020-12-17 16:23:39
2785
原创 scp命令传文件
SCP进行文件传输1、基本语法：2、具体用法1、从本地将文件传输到服务器2、从本地将文件夹传输到服务器3、将服务器上的文件传输到本地4、将服务器上的文件夹传输到本地1、基本语法：Linux scp 命令用于 Linux 之间复制文件和目录。scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。scp 是加密的，rcp 是不加密的，scp 是 rcp 的加强版。scp【本地或远程文件的路径】【服务器用户名】@【服务器地址】：【远程或
2020-12-17 14:08:59
107659
10
原创 Oracle递归详解
start with ...connect by prior 函数详解1、描述：2、语法：3、数据：建表语句：数据：4、案例：1、查询`1000`节点儿子节点2、查询`1200`节点所有子节点3、查找`1260`节点所有上级节点4、查询`1260`节点的簇兄弟(在同一层级)5、查询递归路径6、查询节点是否为叶节点(叶节点为1，非叶节点为0)1、描述：start with...connect by prior用于实现递归查询树形结构。如果不好理解proir的向上向下，就记住如果想往上遍历就把上级节点放在p
2020-12-08 16:04:58
3430
原创 etl Oracle、linux常用命令记录
Oracle常用命令记录1、表空间以及剩余大小使用率统计。1、表空间以及剩余大小使用率统计。SELECT a.tablespace_name AS "表空间名",total "表空间大小",free "表空间剩余大小",(total - free) "表空间使用大小",total / (1024 * 1024 * 1024) "表空间大小(G)",free / (1024 * 1024 * 1024) "表空间剩余大小(G)",(total - free) / (1024 * 1024 *
2020-11-07 14:13:28
229
原创 oracle删除数据库表空间信息报错 ORA-01116、ORA-01110、ORA-27041
oracle19c业务场景：删除TS_IND_ICRM表空间查看，表空间存在。SQL> select * from dba_data_files WHERE UPPER(tablespace_name) = 'TS_IND_ICRM';FILE_NAME FILE_ID TABLESPACE_NAME BYT
2020-08-28 17:13:06
1988
原创 ORACLE 错误解释
随时修正、补充ORA-00001: 违反唯一约束条件 (.)错误说明：当在唯一索引所对应的列上键入重复值时，会触发此异常。ORA-00017: 请求会话以设置跟踪事件ORA-00018: 超出最大会话数ORA-00019: 超出最大会话许可数ORA-00020: 超出最大进程数 ()ORA-00021: 会话附属于其它某些进程；无法转换会话ORA-00022: 无效的会话 ID；访问被拒绝ORA-00023: 会话引用进程私用内存；无法分离会话ORA-00024: 单一进程模式下不允许从
2020-08-27 16:56:39
1294
原创 VMware下的Linux扩展磁盘空间（扩展原有硬盘空间）
VMware下的Linux扩展磁盘空间业务场景业务场景操作流程一、VMware 加内存二 、linux操作查看磁盘空间信息：增加分区：检查分区：初始化分区,加入卷组卷扩容,添加进LVM组查看卷组,并将初始化的分区加入到虚拟卷组为卷组centos添加新的物理卷sda3增加卷组的容量扩展逻辑卷的大小（追加磁盘空间的过程）最后使用·resizefs2·命令重新加载逻辑卷的大小才能生效业务场景业务场景本文以 VMware® Workstation 15 Pro -15.5.6 build-16341506+
2020-08-23 11:15:20
6020
2
原创 VMware下的Linux扩展磁盘空间（增加全新的硬盘空间）
VMware下的Linux扩展磁盘空间业务场景业务场景操作流程一、VMware 加内存二 、linux操作业务场景业务场景本文以 VMware® Workstation 15 Pro -15.5.6 build-16341506+ CentOS Linux release 7.5.1804 (Core)为测试机。操作流程一、VMware 加内存如下图所示，此时可以看到虚拟机硬盘目前为25G，点击编辑虚拟机设置，进入虚拟机设置界面。分别按下图步骤点击硬盘→扩展→扩展内存→扩展→确定。硬盘扩
2020-08-20 13:41:58
1101
原创 Oracle 格式化spool
oralce格式化导出内容（暂未用到，后期补充详细用法）#格式化spoolset echo off;set heading off;set feedback off;set pagesize 0;set verify off;set trimspool on;set flush off;set tab off;set linesize 10000;set termout off;set trimout on;set colsep '|';set arraysize 201;
2020-08-18 16:51:18
157
原创 linux常用命令及参数
业务场景：当每天都会生成文件时，要删除非当前日期的文件。ls /home/lee | grep -v $dt |xargs rm -rf#-v 显示不包含匹配文本的所有行。#xargs 可以将管道数据转换成命令行参数，传递给 rm 命令
2020-08-12 14:29:13
420
原创 DML、DDL、DCL的区别
DML、DDL、DCL的区别：导语DMLDDLDCL导语以下为基于Oracle使用的个人理解，与官方可能解释可能存在出入，欢迎指正。DMLDML（data manipulation language）数据操纵语言： 就是我们最经常用到的 SELECT、UPDATE、INSERT、DELETE。 主要用来对数据库的数据进行一些操作。--查询SELECT col_a from tab_a ; --插入insert into tab_a select * from tab_b;
2020-08-12 10:51:13
217
原创 TDH常用命令
beeline命令PL/SQL对分号的支持inceptor默认对pl/sql语句的分号是不支持的，需要手动打开支持。手动打开后，需要在数据块后面加上一个只包含斜杠/的单独行来标识数据块结束。详情见： 分号支持详解.--打开支持分号!set plsqlUseSlash true--关闭支持分号!set plsqlUseSlash false方言设置方言类型是否默认beeline设置命令Oracle是!set plsqlClientDialect oracle <
2020-08-07 11:24:34
2681
原创 VMware 虚拟机NAT模式linux如何设置网络连接（宿主机+外网）
一、首先查看自己的虚拟机服务有没有开启，选择电脑里面的服务查看；1.计算机点击右键选择管理2.进入管理查看VM开头的服务，确保所有VM开头服务都处于开启状态二、查看本地网络虚拟机的网卡（VMnet8）启动没有1.电脑右下键检查是否正常连接外网2、电脑右下角网络标志右键进入网络和共享中心，点击更改适配器，确保虚拟机的虚拟网卡已开启。三、检查虚拟机（VMware）的网络配置1、打开虚拟机，选择你使用的操作系统，打开详情页面选择网络适配器，选择NAT模式。2、选择完后点击虚拟机页面上的编
2020-08-04 14:23:14
2332
1
原创 shell判断月末
#思路：月初的前一天为月末，月初永远是 yyyymm01 格式data_date=20200730day=`data -d "$data_date 1 days" "+%d"`if ["$day"=01];thenecho "当前日期为月末"elseecho "当前日期非月末"
2020-07-30 14:15:35
1903
2
原创 Python爬取豆瓣正在上映的电影
Python爬取豆瓣正在上映的电影#爬取豆瓣正在上映的电影import requestsfrom lxml import etree#1、将目标从网站上的页面抓取下来headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36', 'Referer':'https:
2020-07-20 16:21:50
562
原创 Python爬取招聘网站招聘信息
仅供个人学习笔记使用。from lxml import etreeparser = etree.HTMLParser(encoding='utf-8')html = etree.parse('招聘网站.html',parser=parser)#1、获取所有li标签# //li# xpath函数返回的是一个列表trs = html.xpath('//li')for li in trs: print(etree.tostring(li,encoding='utf-8').decode(
2020-07-20 14:01:54
1067
3
原创 Python 模糊查找路径下的文件
#业务场景：多线程模糊查找Windows路径下的文件（已实现模糊查找，正在尝试加多线程）个人学习使用记录，如有bug感谢各位大佬教诲。#FuzzySearch_v1import threadingfrom threading import Thread,current_threadimport osfrom queue import Queueclass FuzzySearch(Thread): def fSearch(self,absPath = None,ifile = None
2020-06-29 20:02:24
5411
1
原创 压缩碎片收缩高水位
业务场景：一张常用的经常ddl的表有一天突然发现count不动了。先后排除内存、死锁、会话占用、排队等多个问题之后，考虑到可能是高水位（High-warter mark, HWM）问题。在Oracle数据的存储中，可以把存储空间想象为一个水库，数据想象为水库中的水。水库中的水的位置有一条线叫做水位线，在Oracle中，这条线被称为高水位线（High-warter mark, HWM）。在数据库表刚建立的时候，由于没有任何数据，所以这个时候水位线是空的，也就是说HWM为最低值。当插入了数据以后，高水位线就
2020-06-20 09:14:12
204
原创 TDH备份存储过程、日志包范本
以下为个人备份存储过程、日志包范本，无实际学习概念，别浪费时间看了。1、建表语句drop table if exists lee_joblog;create table lee_joblog( proname string default null ,tabname string default null ,step string default null ,accdate string default null ,status string
2020-06-19 16:16:26
628
原创 TDH建表
ORC分区表create table if not exists orc_table_lee(table_key string comment '主键',data_date string comment '数据日期')comment 'ORC分区表'partitioned by (partid string) --分区键clustered by (table_key) --分桶键into 23bucketsstored as orctblproperties('transactional'
2020-06-17 09:33:14
918
原创 TDH如何在inceptor中使用分号（分号键在编辑存储过程中报错）
个人在编写sql存储过程的时候有使用分号的习惯，在inceptor的默认配置中也会识别分号为sql结束，但是beeline中默认的并不是分号为结束，所以当你用beeline命令进行编译存储时就会报错，如果要想在存储过程中使用分号应该进行如下的设置1.在beeline客户端中使用分号方法：1）在plsql 文件头部，加上一条set 命令：CLI+HiveServer1：set plsql.use.slash=true;Beeline+HiveServer2：!set plsqlUseSlash tru
2020-05-13 19:57:34
840
原创 beeline/hdfs 常用命令
hdfs查看所有数据磁盘使用率hdfs dfs -du -s -h /inceptor1/user/hive/warehouse/*
2020-04-27 14:23:45
1086
公历农历(阳历阴历)对照表(1900年-2100年)
2022-04-01
oracle-database-preinstall-19c-1.0-1.el7.x86_64.rpm
2020-08-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人