- 博客(64)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 各个时区对应的时差表 及 python中时区获取方式（支持夏令时）
Africa/Abidjan +00:00Africa/Accra +00:00Africa/Addis_Ababa +03:00Africa/Algiers +01:00Africa/Asmara +03:00Africa/Bamako +00:00Africa/Bangui +01:00Africa/Banjul +00:00Africa/Bissau +00:00Africa/Blantyre +02:00Africa/Brazzaville
2023-08-14 18:54:12
515
原创 数据建模方法论及实施步骤
逻辑数据模型的内容包括所有的实体和关系，确定每个实体的属性，定义每个实体的主键，指定实体的外键，需要进行范式化处理。从需求到实际的数据库，有三种不同的类型。（3） 实体间的联系用菱形框表示，联系以适当的含义命名，名字写在菱形框中，用无向连线将参加联系的实体矩形框分别与菱形框相连，并在连线上标明联系的类型，即1—1、1—N或M—N。概念数据模型是最终用户对数据存储的看法，反映了最终用户综合性的信息需求，它以数据类的方式描述企业级的数据需求，数据类代表了在业务环境中自然聚集成的几个主要类别数据。
2023-04-24 10:27:46
1097
转载 一文读懂大数据环境下的数据仓库建设！
将一些数据关联的日期进行拆分，使得其更具体的分类，一般拆分成年、月、日，而ODS层到DW层的ETL脚本会根据业务需求对数据进行清洗、设计，如果没有业务需求，则根据源系统的数据结构和未来的规划去做处理，对这层的数据要求是一致、准确、尽量建立数据的完整性。出于易用性和性能的考虑，维表一般设计成不规范化的。星型模型架构是一种非正规化的结构，特点是有一张事实表，多张维度表，是不存在渐变维度的，事实表和维度表通过主外键相关联，维度表之间是没有关联，因为维度表的数据冗余，所以统计查询时不需要做过多外部连接。
2023-04-17 17:00:21
454
原创 三范式建模和维度建模，到底该选哪一个？
两位大神有过非常有趣的观点是， Kimball 曾经说过： “数据仓库只不过是所有数据集市的联合体”，对此 Inmon 的回应是：“你可以捕获海洋中的所有小鱼并将它们聚在在一起——但是它们仍然不能成为鲸鱼”。维度表的建设：维度是经常被大家说道的一个词，其实维度更多的是一个视角，是从不同的角度去观察和分析事实的一个方法。这些数据会有相关的限制，例如：产品和客户的信息不可给市场和财务部门公开，部门与部门之间的数据会有限制，这种情况下只能采用Kimball的方法；这里的关键点是实体结构是以规范化形式构建的。
2023-04-17 15:10:36
321
原创 OLTP和OLAP区别详解
数据库系统一般分为两种类型，一种是面向前台应用的，应用比较简单，但是重吞吐和高并发的OLTP类型；一种是重计算的，对大数据集进行统计分析的OLAP类型（并发性差）。OLTP（On-Line Transaction Processing，联机事务处理）系统也称为生产系统，它是事件驱动、面向应用的，比如电子商务网站的交易系统就是典型的OLTP系统。OLAP（On-Line Analytical Processing，联机分析处理）是基于数据仓库的信息分析处理过程，是数据仓库的用户接口部分。基于查询的分析系统；
2023-04-17 14:18:15
475
原创 PowerDesigner 16.5 安装和卸载教程【含有安装文件】
链接：https://pan.baidu.com/s/1oqZ99ZQLCK8dH8u3TklcsQ提取码：6ycs。
2023-04-14 12:14:11
628
原创 用命令窗口合并多个sql文件方法
最好把中间的小勾去掉，数据量大的话，最造成数据丢失，或错误。然后点击开始就可以了。4.在文件夹的上层文件中，就可以看到合并后的sql文件abc.sql。\abc.sql为合并后的sql文件路径，最好放在外层文件中。5.然后打开navicat,找到要导入的库，右键，选择运行sql。3.然后输入以下命令 ，然后回车即可。
2022-11-11 21:21:49
1221
原创 首次使用windows10安装DB2_10.5数据库踩坑全教程，附加问题解决目录思路汇总
踩坑教程，安装的时候一定要安装framework3.5，它的作用就是会帮助DB2配置各种环境变量或者配置各种数据库设置，要不就得自己去配置特别麻烦，需要自己配置实例什么的，比如没有配置数据库实例就需要自己写这个语句（一般不用）............
2022-07-07 13:28:30
1469
原创 Mysql 5.7 服务下载安装图文教程(经典版)
MySQL 5.7在诸多方面都进行了大幅的改进，主要在于安全性、灵活性、易用性、可用性和性能等几个方面。下面我们通过图文并茂的方式给大家介绍Mysql5.7数据库的下载安装详细教程，一起看看吧！一、Mysql5.7下载1.百度搜索mysql,选择进入官网下载页2.点击下载安装版3.继续选择下载4.接下来就是有意思的了，显示提示大家登陆或者注册，但是搞笑的一点是左下角其实有一个快捷下载的链接，点击就好了，不需要注册登陆，哈哈，眼睛小的人，小编原谅你没看到，要知道，欧巴也是带
2022-03-21 22:39:46
2378
原创 Mybatis 实现多条件、多值批量更新
一、SQL CASE WHEN Oracle、MySql并没有提供直接的方法来实现批量更新，但是可以用点小技巧来实现。这里使用了case when来实现批量更新。 例如：1 UPDATE demo_table SET2 status = CASE id3 WHEN 1 THEN 34 WHEN 2 THEN 45 WHEN 3 THEN 56 END7 WHERE id IN (1,2,3) 这个SQL语句的
2022-03-21 22:37:16
4194
原创 kettle扩大运行内存，修改kettle参数配置
机器内存大，kettle却还是报错内存溢出，这时候可以尝试调整kettle的运行内存在windows中运行修改Spoon.bat文件中的参数PENTAHO_DI_JAVA_OPTIONS-Xms最小运行内存，-Xmx为最大运行内存，m为内存单位，也可以直接设置g为单位在linux中修改spoon.sh的参数PENTAHO_DI_JAVA_OPTIONS-XX:MaxPermSize=256mJVM最大允许分配的非堆内存，java8以上中已经移除了该参数，如果使用的jdk8以上可以把这个参数.
2021-04-19 15:14:52
6722
5
原创 Kettle使用中的20个常见问题
转载网址（如果本文章未显示出来图片，请跳转到原文地址）：https://blog.csdn.net/ZZQHELLO2018/article/details/106198975Kettle源码下载地址：https://github.com/pentaho/pentaho-kettleKettle软件下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integration一、Linux中如何部署kettle：（以ro.
2021-04-19 13:43:14
7276
原创 MYSQL中coalesce函数的用法
我先说目的：就是返回集合中第一个不为空的值，判断集合中的值都为空用的，下面看例子coalesce()：返回参数中的第一个非空表达式（从左向右依次类推）；例如： 1 2 3 4 5 select coalesce(null,4,5);// 返回4 select coalesce(null,null,3);// 返回3 select coalesce(1,2,3);// 返回1 ...
2021-04-07 17:36:34
930
原创 Druid连接池原理
一、数据库连接池初始化(1)、 如果设置了maxWait或者构造函数参数传入的为true，则创建的ReentrantLock为公平锁，否者为非公平锁(2)、 如果设置了initialSize>=1，则会启动是创建initialSize个数数据库物理连接到线程池。(3)、 如果没设置createScheduler则创建并启动数据库连接创建线程，如果没设置destroyScheduler则创建并启动数据库连接回收线程，如果timeBetweenLogStatsMillis>0则创建logs
2021-02-07 16:08:33
1534
原创 高性能Mysql主从架构的复制原理及配置详解
1 复制概述 Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接...
2021-02-07 07:28:36
212
2
原创 MySql数据库插入一条数据时，create_time字段自动添加为当前时间，无需修改sql语句
有时候我们会有这样的需求。往数据库添加一条数据。然后表中有一个字段是creat_time。添加数据的同时，这个字段默认为当前时间。其实很简单。设置字段类型为timestamp。然后下面默认值填写CURRENT_TIMESTAMP 下面那个根据当前时间戳更新 勾上。yes.搞定！~~~...
2021-01-21 11:20:36
2489
1
原创 Mysql数据库Multi-statement transaction required more than ‘max_binlog_cache_size‘ bytes of storage错误处理
1、 故障描述使用mysql批量更新或批量删除的大事务时可能会出现以下错误Multi-statement transaction required more than ‘max_binlog_cache_size’ bytes of storage; increase this mysqld variable and try again这是由于更新和删除的innerDB的大事务会写入大量binlog，可能会造成binlog cache过小而导致执行失败。报错会导致主从库同步不成功或者批量更新删除
2021-01-04 10:54:16
2352
1
原创 mysql 查看大表,查看个表占用大小，以及查看一周内,三个月内,半年内,一年新增的数据
mysql 版本号5.7.9-log-- 查看 各库 占用 大小select TABLE_SCHEMA, concat(truncate(sum(data_length)/1024/1024,2),' MB') as data_size,concat(truncate(sum(index_length)/1024/1024,2),'MB') as index_sizefrom information_schema.tablesgroup by TABLE_SCHEMAorder by dat
2020-11-26 16:28:12
982
原创 支撑百万并发的数据库架构如何设计？
“这篇文章，我们来聊一下对于一个支撑日活百万用户的高并系统，他的数据库架构应该如何设计？看到这个题目，很多人第一反应就是：分库分表啊！但是实际上，数据库层面的分库分表到底是用来干什么的，他的不同的作用如何应对不同的场景，我觉得很多同学可能都没搞清楚。用一个创业公司的发展作为背景引入假如我们现在是一个小创业公司，注册用户就 20 万，每天活跃用户就 1 万，每天单表数据量就 1000，然后高峰期每秒钟并发请求最多就 10。天哪！就这种系统，随便找一个有几年工作经验的高级工程师，然...
2020-09-16 13:13:12
385
原创 case when 最后必须加end
Case具有两种格式。简单Case函数和Case搜索函数。简单Case函数CASEsexWHEN'1'THEN'男'WHEN'2'THEN'女'ELSE'其他'END--Case搜索函数CASEWHEN sex ='1'THEN'男'WHEN sex ='2'THEN'女'ELSE'其他'END简单函数只是等于，搜索函数可以添加表达式...
2020-07-15 11:11:10
726
转载 【mysql】mysql删除重复记录并且只保留一条(转)
目录一、单个字段的操作分组介绍：1. 查询全部重复的数据：2. 删除全部重复试题：3. 查询表中多余重复试题（根据depno来判断，除了rowid最小的一个）a. 第一种方法：b. 第二种方法：c. 补充第三种方法（根据评论区给的删除总结出来的）：4. 删除表中多余重复试题并且只留1条：a. 第一种方法：b. ☆第二种方法（与上面查询的第二种方法对应，只是将select改为delete）：c. 补充第三种方法（评论区推荐的一种方法）：二、多个字段的操作：
2020-07-09 20:47:51
230
原创 mysql删除语句不让起别名
DELETE FROM or_cyreplenish_assign_item_bak_et t WHERE date_format(t.CREATE_TIME, '%Y%m%d%H') = '2020070201' AND t.CREATE_USER = 'SYSTEM';会报错DELETE FROM or_cyreplenish_assign_item_bak_et t WHERE date_format(t.CREATE_TIME, '%Y%m%d%H') = '2020070201' AN.
2020-07-09 18:06:45
334
原创 Navicat 查看导出连接的密码 破解保存的密码 + 密码解密|navicat查看密码方案
解决问题：我们经常使用navicat连接数据库，有时候时间久了之后，会忘记之前的密码，那么现在我们有办法获得只要正常连接的数据库的密码步骤：1.导出连接connections.ncx，拿到保存到本地的connections.ncx文件中的Password，粘贴到下面的代码中2.登陆https://tool.lu/coderunner/，使用PHP在线运行工具，粘贴下面添加密码后的代码<?phpclass NavicatPassword{ protected $vers
2020-05-16 11:14:31
14785
17
原创 MySQL新增数据，存在就更新，不存在就添加
1、插入一条数据，存在就更新，不存在就更新（必须现有唯一键）使用insert ignore语句：insert ignore into table(col1,col2) values ('a','b'); 例如插入数据：insert ignore into user_info (last_name,first_name) values ('LeBron','James');...
2020-04-18 20:02:23
1398
原创 MySQL数据库中索引的数据结构是什么？（B树和B+树的区别）
B树（又叫平衡多路查找树）注意B-树就是B树，-只是一个符号。B树的性质（一颗M阶B树的特性如下）1、定义任意非叶子结点最多只有M个儿子，且M>2；2、根结点的儿子数为[2, M]；3、除根结点以外的非叶子结点的儿子数为[M/2, M]；4、每个结点存放至少M/2-1（取上整）和至多M-1个关键字；（至少2个关键字）5、非叶子结点的关键字个数=...
2019-11-03 16:35:17
1098
原创 mysql 两个表数据做对比
表a 和 表b中对比一个字段,sql如下:select if(a.num=b.num,0,1) as ss from infoa,infob where a.c= b.c如果相同,ss返回0,如果不同,结果返回1,其中0和1是任意定义的值...
2019-07-01 22:33:58
7775
1
原创 乐观锁和悲观锁的区别以及应用场景
悲观锁(Pessimistic Lock)顾名思义，就是很悲观，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制，比如行锁，表锁等，读锁，写锁等，都是在做操作之前先上锁。它指的是对数据被外界（包括本系统当前的其他事务，以及来自外部系统的事务处理）修改持保守态度，因此，在整个数据处理过...
2019-05-19 23:43:15
384
原创 mysql中union与union all的区别以及应用场景
UNION用的比较多union all是直接连接，取到得是所有值，记录可能有重复 union 是取唯一值，记录没有重复 1、UNION 的语法如下： [SQL 语句 1] UNION [SQL 语句 2]2、UNION ALL 的语法如下： [SQL 语句 1] UNION ALL [SQL 语句 2]效率：...
2019-05-06 19:50:05
3112
原创 Linux系统下载安装mysql.docx
环境准备CentOS-7 安装好，最好是Minimal版本的新建soft目录，上传mysql-5.6.10-linux-glibc2.5-x86_64.tar.gz配置好网络依赖安装Mysql 编译安装需要使用perl，先把这些编译工具安装好yum -y install perlyum -y install perl-develyum -y install ...
2019-05-02 21:32:21
112
原创 MySql模糊搜索结果按匹配度排序（MySql模糊查询导致正常排序失效的另一种解决办法）
今天在处理项目数据的时候，发现一个问题，就是当使用模糊查询的时候，会导致排序失效比如：SELECT *FROM mov_video_infoWHERE title LIKE '%魔兽%'ORDER BY titleLIMIT 10模糊搜索结果按匹配度进行排序，个人感觉这个原理就是把符合模糊查询的字段去掉，按照正常排序，代码如下SELECT *FROM mov...
2019-03-12 09:48:34
1497
1
转载 Mysql的 VARCHAR字段最大长度到底是多少
varchar(n)，n表示什么？ MySQL5.0.3之前varchar(n)这里的n表示字节数MySQL5.0.3之后varchar(n)这里的n表示字符数，比如varchar（200），不管是英文还是中文都可以存放200个（注：这两个是完全不一样的单位，字节表示字符占的多少K，字符表示一个完整的字符） n最大可以是多少 MySQL行长度 MySQL要求一个...
2019-01-29 12:37:57
1148
1
转载 mybatis+oracle如何批量执行多条update
版权声明：本文为博主原创文章，转载请注明出处！ https://blog.csdn.net/mr_awei/article/details/80359769mybatis+oracle如何批量执行多条update直接开始代码：dao 接口public void setStatus(List<Columns> columnsList);mapping xmlm...
2018-12-28 16:44:10
2875
原创 mybatis一起插入多条数据
mysql支持这种写法insert into table(key,....)values(value,.....),(value,.....),(value,.....),.......所以网上好多都是这么写的 但是Oracle不支持VALUES后面写多个参数啊 费了半天劲 终于学会用UNION ALL查出一个假表直接插入了所以插入Oracle的时候应该这么...
2018-12-28 16:19:49
3106
转载 Oracle数据库的varchar2(2)存储一个汉字时提示插入汉字过长问题
昨天在oracle实验课上出现了如题所示的问题：varchar2(2)在存储一个汉字时，提示插入汉字过长，要把它改成3才能存储1个汉字。于是百度google之。 先做以下实验： 建一个简单的表var，只有一列name，数据类型为varchar2(6),并向表中插入一条数据。create table var (name varchar2(6));insert i...
2018-12-11 14:40:34
1926
转载 Oracle 语句大全,确实不错，赶紧转走！
1. Oracle安装完成后的初始口令? internal/oracle sys/change_on_install system/manager scott/tiger sysman/oem_temp2. ORACLE9IAS WEB CACHE的初始默认用户和密码？ administrator/administrator3. oracle 8.0.5怎么创...
2018-12-08 23:16:06
155
转载 Oracle 中 WITH AS 的用法
With查询语句不是以select开始的，而是以“WITH”关键字开头 可认为在真正进行查询之前预先构造了一个临时表，之后便可多次使用它做进一步的分析和处理WITH Clause方法的优点 增加了SQL的易读性，如果构造了多个子查询，结构会更清晰；更重要的是：“一次分析，多次使用”，这也是为什么会提供性能的地方，达到了“少读”的目标。 第一种使用子查询的方法表被扫...
2018-12-05 17:02:49
174
转载 Oracle创建用户、角色、授权、建表
oracle数据库的权限系统分为系统权限与对象权限。系统权限( database system privilege )可以让用户执行特定的命令集。例如，create table权限允许用户创建表，grant any privilege 权限允许用户授予任何系统权限。对象权限( database object privilege )可以让用户能够对各个对象进行某些操作。例如delete权限允许用户删...
2018-11-30 10:17:02
144
原创 Sql之left join（左关联）、right join（右关联）、inner join（自关联），以及笛卡儿积表的区别
left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录 right join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录inner join(等值连接) 只返回两个表中联结字段相等的行举例如下： --------------------------------------------表A记录如下：aID aNum1 ...
2018-11-30 09:58:18
5919
原创 Oracle树查询，start with connect by prior 递归查询用法
这个子句主要是用于B树结构类型的数据递归查询，给出B树结构类型中的任意一个结点，遍历其最终父结点或者子结点。先看原始数据： 1 create table a_test 2 ( parentid varchar2(10), 3 subid varchar2(10)); 4 5 insert into a_test values ( '1', '2' ); 6 i...
2018-11-29 13:52:00
214
转载 160311、mybatis sql语句中转义字符
问题： 在mapper ***.xml中的sql语句中，不能直接用大于号、小于号要用转义字符解决方法： 1、转义字符串小于号 ＜ &lt;大于号 > &gt;和 & &amp;单引号 ' &apos;双引号 " &quot;2、使用<
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人