- 博客(42)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 拉链表实现及使用
一、概念历史拉链表，就是记录一个事务从开始一直到当前状态的所有变化的信息，拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据的一种常见方式。假设企业拥有1000万的会员信息，每天有20万的会员资料变更，我们需要记录所有会议的历史变化记录，并至少保留两年，该怎么办？储存两年就是2x365x1000万=7300000000(70亿)，如果储存...
2019-11-13 11:49:52
9009
2
原创 centos7 pg10.7 源码安装postgis2.5
centos7pg10.7源码安装postgis2.5PostGIS部署pre-requirementsudoyuminstalllibxml2libxml2-devgcc+gcc-c++-ygeoshttp://trac.osgeo.org/geossudomkdir/usr/local/geos-psudochown...
2019-11-08 17:35:31
640
1
原创 oracle迁移到pg全流程
oracle迁移到pg全流程oracle迁移到pg全流程 1postgres限制 3DBA的概念映射 3Oracle pg的数据类型映射 4oracle迁移postgres转换 5oracle与postgres对象 8Schema 8标识符 8表 8列 8Constraint: 8迁移方案 9加载加速 9业务逻辑存储过程迁移 912,条件...
2019-10-22 12:03:33
8420
原创 自定义pg序列格式作为主键默认生成，字段默认为300个元素的一位数组
背景在有些场景下我们希望能自定义生成固定格式的主键，和字段的默认值，比如自定义pg序列格式作为主键默认生成，字段默认为300个元素的一位数组实现如下[postgres@es-10 ~]$ psql -h 127.0.0.1psql (12beta4)Type "help" for help.创建一位数组的随机生成函数postgres=# create or repl...
2019-10-22 11:37:18
644
原创 YMatrix + PLPython替代Spark实现车联网算法
YMatrixYMatrix是超融合数据库，将交易型数据库（OLTP）、分析型数据库（OLAP）和时序数据库能力融为一体的超融合型分布式数据库产品，具备严格分布式事务一致性、水平在线扩容、安全可靠、成熟稳定、兼容PostgreSQL/Greenplum协议和生态等重要特性。为万物互联的智能时代提供坚实、简洁的智能数据核心基础设施，为物联网应用、工业互联网、智能运维、智慧城市、实时数仓、智能家居、车联网等场景提供一站式高效解决方案，YMatrix为公司自主研发的国产数据库，公司拥有该产品全部知识产权。
2023-02-27 15:28:54
1633
原创 MatrixDB .pgpass无密码登陆
MatrixDB .pgpass无密码登陆sdw4创建用户postgres=# create user biuser with encrypted password ‘123456’;放开权限[shidb@sdw4 gpseg-1]$ cat pg_hba.confhost all all 192.168.100.0/24 md5使其生效gpstop -usdw3上得操作.pgpass配置[shidb@sdw3 ~]$ cat .pgpass19
2021-10-18 14:28:33
319
原创 MatrixDB 4.x 通过命令进行集群化安装
MatrixDB 4.x 通过命令进行集群化安装一、集群规划192.168.174.127 master 192.168.174.128 segment1192.168.174.129 segment2二、安装前准备更改主机名hostnamectl set-hostname mdw hostnamectl set-hostname sdw01hostnamectl set-hostname sdw02操作系统[root@one ~]# cat /etc/redhat-re
2021-06-09 15:50:10
833
2
原创 05_查每一天的first_value及last_value值,并计算标准差
Matrixdb - 05查每一天的first_value及last_value值,并计算标准差作者shidb日期2021-05-13标签05查每一天的first_value及last_value值,并计算标准差创建插件create extension matrixts ;建表及插入数据create table t_sensor(ts timestamp,temp float);insert into t_sensor select t,random()*100 from gen
2021-05-13 20:49:14
185
原创 04_matrixdb通过pxf读写hive
matrixdb视频教程 - 04matrixdb通过pxf读写hive作者shidb日期2021-05-11标签matrixdb视频教程 - 04matrixdb通过pxf读写hiveMatrixdb 通过数据联邦pxf访问hive环境介绍sdw5 namenode hivesdw3 matrixdb集群hive建表及加载数据数据样例vim mppinfo.csv1,matrixdb,北京2,teradata,米国3,hana,米国创建表DROP TABLE
2021-05-13 20:21:57
267
1
原创 03_matrixdb通过pxf读写hdfs文件
matrixdb视频教程 - 03matrixdb通过pxf读写hdfs文件作者shidb日期2021-05-11标签matrixdb视频教程 - 03matrixdb通过pxf读写hdfs文件环境介绍sdw5 namenode hivesdw3 matrixdb集群matrixdb通过pxf读取hdfs文件在hdfs上创建文件夹[hdfs@sdw5 ~]$ hdfs dfs -mkdir /matrixdb/pxf上传文件echo 'Prague,Jan,101,48
2021-05-13 20:20:59
385
2
原创 02_Matrixdb通过数据联邦postgres_fdw访问postgresql
matrixdb视频教程 - 02Matrixdb通过数据联邦postgres_fdw访问postgresql作者shidb日期2021-05-08标签matrixdb视频教程 - 02Matrixdb通过数据联邦postgres_fdw访问postgresql一、postgresql端1，postgresql登陆psql2，建表create table warehouse (warehouse_id int primary key, warehouse_name text, wa
2021-05-13 20:19:45
275
原创 01_Matrixdb通过数据联邦mysql_fdw访问mysql
matrixdb视频教程 - 01Matrixdb通过数据联邦mysql_fdw访问mysql作者shidb日期2021-05-08标签matrixdb视频教程 - 01Matrixdb通过数据联邦mysql_fdw访问mysql一、MySQL端1，mysql登陆mysql -h sdw5 -uroot -p’Matrixdb@123’2，建表create database mysql_fdw;create table warehouse (warehouse_id int pr
2021-05-13 20:16:41
259
原创 分区表相关操作
--自研分区子表drop table rd_st_order;CREATE TABLE rd_st_order(id int NOT NULL ,cycle integer NOT NULL ,num NUMBER(5,0) NOT NULL,region integer)partition by range (cycle) begin (201901)step (1) partitions (2)distribute by shard(region)to group d...
2020-08-19 16:07:30
331
原创 linux centos jdk1.8安装
jdk安装安装包下载https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.htmljdk-8u151-linux-x64.tar.gz解压tar -zxf jdk-8u151-linux-x64.tar.gz[root@vm051centos data]# ls jdk1.8.0_151/bin db javafx-src.zip lib man ...
2020-07-02 10:13:43
150
原创 包含null值的唯一索引
drop table t1;create table t1(id serial not null primary key,card_no character varying(10),name character varying(10),age int);create unique index on t1(card_no,COALESCE(name,'000'));insert into t1(card_no,name) values('no001','one');..
2020-05-28 14:24:41
559
原创 Linux下RPM软件包的安装及卸载
Linux下RPM软件包的安装及卸载在 Linux 操作系统下，几乎所有的软件均通过RPM 进行安装、卸载及管理等操作。RPM 的全称为Redhat Package Manager ，是由Redhat 公司提出的，用于管理Linux 下软件包的软件。Linux 安装时，除了几个核心模块以外，其余几乎所有的模块均通过RPM 完成安装。RPM 有五种操作模式，分别为：安装、卸载、升级、查询...
2020-03-18 18:36:01
120
原创 解决ORA-21561
解决ORA-21561在linux上使用sqlplus连接oracle数据库[root@china ~]# sqlplus test/test@ORCLSQL*Plus: Release 11.2.0.3.0 Production on Thu May 31 11:06:15 2018Copyright (c) 1982, 2011, Oracle. All rights reser...
2019-12-30 16:58:38
3313
1
原创 人月、人年的计算公式
人月是用来衡量工作量，估算成本的。1、什么是人月？人月是工作量的计量单位，是项目所有参 与者工作时长的累计，是最为方便计算成本的数据。是项目管理中常用的概念。如一个项目前期投入3个人工作2个月，中间2人工作0.5月，后期1人 （0.33兼职）工作3个月，那么工作量的计算就是：3人*2月+2人*0.5月+0.33*3月＝8人月。2、10人月的工作量，10人工作1个月可以完成吗？人月是项...
2019-12-25 18:00:21
16982
原创 oracle函数及包的管理方式
--但个函数进行管理CREATEORREPLACEfunctiontestuser.proone(shortNameinvarchar2)returnvarchar2istMaxNo2varchar(64);pragmaautonomous_transaction;begindeclaretMaxNointeger:=0;...
2019-12-10 11:21:58
137
原创 PostgreSQL 表和列权限解读
PostgreSQL表和列权限解读http://www.postgres.cn/docs/10/catalogs.htmlpostgres=#createusercmftwithENCRYPTEDPASSWORD'cmrh1875!';CREATEROLEpostgres=#createusercmrhwithENCRYPTEDPASSWORD'cm...
2019-12-09 14:05:38
510
原创 postgresql大批量数据快速删除的方法
droptablet_simhash_real;createtablet_simhash_real(bitstr_idbigserialnotnullprimarykey,bitstrcharactervarying(256),doc_idbigint,bit_countinteger,bit_coun...
2019-12-06 13:58:11
7595
转载 Greenplum数据分布和分区策略
Greenplum数据分布和分区策略Greenplum是一个大规模并行处理数据库，它由一个master和多个segment组成，其数据按照设定的分布策略分布于各个segment上。数据表的单个行会被分配到一个或多个segment上，但是有这么多的segment，它到底会被分到哪个或哪些segment上呢？分布策略会告诉我们。分布策略在Greenplum 5中，有2种分布策略：...
2019-11-25 15:48:49
2241
4
原创 centos7 安装 postgres12
centos7安装postgres12--创建安装目录[root@localhost~]#mkdir/data/pg12/data-p[root@localhost~]#chown-Rpostgres.postgres/data/pg12下载wgethttps://ftp.postgresql.org/pub/source/v12.1/po...
2019-11-25 11:33:28
878
原创 postgres时间与时间戳互转
postgres=> SELECT EXTRACT(epoch FROM CAST('2017-12-06 00:17:10' AS TIMESTAMP)); ...
2019-11-20 11:23:42
3764
原创 PostgreSQL常用运维脚本
--查看索引膨胀SELECTcurrent_database(),nspnameASschemaname,tblname,idxname,pg_size_pretty(bs*(relpages)::bigint)ASreal_size,pg_size_pretty(bs*(relpages-est_pages)::bigint)ASextra_size,1...
2019-11-18 09:45:59
977
原创 批量更新
批量更新数据样例如下id | name | flag-----+-------+------1 | c4ca4 | 12 | c81e7 | 13 | eccbc | 14 | a87ff | 15 | e4da3 | 16 | 16790 | 17 | 8f14e | ...
2019-11-14 17:15:38
131
原创 postgresql重复数据删除
表emp数据样例如下id | age | name ----+-----+-----------1 | 10 | se7en.shi2 | 10 | se7en.shi3 | 10 | se7en.shi4 | 21 | Lucy5 | 21 | Lucy6 | 31 | tom7 | 20 | jack...
2019-11-14 17:14:08
175
转载 唯品会海量实时OLAP分析技术升级之路
本文转载自公众号 DBAplus社群 ， 作者：谢麟炯谢麟炯，唯品会大数据平台高级技术架构经理，主要负责大数据自助多维分析平台，离线数据开发平台及分析引擎团队的开发和管理工作，加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作。海量数据实时OLAP场景的困境大数据首先来看一下我们在最初几年遇到的问题。第一就是大数据，听起来好像蛮无聊的，但大数据到...
2019-11-13 17:18:01
127
原创 greenplum分区表
分区表的创建1.自动日期分区createtablesales_order(order_idbigserial,order_datedate,amtdecimal(10,2))distributedby(order_id)partitionbyrange(order_date)(start(date'2019-01-01')inclusiveend...
2019-11-13 14:38:57
743
原创 greenplum日期类操作
--指定日期前一年的最后一天postgres=#SELECT(to_date('2019-11-11','yyyy')-1);?column?------------2018-12-31--指定日期月份的最后一天--方式一：postgres=#SELECTto_date('2019-12-12','yyyy-mm')+INTERVAL'1...
2019-11-13 14:09:32
1188
转载 到底什么时候该使用MQ
一、缘起一切脱离业务的架构设计与新技术引入都是耍流氓。引入一个技术之前，首先应该解答的问题是，这个技术解决什么问题。就像微服务分层架构之前，应该首先回答，为什么要引入微服务，微服务究竟解决什么问题（详见《互联网架构为什么要做微服务？》）。最近分享了几篇MQ相关的文章：《MQ如何实现延时消息》《MQ如何实现消息必达》《MQ如何实现幂等性》不少网友询问...
2019-11-07 15:21:37
130
转载 图文并茂 RAID 技术全解 – RAID0、RAID1、RAID5、RAID100
图文并茂 RAID 技术全解 – RAID0、RAID1、RAID5、RAID100…… RAID 技术相信大家都有接触过，尤其是服务器运维人员，RAID 概念很多，有时候会概念混淆。这篇文章为网络转载，写得相当不错，它对 RAID 技术的概念特征、基本原理、关键技术、各种等级和发展现状进行了全面的阐述，并为用户如何进行应用选择提供了基本原则，对于初学者应该有很大的帮助。一、RAID 概...
2019-11-07 10:24:56
193
原创 PostgreSQL之时间戳自动更新
PostgreSQL之时间戳自动更新问题描述PostgreSQL执行Insert语句时，自动填入时间的功能可以在创建表时实现，但更新表时时间戳不会自动自动更新。在mysql中可以在创建表时定义自动更新字段，比如：createtableab(idint,ageint,changetimestamptimestampNOTNULLdef...
2019-11-05 12:05:22
5010
6
原创 PostgreSQL列转行
这里我来演示下在POSTGRESQL里面如何实现交叉表的展示，至于什么是交叉表，我就不多说了，度娘去哦。原始表数据如下：t_girl=#select*fromscore;name|subject|score-------+---------+-------Lucy|English|100Lucy|Physics...
2019-11-04 14:42:02
2645
原创 SQL实现的不同表的相加 相减
--实现两张表的数据相加droptablea;createtablea(currency_typecharactervarying,c_valfloat);insertintoa(currency_type,c_val)values('CNY',10);droptableb;createtableb(...
2019-11-01 16:05:16
3084
原创 PostgreSQL从源端到目标端不落地数据迁移
从源端到目标端不落地数据迁移，源端的数据输出作为另一个的输入psql -h ip -U postgres -p 10002 -d postgres "copy enterprise_data to stdout"|psql -h ip -U aispdata -p 7666 -d aisp -c "copy enterprise_data from stdin"...
2019-10-28 11:08:29
184
原创 oracle常用储存过程循环插入数据
declareinumber;beginforiin1..100000loopinsertintot2values(i,mod(i,7),mod(i,8));if(mod(i,1000)=0)thencommit;endif;endloop;...
2019-10-28 11:05:18
721
原创 PostgreSQL数据模拟生成
针对Postgres生成数据方法<1>生成序列SELECT*FROMgenerate_series(1,5);<2>生成dateSELECTdate(generate_series(now(),now()+'1week','1day'));<3>生成integer随机数SELECT(random()*(2*10^...
2019-10-28 09:55:44
1291
原创 SLA：服务等级协议
SLA：服务等级协议（简称：SLA，全称：service level agreement）。是在一定开销下为保障服务的性能和可用性，服务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。SLA的定义来源百度，这到底是什么意思呢？我们平常经常看到互联网公司喊口号，我们今年一定要做到3个9、4个9，即99.9%、99.99%，甚至还有5个9，即99.999%。...
2019-10-28 09:42:55
3072
tpcds数据生成及sql样例测试工具
2020-01-21
VS 2008 入门教程
2010-10-13
Windows驱动编程基础教程
2009-12-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人