- 博客(46)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Dataworks抽取HANA数据
实施中台离线抽取HANA数据库时可能遇到连接问题、数据抽取速度慢、数据追加和全量导入问题，以及数据准确性和完整性问题。
2023-04-18 21:47:19
808
原创 Shell持续监测某个文件是否存在，存在后继续运行，否则退出
持续监测ok文件脚本持续监测某个文件是否存在，存在后继续运行，否则退出--持续监测某个文件是否存在，存在后继续运行，否则退出OK_NAME=TEST.okFILE_NAME=TEST.delstarttime=`date +'%Y-%m-%d %H:%M:%S'` #获取开始时间戳#执行程序endtime=`date +'%Y-%m-%d %H:%M:%S'` #获取结束时间戳start_seconds=$(date --date="$starttime" +%s); #将开始时间折合成
2022-04-07 15:08:37
1599
2
原创 OceanBase分区表使用
OceanBase Oracle租户创建分区表简述：创建分区创建时间分区，二级分区（分9个区）为KEY的 RANGE+HASH分区（HASH分区，不写分区数的默认一个分区（即不分区）一级需要加[PARTITIONS 分区数]、二级分区加 [SUBPARTITIONS 分区数]CREATE TABLE TEST_1 ( C1 VARCHAR(10 ) , C2 VARCHAR(50 ) , C3 VARCHAR(50 ) , C4 VA
2022-03-30 10:31:24
3185
原创 datax从DB2抽取到OceanBase
DataX实现DB2到OceanBaseDataX实现DB2到OceanBase环境准备一、Datax 处理Datax源码进行打包时，确保有配置rdbmsreader和rdbmswriter ,确保包里有 db2jcc4.jar ，打包完成后上传服务器进行环境配置，能够执行 Python datax.py test.json二、json 配置test.json{"job": { "setting": { "speed": {
2021-09-16 17:32:29
1046
原创 Informatic中如何设置每月初，和每周五、周六跑批
下面是需求内容及实现：今天同事想设置个跑批任务，要求是每月月初及每周五、周六跑，其他实间不跑。①：这需要判断是否是月初②：判断是否是周五、周六两个条件只要满足一个即跑批。首先我是设置的每天都跑该工作流，然后在线上进行判断是否满足两个条件。一、判断是否月初使用TRUNC函数实现TRUNC(sysdate,'MM') = $启动.StartTime二、判断是否周五、周六该处首先有个参考，我们可以以否个后续不使用的时间作为参照，进行换算；判断差值是否为7天，这里我以 ‘2021-03-07
2021-04-12 15:22:50
893
原创 mysql免密登录探索一
免密登录探索：有时生产为了安全不允许使用明文登录，我们一般也没有root用户权限，这时需要免密登录时，我做了如下探索总结而出的，help还是挺好用的哈执行mysql_config_editor没有该文件我就先touch了一个touch /tmp/mysql/mysql.sock[test@MYSQL mysql-5.6.26]$ mysql_config_editor set -G test_a -S /tmp/mysql/mysql.sock -h 10.129.1.10 -P 3306 -u r
2021-01-04 18:35:45
294
1
原创 DB2 export 导出时遇到的关键字USER问题
关键词USER:USER 在DB2中属于关键字，当进行导入导出时，如果不对该字段进行""，会默认为当前连接DB2的用户名，比如：当前使用的时 CALN 用户进行连接的DB2,A表中的USER字段eg:CREATE TABLE TEST_A(ID int,USER INT);INSERT INTO TEST_A VALUES(1,2)[CALN@TEST-DB2 ~]$ db2 "select id,test_a.user,user from test_a"ID USER
2020-11-09 11:48:06
539
原创 Information宕机快速处理
问题一、Information自锁，单节点崩溃不能用【能登陆打不开节点】解决：①、停服务IP1$INFA_HOME/server/tomcat/bin/infaservice.sh shutdownIP2$INFA_HOME/server/tomcat/bin/infaservice.sh shutdown②、进入IP1 /etldta/server/infa_shared/Storage目录删除pmlck_Domain_DB_ETL_YL_HA.lckpmlck_Domain_DB
2020-09-02 21:11:43
282
原创 DB2 一次统计信息无法正确收集的经历
一次统计信息无法正确收集的经历今天有张表比较慢，刚加载完，总共4000多W数据，COUNT优点慢，查看了下系统表，发现统计信息不准，就收集了下，怎么都是不准。下面说下执行过程：查看系统表SELECT CARD, --记录数量 FPAGES, --表所占页面数量,包含删除记录后的空页面 NPAGES, --含有记录的页面数量 OVERFLOW, --溢出记录数量 AVGROWSIZE --平均记录宽度FROM SYSSTAT.TABLESWHERE TABSCHEMA
2020-07-10 20:01:16
576
原创 几个离线笔记软件推荐
eDiary官网：http://www.haoxg.net/eDiary的作用不仅仅在于写日记，您也可以用它来记流水帐、写工作日志， 记录学习心得，或者用它来管理你的日常文档。eDiary以时间为主线，以文 字为载体，记录你的心路历程。软件特点:界面简单清新，支持皮肤切换；严格的数据加密机制，充分保护用户隐私;强大的编辑功能，编辑器体验和 Word 一致；支持日记模板功能，并预置常用模板; 简单合理的文档管理功能，为您梳理日常信息;每个日记本对应一个单独的数据文件，干净简单；附图：
2020-07-08 16:06:37
13282
翻译 Db2 V11设计与调优 --- IBM中文官网
目录Db2 V11设计与调优Question & AnswerQuestionAnswerDb2 V11设计与调优Question & AnswerQuestionIBM Db2 中国地区 十一月刊（续）--Db2 V11设计与调优AnswerIBM Db2 中国地区 十一月刊（续）Db2 V11设计与调优Linux内核及相关参数调整 – 往往被忽略• 如系统有256GB内存，典型的内核参数设置如下：• v...
2020-07-06 18:02:01
389
原创 INFOMATICA 根据catalog中的Database alias查询Session名
根据catalog中的Database alias查询Session名目录根据catalog中的Database alias查询Session名查询SQL：说明：OPB_CNX：记录源、目标数据库连接的定义Connection Object Definition查询SQL：SELECT A.SUBJECT_AREA, --文件夹 A.SESSION_NAME, --Session名称 A.IS_TARGET --是否是目标FROM REP_SESSION_CN
2020-06-30 18:43:53
262
原创 Linux 查询进程号
进程查询说明[yang@test ~]$ ps --help********* simple selection ********* ********* selection by list *********-A all processes -C by command name-N negate selection -G by real group ID (supports names)-a all w/ tty ex
2020-06-29 15:48:15
790
原创 DB2 LENGTH判断字段是否有汉字
DB2 10.5 for Linux, UNIX, and WindowsThe LENGTH function returns the length of expression in the implicit or explicit string unit.Read syntax diagramSkip visual syntax diagram>>-LENGTH--(--expression--+--------------------+--)------------><
2020-06-29 11:33:38
3869
原创 抓取SHELL日志中DB2错误
日常工作中，使用脚本处理DB2数据会记录些日志，有时可能会对日志文件提取是否有报错信息，本文即时对日志文件的报错信息进行的提取。
2020-06-03 15:21:43
1097
原创 数据结构与算法 递归--二分查找
数据结构与算法 递归–二分查找import osimport reimport shutildef binary_search(data,target,low,high): if low>high: return False else: mid = (low + high)//2 if target == data[mid]: return True elif target <da
2020-05-15 19:23:32
421
原创 AttributeError: module 'matplotlib.mlab' has no attribute 'normpdf'
AttributeError: module ‘matplotlib.mlab’ has no attribute ‘normpdf’在练习直方图时报错：Traceback (most recent call last): File "F:\Studing\Python\Anaconda\未命名0.py", line 20, in <module> y = mlab....
2020-05-06 16:13:11
2821
转载 VMware虚拟机三种网络模式详解 Host-Only（仅主机模式） 来源：Linux社区 作者：Linux
VMware虚拟机三种网络模式详解Host-Only（仅主机模式）来源：Linux社区 作者：Linux 原文链接：https://www.linuxidc.com/Linux/2016-09/135521p3.htm三、Host-Only（仅主机模式）Host-Only模式其实就是NAT模式去除了虚拟NAT设备，然后使用VMware Network Adapter VMnet...
2020-04-23 01:49:47
326
转载 VMware虚拟机三种网络模式详解 NAT（地址转换模式） --- 转载
VMware虚拟机三种网络模式详解NAT（地址转换模式）来源：Linux社区 作者：Linux 原文链接：https://www.linuxidc.com/Linux/2014-08/106019.htm二、NAT（地址转换模式）刚刚我们说到，如果你的网络ip资源紧缺，但是你又希望你的虚拟机能够联网，这时候NAT模式是最好的选择。NAT模式借助虚拟NAT设备和虚拟DHCP服务...
2020-04-23 01:47:51
243
转载 VMware虚拟机三种网络模式详解 Bridged（桥接模式）-- 转载
由于Linux目前很热门，越来越多的人在学习Linux，但是买一台服务放家里来学习，实在是很浪费。那么如何解决这个问题？虚拟机软件是很好的选择，常用的虚拟机软件有VMware Workstations和VirtualBox等。在使用虚拟机软件的时候，很多初学者都会遇到很多问题，而VMware的网络连接问题是大家遇到最多问题之一。在学习交流群里面，几乎每天都会有同学问到这些问题，写这篇详解也是因为群...
2020-04-23 01:43:28
424
原创 DB2 删除多条数据只保留一条
CREATE TABLE ysy_tmp(name varchar(10),id INT)INSERT INTO ysy_tmp VALUES ('zs',1),('zs',1),('zs',1),('ls',2),('ls',3),('ls',3)SELECT * FROM ysy_tmpdelete FROM (select id,name,row_number() OVER(pa...
2020-04-13 14:40:20
1620
原创 Linux 计算两个日期间隔时间
计算两个日期之间的天数cur_date=`date +%s`ago_date=`date +%s -d '1 month ago'`a=$((($cur_date - $ago_date)/86400))注意：在赋值给a时可以需要多写个括号，即将(($cur_date - $ago_date)/86400)作为一个整体来看...
2020-04-07 18:03:41
1612
原创 使用activate not logged initially后报SQL1476N The current transaction was rolled back because of error
在DB2中使用alter table test activate not logged initially后报如下错误：DB21034E The command was processed as an SQL statement because it was not avalid Command Line Processor command. During SQL processing i...
2020-03-28 03:57:50
1952
原创 MongoDB中查询统计输出展示
一般查询这两个通用mongos> db.foo.count()93911mongos> db.foo.find().count()93911现在想把查询结果拿到并输出。探索中~
2020-03-17 18:57:48
428
原创 mongodb日常查询01
mongodb的一些简单查询查询语句db.student.find()查询一行数据.limit(num):num用于限制条数db.student.find().limit(1)标准化输出.pretty() 后面的小括号不能少db.student.find().limit(1).pretty()mongo查询输出某个字段find{} 中第一个{}放置条件，如果没有就不放，...
2020-03-10 17:38:17
194
原创 Linux基础知识学习tr命令
双引号与单引号在变量中区别单引号类似与双引号；单不允许引用变量，因此单引号中的除了单引号（'）本身外，都按字面意思解释
2020-01-14 09:30:48
253
原创 MongoDB启动报错about to fork child process, waiting until server is ready for connections.
MongoDB 启动报错由于我之前执行kill -9 mongo进程号，导致再次启动时报如下错误：[mongo@myfirst mongodb]$ ../mongodb/bin/mongod -f mongo.conf --forkabout to fork child process, waiting until server is ready for connections.forke...
2019-12-15 19:33:07
8956
1
原创 Linux批量替换带横杠日期
首先过滤出带日期的文件①、这里我使用正则表达式处理的ls | grep "[0-9]\{4\}-[0-9]\{2\}-[0-9]\{2\}"②、此时查询的可能不是一个，没关系，我们先解决一个的；通过管道将’-‘替换成’’ls | grep "[0-9]\{4\}-[0-9]\{2\}-[0-9]\{2\}"|sed 's/'-'//g'③、由于考虑有多个，这里可以使用for循环fo...
2019-12-11 16:53:56
883
原创 SQL0668N Operation not allowed for reason code "3" on table "TEST".
SQL0668N Operation not allowed for reason code "3" on table "TEST". SQLSTATE=57016问题描述：查询，操作表都报如下错误SQL0668N Operation not allowed for reason code "3" on table "TEST". SQLSTATE=57016操作步骤：第一：[te...
2019-11-21 14:49:03
3202
原创 Linux 及数据库中替换^B、^A、^C等特殊字符
[infa@TKEIP-ETL3 shell_script]$ cat add_ending.sh#! /bin/bashs1=$2s2=$1#s3=$3if [ ! -n "$2" ];then echo "you are have not input path! this is mode './'" source=./$s2".txt" target=./$s2".unl" ...
2019-11-12 20:29:08
11563
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人