- 博客(29)
- 收藏
- 关注
RSS订阅
原创 kettle从数据库添加要求指定的日期内的数据，并且时间实现自增模式
首先我们有三张表事务表1EVENT_TEMP01 （ID，代码，说明，START_TIME）事务表2EVENT_TEMP02 （ID，代码，说明，START_TIME）时间表TIME_TEMP01（ID，START_TIME，END_TIME）三张表根据时间表的字段的开始时间，与最终时间获取事务表1的录入时间的这短时间的数据，并且这个任务执行完成之后，数据...
2018-08-27 16:50:24
6667
转载 Kettle从入门到放弃，值得收藏
【Kettle从零开始】一之Kettle简单介绍 http://blog.csdn.net/rotkang/article/details/20810921【Kettle从零开始】二之Kettle文件夹与界面介绍http://blog.csdn.net/rotkang/article/details/20875367【Kettle从零开始】三之Kettle数据源连接配置http://blo...
2018-07-12 10:04:08
12679
3
原创 oracle client 下载安装配置使用
2020年第一篇请多关照首先下载一个ORACLEclient客户端下载地址链接：https://pan.baidu.com/s/1V5c6ltDGEt77p6Vz3Nc9iQ提取码：0pkg下载好之后本地安装解压-进入文件夹 双击setup，如果弹出终端窗口之后又关闭了又什么都没有的情况下就一直点 直到弹出安装窗口然后选择管理员-点击下一步 一路确...
2020-01-10 16:53:41
4241
原创 连接mysql8.0报错plugin caching_sha2_password could not be loaded
只需如下几步；1.打开cmd 输入mysql -uroot -p 然后输入密码进入到mysql2. ALTER USER 'root'@'localhost' IDENTIFIED BY 'password' PASSWORD EXPIRE NEVER;修改加密规则；3. ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_nat...
2018-12-27 11:08:22
1124
原创 kettle连接sqlserver数据库（jar包）
sqljdbc地址：http://mvnrepository.com/artifact/microsoft/sqljdbc sqljdbc4地址：http://www.java2s.com/Code/Jar/s/Downloadsqljdbc420jar.htm 下载完成之后，放在kettle安装包下面的lib目录下...
2018-09-07 16:44:48
15875
1
原创 查看mysql版本，查看oracle版本，查看sqlserver版本
mysql:select version()oracle:select * from v$instance sqlserver:SELECT @@VERSION
2018-09-07 16:35:48
2219
原创 oracle将date格式的数据生成13位时间戳，oracle生成当前时间戳
生成当前时间戳：select (sysdate-to_date('1970-01-01 08:00:00','yyyy-mm-dd hh24:mi:ss'))*1000*24*3600 from dual date格式数据生成时间戳：select (to_date(to_char(字段名,'yyyy-mm-dd hh24:mi:ss'),'yyyy-mm-dd hh24:mi:ss')-to...
2018-09-07 14:31:38
5758
原创 Mysql密码重置
首先找到mysql的安装目录然后跳到他的bin目录下按回车会弹出一个终端出来，然后输入mysqld --skip-grant-tables 按回车。--skip-grant-tables 的意思是启动MySQL服务的时候跳过权限表认证这样就算是成功了之后再开一个cmd也是在当前bin目录下输入mysql输入use databse；改密码：upda...
2018-09-03 18:03:35
193
原创 sql时间函数转换
unix_timestamp(now())*1000 生成当前时间戳SELECT UNIX_TIMESTAMP('2017-01-01 00:00:00')*1000 将日期生成为13位时间戳SELECT FROM_UNIXTIME(UNIX_TIMESTAMP(NOW()),'%Y-%m-%d %h:%i:%s') 将时间戳转换为日期格式 ...
2018-08-16 14:36:59
661
转载 数据倾斜解决方案之将reduce join转换为map join
普通的join，那么肯定是要走shuffle；那么，所以既然是走shuffle，那么普通的join，就肯定是走的是reduce join。先将所有相同的key，对应的values，汇聚到一个task中，然后再进行join。将reduce join转换为map join。reduce join转换为map join，适合在什么样的情况下，可以来使用？如果两个RDD要进行join，其中一...
2018-08-07 09:33:51
954
转载 数据倾斜解决方案之使用随机key实现双重聚合
使用随机key实现双重聚合1、原理2、使用场景（1）groupByKey（2）reduceByKey比较适合使用这种方式；join，咱们通常不会这样来做，后面会讲三种，针对不同的join造成的数据倾斜的问题的解决方案。第一轮聚合的时候，对key进行打散，将原先一样的key，变成不一样的key，相当于是将每个key分为多组；先针对多个组，进行key的局部聚合；接着，再去除掉每...
2018-08-07 09:32:32
646
转载 数据倾斜解决方案之提高shuffle操作reduce并行度
spark.default.parallelism，100提升shuffle reduce端并行度，怎么来操作？很简单，主要给我们所有的shuffle算子，比如groupByKey、countByKey、reduceByKey。在调用的时候，传入进去一个参数。一个数字。那个数字，就代表了那个shuffle操作的reduce端的并行度。那么在进行shuffle操作的时候，就会对应着创建指定数量...
2018-08-07 09:31:29
717
转载 数据倾斜解决方案之聚合源数据
数据倾斜的解决，跟之前讲解的性能调优，有一点异曲同工之妙。性能调优，跟大家讲过一个道理，“重剑无锋”。性能调优，调了半天，最有效，最直接，最简单的方式，就是加资源，加并行度，注意RDD架构（复用同一个RDD，加上cache缓存）；shuffle、jvm等，次要的。数据倾斜，解决方案，第一个方案和第二个方案，一起来讲。最朴素、最简谱、最直接、最有效、最简单的，解决数据倾斜问题的方案。第一...
2018-08-07 09:30:26
450
转载 数据倾斜解决方案之原理以及现象分析
数据倾斜在任何大数据类的项目中，都是最棘手的性能问题，最能体现人的技术能力，最能体现RD（Research Developer，研发工程师）的技术水平。数据倾斜 = 性能杀手如果没有丰富的经验，或者没有受过专业的技术培训，是很难解决数据倾斜问题的在执行shuffle操作的时候，大家都知道，我们之前讲解过shuffle的原理。是按照key，来进行values的数据的输出、拉取和聚合的。...
2018-08-07 09:29:21
2221
原创 关于nifi的数据库连接超时
因为本人是做数据库的吗。最近需要弄nifi可是很苦恼的是，这个数据库链接总是失败失败跟着我的步骤打开 数据库链接，然后在右边有个闪电的符号b被禁止了，把它设为DISABLE之后我们如果数据库链接没问题的话我们可以在下面的一行，这个里面放一个当前的数据库的查询语句，前提是可以查出来数据的，能查出来当前数据库的随便一个表的一条数据即可，sql语句写完之后，别忘了...
2018-08-01 16:13:52
1025
原创 Mysql生日数据时间戳为负数转换
这个也是工作中的一个问题我刚开始以为这个数据可以用from_unixtime来解决，可是当我输入负数的时候，我错了。他不识别啊首先下面的是正数那我吧这个数字改为负数发现他为null后来把这个sql改成了有没有很神奇的样子对的，你没有看错 就是1582年 因为我的时间戳我是瞎打的，，多打了一位！！语句我放在下面大家参考一下SELECT DATE...
2018-08-01 16:05:43
2762
原创 no python interpreter configured for the project Pycharm创建第一个hello world！
python安装链接https://blog.csdn.net/Mr_Tanga/article/details/81238222这个是python的安装，我们在本地配置之后，打开我们已经破解的pycharm破解版的pycharm教程在https://blog.csdn.net/mr_tanga/article/details/81237317破解完之后，我们在创建一个project...
2018-07-27 15:38:23
1792
原创 本地安装python环境
python安装包百度云下载链接：https://pan.baidu.com/s/1l6M3JQ3z_GiNtlRfByOmyg 密码：vam8我们先下好python安装包然后打开下面的ADD PYTHON 一定要勾选上，这样我们就不要配环境变量了上面两个选择，一个是默认路径安装，一个是自定义安装我们选下面的自定义路径安装选好路径，安装！ install 然后 ...
2018-07-27 15:31:46
1664
原创 NIFI添加数据库连接
首先打开我们的nifi网页。我们自定义一个PROCESSOR我打开一个executor_sql 然后打开链接点这个后面的箭头然后点这个之后说是让我们添加数据库，在这搜索 DBCP,然后会出现一个返回点这个设置这个name主要是这个数据库链接的名字，类似与这个数据库的注释真正的数据库链接在PROPERtIES我们要添加的一共就4个类似，最后一个...
2018-07-26 09:42:16
6305
1
原创 kettle插入/更新的使用
插入更新的主要作用就是根据条件来检索数据，如果说相同 更新，不相同添加！假设一个业务场景，我们需要从这个数据库的表里面拿数据，但是，在输出表里面可能会有相同的数据我们先假设我们的输出表和输入表判断是否相同的依据是id我此时运行我的数据，他有10w行数据，可是到了一半，运行失败了出现了某某因素然后我如果删除的话，那么我之前的历史数据也会删除掉，那么怎么办我们打开这个插入/更...
2018-07-23 16:24:55
18821
6
原创 maven本地配置安装
首先打开我们需要下载的地方的网址百度搜索 apache maven点进去之后选择第二个、下载路径自己定，然后我们再解压到我们需要的文件夹中去复制能看到这些文件的路径再进入到系统环境变量配置再编辑我们的环境变量确认之后，再找一个path环境变量%M2_HOME%\bin;编辑完成之后，再一次一次的点确定再打开cmd，搜索 m...
2018-07-19 11:38:14
187
原创 kettle环境变量的配置问题
这篇文章主要介绍的就是关于kettle环境变量的问题，具体实现就是简化数据库名字来说吧，我感觉没啥卵用，但是还是要说一下首先我们有两种方式去改变这个环境变量，一种是永久性，一种是临时性，永久性是在我们的C盘的，用户，用户名称下面的.kettle文件 okok，那么这个点开之后，发现有很多文件我只打开我需要的文件，之后进行配置 配置基本上就是kv形式的 ，所以就没...
2018-07-18 14:10:11
11659
转载 数据仓库项目如何选择etl工具，etl还是elt？？？？
根据以往数据仓库项目的经验，在一个数据仓库项目中，ETL设计和实施的工作量一般要占总项目工作量的40%-60%，而且数据仓库项目一般会存在二次需求的问题，客户在项目的实施过程中或者使用过程中会提出新的业务需求，而任何前端业务模型的改变都会涉及到ETL设计，因此ETL工具的选择对于整个数据仓库项目的成功是非常重要的。Oracle在收购Sunopsis后宣称自己的ETL工具是基于EL-T架构的，很多同...
2018-07-13 16:23:08
2184
原创 win10显示文件尾追名称并且javac helloworld通过在本地执行java类并输出
这个问题刚开始没有太在意，因为正常来说win10安装jdk的几步都验证成功了后来发现编译文件过不去也没有太深究，但是今天有这个需要了就要解决，我自己写了一个hello world的Java类之后javac 之后 不管怎么c 就是c不了，mddd很气啊，然后我发现不对劲，我的win10系统不显示尾缀名，而且还都是txt文件结尾的，我再怎么改也改不了后缀名然后秀一波操作再看一下我们的文件哇塞了，成功...
2018-07-13 16:02:59
539
1
原创 kettle的资源库创建
在学kettle的同时，我在某某学习视频上到了新建资源库的这一步骤，很是蒙啊，因为他的spoon是4.x的版本，而我安装的是7.0所以这个新建资源库就没找到。后来参考资料找到了，如下图所示点进去之后这二者点那个小字体。然后亮两个选择，我们点击上面的这个，因为上面这个就是常规的数据库链接，下面的那个需要进行参数配置然后我们点进去之后第一个我们输入的是自定义的库名称，第二个是我们链接数据库的通道前者不...
2018-07-13 11:00:42
996
原创 kettle连接数据库，官方jdbc jar包下载以及布置安装
我们在配置kettle 的spoon服务器时候，然后链接mysql的服务器的链接，可是怎么也连不上，怎么也连不上，这时候我们的小伙伴就很发愁，第一反应是配置错了，可是仔细看配置没错，哈哈哈没关系，我们先看看我报的错 错误连接数据库 [tcc] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurre...
2018-07-12 14:21:52
18054
7
原创 win10下kettle安装
首先我们先下载一个kettle的安装包链接如下https://pan.baidu.com/s/1J5MlxdThL2RSTFj43rpcoQ下载完成后解压因为这个kettke是需要jdk的辅助的，所以要在电脑上安装一个jdk，可以搜索我的文章https://blog.csdn.net/mr_tanga/article/details/80996238，这篇文章介绍的是jdk的安装之后安装完成之后我...
2018-07-11 16:35:46
3989
原创 win10 下面配置jdk1.8
首先我们去官网下载http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html进去之后我们按照如下图所示之后下载到本地之后，我们开始一阵的点点点 我是默认的安装路径这个路径记录好之后我们在后期进行环境变量的配置所以要注意不要随便放最后忘记了，这里不做过多解释了。我们找到电脑本地的环境变量配置...
2018-07-11 10:42:10
1062
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人