- 博客(16)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Sqoop抽数性能优化
1515万数据通过sqoop从sqlserver抽取到hive时间16min调整参数前配置主要调整参数执行并行导入时，Sqoop 需要一个条件，通过该标准可以拆分工作负载。Sqoop 使用拆分列拆分工作负荷。默认情况下，Sqoop 将标识表中的primary key （如果存在），并用作拆分列。从数据库中检索拆分列的低值和高值，并且映射任务对总范围的均匀大小的组件进行操作。
2023-05-30 14:19:07
513
原创 PBI数据权限自动化方案设计
通过用户权限表OG_USER生成SCOP表作为和数据表的关联枢纽，并且在PBI建模中 OG_USER和SCOP表关系中勾选在两个方向上应用安全筛选器，然后用SCOP表关联事实表，最后将OG_USER表中的role和region字段作为页面的筛选器，最终实现数据权限的控制和用户灵活筛选权限范围内的数据。用户权限表需要存有用户名、用户邮箱、角色、Service Line、Region以及Region和Service Line的组合字段。a 、角色包含权限范围。b、角色不包含权限范围。
2023-05-24 14:32:27
255
原创 Power BI 本地版部署
嵌入：三、Power BI Report Server部署要求组件要求可以从适用于 Windows 的 Microsoft.NETFramework 4.6（Web 安装程序）手动安装 .NETFramework。有关 .NETFramework 4.6 的详细信息、建议和指南，请参阅面 向开发者的 .NETFramework 部署指南。Windows 8.1 和 Windows Server 2012 R2 中必须有 KB2919355，才能安装 .NETFramework 4.6。硬盘。
2023-05-24 14:30:42
3580
2
原创 Linux系统定时发送邮件
目的：基于前面文章kettle执行情况发送邮件环境：centos 环境工具:mail、crontab首先我们看下当前环境下有没有安装mailwhich mail可以看见有对应路径，说明环境已经安装了mail如果没有安装就执行命令安装一下，这是linux环境自带的一般不会不存在然后执行下面命令，在mail.rc文件最下面写上发送邮件的命令,注意一点smtp-auth-password=是授权码 ，不是邮箱密码vim /etc/mail.rc#发送邮件命令set b
2021-03-18 14:04:11
969
原创 续kettle项目传产后linux服务器调度问题
续前面开发好的kettle项目上传到了生产环境，如何将job执行起来本文介绍使用shell调用kettle job实现数据调度功能。主要功能：1、使用shell调用kettle job2、通过crontab定时调度shell首先创建一个shell脚本，在存放kettle的data-integration的所在目录下，创建两个文件夹，一个是存放调度的shell脚本kettle_dispatch_shell，一个用来存放日志kettle_dispatch_log接下来就是在kettle
2020-12-04 11:03:10
259
原创 kettle项目资源库传测试和生产遇到的问题（二）
故事背景：不再介绍所处环境：linux，jdk1.8，kettle 8.0（不建议使用高版本的kettle，前面的文章有一篇提到了因为kettle版本的原因创建资源库的时候在数据库中会缺失一些创建kettle资源库需要的表），EasyConnect连接内网，Xshell 5访问服务器，Xmanager6做可视化首先查看环境java -version[root@zjxsprd data-integration]# java -versionopenjdk version "1.8.0_262.
2020-12-01 16:41:28
1606
原创 kettle项目资源库传测试和生产遇到的问题（一）
org.eclipse.swt.SWTError: No more handles [gtk_init_check() failed]linux启动kettle提示org.eclipse.swt.SWTError: No more handles [gtk_init_check() failed]问题故事背景：一个小菜程序猿临危受命接手一个kettle的项目，初始技能认识kettle会初步使用kettle进行数仓开发。。。。。所处环境：硬件需求都是甲方和公司basis已经事先确定，公司basis
2020-11-23 17:58:06
2556
原创 kettle连接oracle资源库提示You don‘t seem to be getting a connection to the server
关于如何创建oracle资源库这里就不多提了，网上一大把，自行百度唯一注意下的是数据库名称，Kettle 使用的数据库名是“SID_NAME” 而不是 PL/SQL 的 “SERVICE_NAME”如何获取这个名称呢有三个地方可以看（不分大小写）上面截图是连服务器上的数据库这个是本地数据库的所以不一致还有一种就是执行语句select INSTANCE_NAME from v$instance进入正题,连接资源库的时候提示以下错误You don't seem to b
2020-09-15 15:26:52
5889
1
原创 kettle REST clien用法，获取token，回调接口
今天接到一个需求，kettle调用接口取数，因为才接触kettle不久，很多主键还不了解，可能有更快捷的方式。一开始只说明是从接口获取数据，然后本人就百度了一下kettle如何调用接口取数，具体步骤如下：通过HTTP client接口地址：http://api.map.baidu.com/place/v2/suggestion?query=%E6%98%A5%E7%86%99%E8%B7%AF®ion=%E6%88%90%E9%83%BD%E5%B8%82&outpu
2020-09-10 13:39:13
7116
3
原创 ORA-14452: 试图创建, 变更或删除正在使用的临时表中的索引
在编写一个test存储过程中出现一个错误报告:ORA-14452: 试图创建, 变更或删除正在使用的临时表中的索引,代码如下create or replace PROCEDURE TMP_TRANSCRIPT AS str_sql varchar2(500); v_flag number:=0; --标识begin --判断临时表是否存在 SELECT COUNT(*) into v_flag FROM User_Tables WHERE table_name = 'TEMP_T
2020-06-29 10:09:29
5271
原创 元数据的作用
什么是源数据？元数据是用来描述数据的数据（Data that describes other data）。单单这样说，不太好理解，我来举个例子。下面是契诃夫的小说《套中人》中的一段，描写一个叫做瓦莲卡的女子：（她）年纪已经不轻，三十岁上下，个子高挑，身材匀称，黑黑的眉毛，红红的脸蛋－－一句话，不是姑娘，而是果冻，她那样活跃，吵吵嚷嚷，不停地哼着小俄罗斯的抒情歌曲，高声大笑，动不动就发出一连串响亮的笑声：哈，哈，哈！这段话里提供了这样几个信息：年龄（三十岁上下）、身高（个子高挑）、相貌（身
2020-06-28 11:01:55
4045
原创 Kettle小细节（输出数据分发和复制）
笔者在学习过程中遇到这样一个问题： 例子：生成 100 个随机数，随机数取值于[0，100）之间， 计算小于等于 50 的随机数个数和 大于50 的随机数个 数。 并把这两个统计数字放在数据库表的一行的两列中， 即输出的结果有一行，一行包括两列，每列是一个统 计值 出现的问题：程序运行到计算器组件还有100条数据记录，但是在过滤记录2和excle输出的时候数据进行了分发，各50条...
2020-04-10 11:15:43
6392
原创 数据仓库到底需不需要主键？
本人也是刚开始从事数仓工作不到半年，在做数仓的时候发现一个问题，就是从来没有人和我添加主键，即使数据量庞大，也没有人说添加主键、索引等。这也引发了我的思考，因为在编写SQL的时候我们习惯就是在查询时间过长的时候给SQL添加主键索引，缩短查询时间，那数仓为什么不需要呢？ 数据仓库的主键问题，经过查找资料与业内同事讨论，结果发现这份资料比较正确，这里整理出来给大家分...
2019-09-25 16:25:48
3048
转载 ODbug
0x01 首先先认识一下OD(OllyDbg)打开OD界面,呈现出下图的窗口分布,这里笔者对OD界面的几个窗口进行了一下标识。如图:下面笔者对这几个窗口在程序破解中的作用一一介绍:1.菜单窗口:如图:从左往右依次去说这些按钮的作用以及快捷键:序号(编号) 功能 快捷键 1 打开新的可执行文件 F3 2 重新载入程序 Ctrl+F...
2018-12-20 09:51:18
950
转载 汇编基础指令
1.通用数据传送指令指令名称 功能 备注 mov(MOV) 传送赋值 英文(move) 例子:mov a,b 把b的值传给a push(PUSH) 压栈 英文(Push noto the stack) pop(POP) 出栈 英文(pop from the stack) 例子: 由于堆栈平衡原理,所以有push就有po...
2018-12-20 09:45:08
1284
转载 关于iOS系统中Safari浏览器不兼容window.open方法
在ajax回调函数里面使用window.open（直接使用window.open属于浏览器行为，所以被阻止打开新窗口）；safari 中没办法在回调函数里面执行window.open, 原因是safari的安全机制将其阻挡了那么如果你有这样的需求（或者类似的），通过ajax 发送请求到服务器端，等待请求响应成功之后，根据从服务器端响应得到的数据，打开一个窗口显示给用户，在safari...
2018-12-18 16:48:25
13044
1
PowerBI操作指南（官方）
2022-04-22
jsr 303需要的jar包
2018-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人