qq_31514193的博客

原创 centos7安装Jenkins

系统中需要安装jdk下载安装包：wget https://pkg.jenkins.io/redhat-stable/jenkins-2.235.1-1.1.noarch.rpm安装 rpm -ivh jenkins-2.235.1-1.1.noarch.rpm修改配置：vi /etc/sysconfig/jenkinsJENKINS_PORT=“8020”JENKINS_LISTEN_ADDRESS=“0.0.0.0”JENKINS_HTTPS_PORT=“8021”在防火墙中添加端口8020

原创 centos7搭建gitlab

配置所需依赖sshfirewalldpostfixwget开启系统中的HTTP和ssh端口安装sshsudo yum install -y curl policycoreutils-pythonopenssh-server开机启动sshsudo systemctl enable sshd启动ssh服务sudo systemctl start sshd安装防火墙yum install firewalld systemd -y开启防火墙service firewalld

原创 kettle思维导图

原创 Java 03 循环结构和条件语句

根据runoob.com上的Java教程。特此声明循环结构Java中有三种循环结构：1、while循环2、do…while循环3、for 循环下面使用三种循环结构分别实现1-10的循环输出。1、while循环/*while(布尔表达式){ 执行代码}*/public class Test { public static void main(String args[]) { int x = 1; while( x <= 10 ) {

原创 Java 02 运算符

根据runoob.com上的Java教程。特此声明算术运算符操作符描述+将运算符两侧的变量值相加-用操作符左侧的值减去右侧的值*得到操作符两侧的变量的乘积/用操作符左侧的值除以右侧的值%操作符左侧的值除以右侧值的余数++自增，变量值增加1- -自减，变量值减少1关于自增，自减操作符：前缀自增自减法(++a,–a): 先进行自增或者自减运算，再进行表达式运算。后缀自增自减法(a++,a–): 先进行表达式运算，再进行自增或者自

原创 Java 01 基础语法

根据runoob.com上的Java教程编写。特此声明基本语法：1、区分大小写:a 和A是不同的标识符。2、类名：类名的单词首字母大写。3、方法名：第一个单词的首字母小写，后面的首字母大写。4、源文件名：源文件名必须和类名相同。5、主方法入口：所有的Java程序都由 public static void main(String[] args)Java标识符：1、标识符中可以包含字母（A-Z 或者 a-z）,美元符（$）、数字和下划线（_）。2、标识符的第一个字符不能是数字。3、关键字不能

原创 kettle_14 作业和参数

目录

原创 kettle_13 脚本控件的使用

脚本嘛，就是代码。如果可以使用代码。乌拉！！！！目录1、JavaScript脚本2、Java脚本3、执行SQL脚本1、JavaScript脚本任务：生成日期数据下面的日期数据，然后获得日期数据的年，月，日。1）新建下图转换，生成记录增加序列计算器字段选择JavaScript代码最后编辑输出，保存转换，启动运行。查看输出文件。2、Java脚本输入数据。 目的：在表中添加一个newcode字段，如果code字段有数据，在数据后面添加123；没有数据，使用name字段的

原创 kettle_12 映射(子转换）

子转换的作用是在一个转换中，引用另一个转换来进行数据处理。相当于调用函数或模块。输入数据。 目的： 根据A表中的u_id字段，在B表中查出用户的信息，并输出到excel文件。1）新建下图转换，点击映射输入规范。点击数据库查询，点击映射输出规范，保存转换。2）新建下图所示转换，编辑好表输入，点击映射（子转换）。保存转换，点击运行。查看输出文件。...

原创 kettle_11 分组

分组控件位于核心对象–》统计–》分组，主要用来统计和计算数据中不同分组的信息。输入数据。这里要做的是根据group字段的信息对数据进行分组，统计每组的人数。新建下图所示转换，对数据进行分组操作之前需要对数据先进行排序。编辑完成输入和排序之后，点击分组，然后，编辑输出，保存转换，点击运行。查看输出文件。...

原创 kettle_10连接控件的使用

目录1、合并记录2、记录关联（笛卡尔输出）3、记录集连接1、合并记录输入数据1）新建下图所示转换，编辑输入，点击合并记录flag field字段说明：这个字段时添加到合并后的文件中用于表示新旧数据之间变化的字段。identical：表示新旧数据相同。changed：新数据与旧数据不同。delete：旧数据中有，新数据中没有。new：新数据中有，旧数据中没有。2）保存转换，点击启动。查看输出文件。2、记录关联（笛卡尔输出）3、记录集连接...

原创 kettle_09 查询控件的使用

目录1、HTTP client2、数据库查询3、数据库连接4、流查询1、HTTP client1）新建下图所示转换，点击 自定义常量点击HTTP client点击get data from xml点击excel输出2）保存转换，点击启动。查看结果。2、数据库查询输入数据1）新建下图所示转换，2）保存转换，点击启动。查看结果。3、数据库连接输入数据1）新建下图所示转换，2）保存转换，点击启动。查看结果。4、流查询输入数据1）新建下图所示转换，2）

原创 kettle_08 流程控件的使用

目录1、switch-case2、过滤记录3、空操作4、中止1、switch-case输入数据 目的：把数据按性别分组1）新建下图所示转换。设置好输入和输出后，点击switch\case。2）保存转换，点击运行。查看输出文件。2、过滤记录输入数据 目的：根据code字段是否为空，将数据分组。1）新建下图所示转换，设置输入输出，点击过滤记录2）保存转换，点击运行。查看输出文件。3、空操作什么都不做，和没有这个控件一样。4、中止中止操作会结束当前的正在执行的转换。当

原创 kettle_07 应用控件的使用

应用控件的作用应用控件的主要应用： 实现对数据的管理。比如对数据的监控（写日志控件），设置文件的编码规则，压缩文件等。应用控件一般不会改变数据本身包含的信息。目录1、替换NULL值2、写日志3、发送邮件1、替换NULL值在处理数据时，NULL值无法进行数据的转换，因此需要设置默认值来替换NUll值。（替换值对数据的处理结果会有影响，这里先不考虑对结果产生的影响）输入数据 目的：将李四的age替换为281）新建下图所示转换，编辑excel输入之后，点击替换NULL值。2）保存转换，

原创 邮箱的第三方软件登录：开启邮箱转接服务

用一个邮箱软件连接多个邮箱，懒人的福音平时登录邮箱，一般需要打开浏览器，找到邮箱登录页面，登录邮箱。如果你要登录多个邮箱就会有点麻烦。如果你想用一种更简洁的方式管理你的邮箱。来吧，朋友。核心知识点：开启客户端POP／IMAP／SMTP功能。1、登录邮箱2、设置—》客户端POP／IMAP／SMTP：不同的邮箱的页面不同，这里以新浪邮箱举例。到了这里，我们已经有了在第三方软件登录新浪邮箱时的密码了。现在我们来到第三方软件...

原创 kettle_06 转换控件的使用

转换控件的作用：从原数据中获取想要的数据通过kettle的输入控件，把数据输入到kettle中。但是，原数据一般情况下不是最终想获得的数据。所以要对原数据进行处理。把想要的数据转换成符合要求的数据。输入和输出的过程前面已经介绍过了，下面不在详细演示。关于输入输出，有疑问的请移步：kettle_05 输入和输出目录1、concat fields2、值映射3、增加常量4、增加序列5、字段选择6、计算器7、字符串–》剪切–》替换8、去除重复记录+排序记录9、唯一行（哈希值）10、拆分字段

原创 kettle_05 输入和输出

完成的主要工作1、将不同形式的数据输入到kettle2、将输入到kettle的数据输出为不同的形式1、将不同形式的数据输入到kettle1、csv文件输入2、文本文件输入3、excel文件输入4、多文件合并5、get data from xml6、json input7、生成记录8、表输入1、csv文件输入输入文件展示1）核心对象–》输入–》csv文件输入，拖拽到工作区。2）双击打开点击预览，可以浏览输入后的数据。点击确定，csv文件的输入就完成了。2、文本文件输入

原创 kettle_04 从文件把数据导入到mysql数据库

任务：将波士顿房价的数据（housing.data)导入到MySQL数据库。housing.data 数据链接：https://pan.baidu.com/s/1kTHAesn9a7_1oL-c7saGKQ提取码：c3y5数据格式：每一行的宽度固定，1、创建数据表（housing)弹出窗口在窗口中编辑以下mysql语句，创建housing表。create table housing(CRIM float,ZN float,INDUS float,CHAS tinyint(1),

原创 kettle_03 数据库连接

数据库连接（MySQL）1、创建数据库1、进入数据库2、创建数据库 kettle在mysql中输入：create database kettle charset=utf8;现在就创建好了名为kettle的数据库2、创建数据库连接1、创建转换，保存为test_db.ktr2、 在左侧选择 主对象树–>转换–><新建的转换>–>DB连接3、 选择 MySQL数据库，填写相关信息。点击测试，进行连接。在上述配置下，可以成功连接到数据库。4、点击测试，如图所

原创 kettle_01安装

kettle的安装配置平台：Windows10Java版本：Java 1.8.0地址：https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.htmlkettle版本：pdi-ce-7.1地址：http://mirror.bit.edu.cn/pentaho/Data%20Integration/MySQL版本：Windows (x86, 64-bit), ZIP Archive地址：https://d

原创 kettle_02创建转换或作业

创建转化或作业创建转换点击 文件–>新建–>转换ctrl+n创建作业点击 文件–>新建–>作业dtrl+alt+n