- 博客(188)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 使用kettle在大数据情况下出现内存溢出的情况处理方案
数据量太大，首先想到的办法就是分页执行，这一点oracle跟mysql不一样，mysql有limit语法，而oracle没有这个语法，oracle需要rownum并且需要别名嵌套才能实现limit的功能。如果使用分页循环，设置环境变量，然后在转换中获取环境变量，这种情况下整个流程是在一个job里面，kettle是运行在jvm中的，通过观察jvm的垃圾回收情况，发现，kettle中并未有堆回收（...
2020-04-16 18:55:10
2285
13
原创 动态代理模式
动态代理的应用：1、控制权限，将权限交给代理类去控制，例如：用户名不符的不让你访问某些功能，给你跳转等2、你要访问的对象跟你不在一个网络，需要一个代理中间人帮你调用动态代理好处：在编码时，代理逻辑与业务逻辑互相独立，各不影响，没有侵入，没有耦合。旨在通过一种无耦合的方式来为程序带来增强。而动态代理，就是AOP实现方式中的一种动态代理后记：20200113/** * 动态代理的应...
2019-12-31 18:20:38
220
原创 状态设计模式
package com.bitz.coin.benifit.test;/** * 状态模式的优点：当if判断过多，直接写if判断后期代码不好维护，因此等于把if里面的内容封装到不同的类里面了 * 主程序也就是client看起来比较清洁，因为判断都放到下一层content里面了 * content里面根据不同的判断，调用【new】不同的类【也就是之前if封装的那一块内容】 * 然后将n...
2019-12-30 16:53:46
244
原创 策略模式与三元表达式一起消灭if else
import java.util.HashMap;public class XuQiu { /** * 策略模式构建当池子中包含某个元素的时候，执行池子元素+1 * 池子不包含某种元素的时候，给池子中添加元素 * 分析：两种动作，给池子中的元素+1， 给池子中添加元素,值为1 * 本人对策略模式的理解：主要解决的是行为【算法】的使用者 和 行为...
2019-12-26 11:53:36
227
原创 canal的安装部署
https://github.com/alibaba/canal第一步：首先开启mysql数据库的binglog权限，怎么开呢，找到my.cnf，里面加入下面的语句[mysqld]log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义，不要和 c...
2019-12-25 00:08:38
1455
原创 awk的基本用法
awk是从输入的文本或者其他地方将一行数据进行拆分，类似与linux提供的一款轻量级的编程语句，可以实现简单的功能。参考：https://awk.readthedocs.io/en/latest/chapter-one.htmleg: 筛选出某个进程的pidps -ef | grep $PACKAGED_NAME_ADMIN.jar | grep -v grep | awk '{...
2019-12-20 10:49:18
133
原创 nosql数据库--Cassandra
Cassandra数据库是facebook用的，能弥补hbase解决不了的问题，跟hadoop可以整合优点：mysql的单表数据量是有瓶颈的，当数据量到达一定级别，就需要考虑分库分表或者分区等等使用cassandra，则不需要考虑该问题，当数据量增加，只需要增加cassandra的机器即可mysql数据量很大，如果修改表结构很容易锁表，特别是线上环境更是非...
2019-12-16 18:30:06
165
原创 java 中字符串传参使用MessageFormat类实现
import java.text.MessageFormat;public class test { public static void main(String[] args) { String str="{0} hello! {1}"; String python = MessageFormat.format(str, "python","jav...
2019-12-02 09:44:51
360
原创 java 带加密的HTTP请求API的访问
import org.apache.commons.codec.binary.Base64;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.net.HttpURLConnect...
2019-11-30 12:12:53
1594
原创 java Http请求post与get请求方式
import org.apache.http.client.fluent.Form;import org.apache.http.client.fluent.Request;import org.apache.http.client.fluent.Response;import java.io.IOException;/*** 访问API接口通用的做法。 * 主要使用ap...
2019-11-30 10:36:18
312
原创 Spring boot 之-- web静态页面的访问
spring boot的所有静态资源都在 WebMvcAutoConfiguration.java 中有指明代码303行@Overridepublic void addResourceHandlers(ResourceHandlerRegistry registry) { if (!this.resourceProperties.isAddMappings()) { ...
2019-10-19 21:12:14
257
原创 Spring boot 之-- 多配置文件切换
前言：在开发生产和测试阶段需要用不同的环境，这就涉及到环境的切换，spring-boot提供了多环境切换功能默认框架是去找application.properties或者application.yaml下面的文件，如果在propertie文件中加上# 指定激活那个环境，如果不写默认就去application.properties中获取spring.profiles.active=de...
2019-10-19 14:55:54
152
原创 Spring boot 之-- 获取properties配置文件中配置 及配置文件变量获取
application.perperties# 通过application.properties进行配置变量############################## properties一般配置############################## 配置普通字段#conn.ip=localhost#conn.pwd=unisound## 给map{}配置信息#co...
2019-10-19 14:39:23
306
原创 Spring boot 之-- 获取yaml配置文件中配置
spring boot 项目推荐使用自动导入在resources目录下新建一个application.yaml[这个名字是固定的，约定读]server: port: 8081conn: ip: 111 pwd: 222 maps: {ip: 192.168.5.1 ,port: 3306 } list: [192.16..5.2,3306] mysql_con...
2019-10-19 14:03:39
829
原创 Navicat连接Oracle（ Cannot load OCI DLL,87）
下载instantclient-basic-nt-11.2.0.4.0.zip 看oracle是什么版本就下载哪个后缀的上面的文件，然后完全替换Navicat下相同的目录，然后重新登录，就ok了。详情参看：https://jingyan.baidu.com/article/4853e1e566e0791908f7266b.html orcale...
2019-10-17 14:50:42
118
原创 ---mysql调优参数----
---mysql调优参数----innodb_buffer_pool_size=6gmax_allowed_packet=20Mbulk_insert_buffer_size=64minnodb_log_buffer_size=32m
2019-10-16 14:32:21
101
原创 lxml解析xml时候如果是gb2312出现乱码或无法解析的问题
问题描述，在如下xml中，解析报错，说XML缺失某个东西，实际查看的确没有问题啊。网上未搜集到答案。尝试将xml中gb2312改为gbk之后，一切迎刃而解！解析程序见，本人写的xml解析方法3...
2019-10-15 14:03:15
841
原创 python框架篇-django02—探究urls
from django.conf.urls import url# 必须导入url 不然默认的path是不能用正则表达式的urlpatterns = [ # 系统默认的管理界面 url('admin/', admin.site.urls), url(r'form/', g.form), # ^$就将此url定死了，只能是getuser开头，4位数字...
2019-09-18 22:29:57
86
原创 python的多线程 --第24讲
# --author--=Michal# date=2019/9/10from multiprocessing import Processimport osdef obj(i): print("1111子进程", os.getpid()) print("会有多个进程执行我",i,os.name)if __name__ == '__main__': list=...
2019-09-18 20:54:23
78
原创 python的队列 --第23讲
# --author--=Michal# date=2019/9/10import queueq = queue.Queue()q.put("china")q.put("japan")q.put("korea")print(q.get())print(q.get())print(q.get())# print(q.get(0)) # 如果多与队列数量，就会阻塞，get(...
2019-09-18 20:53:19
80
原创 python的反射 --第22讲
# --author--=Michal# date=2019/9/4#python的反射中一切皆对象，o既可以是创建的对象，也可以是模块名字，也可以是类名#只要传入都可以通过反射获取到值class obj: def __init__(self): self.name="michael" self.age=18 def show(self)...
2019-09-18 20:51:21
75
原创 python的单例模式 --第21讲
# --author--=Michal# date=2019/9/4##########单例模式########### 单例模式主要利用类方法，所有里面都带上cls.证明是操作一个类，否则就不是单例了##########单例模式##########class obj: __v = None # 静态字段private修饰的 @classmethod #类方法，直接...
2019-09-18 20:48:48
109
原创 python框架篇-django01—初步小demo
django的运行流程浏览器访问===》找到框架下的urls，根据浏览器访问路径===》在views找到具体执行的方法====》返回一个页面及渲染的参数===》浏览器接收到html后进行渲染展示第一步：通过流量器访问本地的/form路径下的资源http://127.0.0.1:8000/form/第二步：找到项目下的urls，根据urls中的映射找到form方法...
2019-09-17 22:57:46
164
原创 python的lxml模块解析xml
xml内容如下：<?xml version="1.0" encoding="utf8"?><dblp> <article mdate="2002-01-03" key="中国"> <author>E. F. Codd</author> <title>: A cloud data ...
2019-09-16 16:49:08
3856
原创 python的lxml模块封装xml
#!/usr/bin/env python#-*-coding:utf-8 -*-# AUTHOR: J# DATE: 2019/9/12from lxml import etreedef test(): #################################### # Element是一个列表 #######################...
2019-09-16 10:39:13
422
原创 python的open模块 --第21讲
if __name__ == '__main__': ########## 怎么存怎么取，byte存，byte取 ########## t = open("test.txt", 'wb') # byte类型 t.write(r"我是中文".encode(encoding="utf8")) t.close() r = open("test.txt", 'rb...
2019-09-11 14:30:40
628
原创 mysql innodb中转移数据使用.idb的方法 --mysql第20讲
停止服务net stop mysql将被拷贝的数据表.frm拷贝到 test_copy_3下的c表中在my.cnf中添加一句 表示允许覆盖innodb_force_recovery=1启动mysql net start mysql至此表结构拷贝OK--------------------------------------------------...
2019-09-09 18:07:59
2241
原创 mysql创建用户
create user 'etl_view'@'%' identified by 'XXXX@XXX'grant select on *.* to "etl_view"@'%';drop user 'etl_view
2019-09-05 13:58:37
75
原创 limit语句的优化
LIMIT语句随着数据量越来越大，效率越来越低，可以将limit语句改成 where 字段>100000 limt 1000
2019-09-05 13:45:59
253
原创 mysql的内置函数--非常用
-- 字符串函数SELECT LENGTH('汉字') ,LENGTH('ab')-- 一个汉字占3位,一个英文占1位SELECT CONCAT_WS('-','汉字','ab') -- 连接中间分隔符定义SELECT LOWER('AB') -- 大写转小写SELECT UPPER('ab') -- 小写转大写SELECT LEFT('abc',2) -- 返回字符串左边几个字符SE...
2019-09-05 11:02:24
332
原创 关于group by 又order by优化的问题
-- 上面的写法，等同于下面的写法，尽量使用上面的写法，不推荐下面的写法SELECT NORMAL_FILE_NAME,STD_DOC_CODE,STD_DOC_NAME from MED_FILE_STD_REF WHERE !ISNULL(STD_DOC_CLASS_NAME)GROUP BY STD_DOC_CLASS_NAME DESCSELECT NORMAL_FILE_NAME...
2019-09-05 09:33:09
560
1
原创 python中字符串的数据类型各种操作
str="abcdefghijkl mnopqrstuvwxyz34"str_=str.capitalize() # 将字符串中第一个字母大写str_ = str.startswith("a") # 判断字符串是否是以某开始，返回的是true或者falsestr_=str.endswith("4") #判断是否已某个字符结尾,返回true或者falsestr_ = str.cent...
2019-09-04 16:22:02
233
flink真实案例-读取kafka下沉redis-中间逻辑处理带原始数据.zip
2019-12-06
bigdata_interface.zip
2019-11-19
springboot jpa的使用案例_02.zip
2019-11-19
shell命令调用kettle，将生成的日志按月打包，并运行前一天的数据，并且参数传递冲抵kettle中的变量
2019-08-27
crontab调用python,python中封装kettle的定时任务调用
2019-08-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人