- 博客(15)
- 收藏
- 关注
RSS订阅
转载 Kettle之时间戳增量同步实战
0. 前言本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。1. 时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时间戳同步该时间戳以后的增量数据。这是时间戳增量同步。但是时间戳增量同步不能对源数据库中历史数据的删除操作进行同步，我
2020-08-27 11:31:13
4463
13
原创 SSM框架下实现权限管理(附源码)
具体思路：设置三张表，分别是角色表，权限表和权限对应表。设置完毕后，配置一个全局拦截器，在拦截每一次请求时，去查表里该用户对应的角色权限是否存在，如果存在就通过，不存在就拒绝并提示。一. 设计数据库表结构角色表权限表角色权限对应表二. 配置全局拦截器AllInterceptor.javapublic class AllInterceptor implements HandlerInterceptor { /** * 角色对应权限表的service */ @
2020-07-16 10:46:14
2532
2
原创 解决echarts图表造成浏览器内存泄漏问题
问题重现：公司做的是监控系统大屏，所以需要相对实时的数据，需要前端不断轮询后台数据，所以时间久了造成浏览器崩溃。排查了好几天的问题，发现是用到echarts的模块占用的内存不断上升。错误的原因：每次轮询后都创建了一个新的对象 定时器滥用，造成每次都创建一个对象解决办法： 定时器写法，在每次setInterval()里都先clearInterval()销毁 var times = setInterval(function() { clearInterval(timers); //.
2020-06-12 13:47:50
6564
7
原创 解决后台服务重启后，前端webSocket断了的问题
后端服务器宕机或重启时，前端Vue 不断重连webSocket的解决办法：问题重现：后台服务重启时，前端连接的webScoket就断了，需要刷新页面才能重新建立连接，这样用户体验的效果不好，而且有些业务场景，比如硬件监控系统大屏这些是不允许刷新页面的，所以需要前端发现webSocket断了，然后自己不断去发起连接。解决思路：在webSocket的生命周期onclose和onerror时调用重连函数，增加心跳检测。解决方案：创建变量 data() { return { .
2020-06-12 11:34:48
3689
原创 Docker练习之简单War包部署
GitHub地址：点击前往得到源码以后，只需把项目里的数据库的配置更改为自己本地的，然后重新打包放在tomcat目录下，再把docker-ssm/SQL目录下的数据库脚本导入到本地。目录结构：War包部署 项目打包成war包，放入docker-ssm/tomcat下 编写tomcat镜像的Dockerfile # 直接从docker提供的远程镜像仓库中拉取最新...
2020-01-17 11:19:24
595
原创 CentOS7 下 离线安装Docker 和 Docker Compose
GitHub地址：点击前往Docker离线安装1.docker的rpm安装包下载 下载地址：点击前往 下载版本：docker-ce-17.12.0.ce-1.el7.centos.x86_64.rpm 2.所需依赖包下载（8 + 1） 其中八个依赖包下载地址：点击前往 前八个依赖包列表： audit-libs-python-2.8.5-4....
2020-01-14 17:11:07
1305
2
转载 FastDFS离线安装
FastDFS离线安装(环境包:链接：https://pan.baidu.com/s/1ENBnsCCbwM56NTVxRZMwYw提取码：bwsw)安装包(链接：https://pan.baidu.com/s/1GXgqHFe9aTG_0zLhyAK5sw提取码：omy3)1.上传安装包，并解压libfastcommon-1.0.36.tar.gz， fastdfs-5.11.tar.gz到usr/local/FastDFS里，效果如下图，步骤见2.解压libfastcommon-.
2021-08-24 14:35:34
981
转载 window系统mysql大小写敏感_【已解决】Windows下 MySQL大小写敏感 解决方案及分析...
最近在window系统下 操作Linux系统下创建的数据库，发现有些不对劲，比较了半天才发现是大小写敏感的问题造成的。网上搜索了一下，解决了这个问题，做个简明扼要的记录。按照网上的说明：WINDOWS：编辑MySQL安装目录下的my.ini 文件，在[mysqld]节下 添加 lower_case_table_names=0 (备注：为0时大小写敏感，为1时大小写不敏感，默认为1)，可以实现MySql按照建表Sql语句的大小写状态来定义表名。具体操作的时候会发现，理论和实践总是有差异的：
2021-07-19 10:51:31
1176
转载 @Transactional注解配置及失效的7种场景
Spring里@Transactional注解配置1.在 xml 配置中的事务配置信息<tx:annotation-driven /><bean id="transactionManager"class="org.springframework.jdbc.datasource.DataSourceTransactionManager"><property name="dataSource" ref="dataSource" /></bean&g..
2021-05-21 11:00:28
277
转载 IDEA 编译时卡在Parsing java，最终out of memory 错误处理
新搭建的IDEA开发环境，如果没调整IDEA 运行JAVA 虚拟机默认配置，编译时 卡在Parsing java... 等待长时间后，最终提示内存溢出通过如下两步处理方法：1、IDEA的配置文件，在IDEA安装目录下的bin文件夹里，用记事本工具编辑 *.vmoptions 文件，根据使用的idea启用的程序，idea64.exe ->idea64.exe.vmoptionsidea.exe ->idea.exe.vmoptions根据电脑配置调整Xm...
2021-03-11 17:23:24
2481
原创 解决Kettle问题之中文乱码
问题出现的原因：从源数据库读取数据时乱码 给目标数据库写时乱码解决办法：以utf-8为例 修改源数据库连接，在高级里加上 set names utf8 修改目标数据库连接，在选项里加上characterEncoding utf8 用记事本编辑Spoon.bat文件 在以下 if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1...
2020-08-25 17:40:42
4646
原创 Kettle之简单入门实战
Kettle是一款国外开源的ETL工具，纯java编写，所以前期准备要配置java环境。1. 下载Kettle点击前往下载好了以后，无需安装，只要解压就好了，非常方便。2. 启动Kettle双击目录下的Spoon.bat即可。打开的界面：3. 简单实战：把源数据库的数据复制到目标数据库中，并且建立定时执行的作业。注意：在数据库链接的过程中，可能会报某个数据库连接找不到的异常。是因为没有对应的数据库链接驱动，所以先把对应驱动放入kettle的lib文件夹。...
2020-07-15 17:14:11
1958
原创 CentOS7 下 在线安装Docker 和 Docker Compose
服务器环境：CentOS 7Docker安装 安装一些必要的系统工具： sudo yum install -y yum-utils device-mapper-persistent-data lvm2 添加软件源信息： sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux...
2020-01-17 10:54:41
168
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人