- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 datax3.0配合crontab实现数据定时增量同步
前提概要由于项目上需要将a服务器数据同步至b服务器，一开始使用mysql主从复制，但是由于主从同步无法触发位于b服务器的触发器，只能放弃此方案。后来找到了datax可以实现数据同步同时也可以触发触发器，决定使用此方案。datax准备安装datax，python，jdkdatax下载及安装地址 根据自身需求选择合适的writer和reader，我这里选择的是mysqlwriter和mysqlreader 下面是我使用的json文件，有两点需要注意 我在 where 使用了sql 语句cr..
2020-12-11 09:11:35
787
转载 Datax 按照时间戳的定时增量抽取脚本
使用技术： Datax /crontab /python大概看了下python的语法，因为需要增量做数据抽取，手上暂时没有趁手的兵器，就先用datax吧。 网上有其他方案https://blog.csdn.net/quadimodo/article/details/82186788，貌似写死的执行时间，没采用这种方法。1. 前提步骤：安装datax及配置datax目录：/home/datax/datax/脚本目录：/home/datax/jobslog目录：/home/datax/j
2020-12-11 09:10:32
2739
1
转载 datax——全量、增量同步
一、全量同步本文以mysql -> mysql为示例： 本次测试的表为mysql的系统库-sakila中的actor表，由于不支持目的端自动建表，此处预先建立目的表：CREATE TABLE `actor_copy` ( `actor_id` smallint(5) unsigned NOT NULL AUTO_INCREMENT, `first_name` varchar(45) NOT NULL, `last_name` varchar(45) NOT NULL, .
2020-12-11 09:08:50
3267
转载 Spring Security Oauth2和Spring Boot实现单点登录
最近在学习单点登录相关，调查了一下目前流行的单点登录解决方案：cas 和 oauth2，文章主要介绍oauth2 单点登录。希望这篇文章能帮助大家学习相关内容。我们将使用两个单独的应用程序：授权服务器–这是中央身份验证机制 客户端应用程序：使用SSO的应用程序简而言之，当用户尝试访问客户端应用程序中的安全页面时，将首先通过身份验证服务器将其重定向为进行身份验证。而且，我们将使用OAuth2中的“授权代码”授予类型来驱动身份验证的委派。1、身份认证服务器（oauth2-server）.
2020-11-20 17:41:09
473
1
转载 spring security oauth2
个人 OAuth2 全部文章Spring Security 与 OAuth2（介绍）：https://www.jianshu.com/p/68f22f9a00ee Spring Security 与 OAuth2（授权服务器）：https://www.jianshu.com/p/227f7e7503cb Spring Security 与 OAuth2（资源服务器）：https://www.jianshu.com/p/6dd03375224d Spring Security 与 OAuth2（客户
2020-11-20 17:36:18
150
原创 Spring Security(1)
一、前言Spring Security和Apache Shiro都是安全框架，为Java应用程序提供身份认证和授权。二者区别Spring Security：重量级安全框架 Apache Shiro：轻量级安全框架关于shiro的权限认证与授权可参考小编的另外一篇文章 ：SpringBoot集成Shiro 实现动态加载权限https://blog.csdn.net/qq_38225558/article/details/101616759二、SpringBoot集成Spri...
2020-11-19 17:52:46
71
原创 Spring Security 整合JWT（四）
一、前言本篇文章将讲述Spring Security 简单整合JWT 处理认证授权基本环境spring-boot 2.1.8 mybatis-plus 2.2.0 mysql 数据库 maven项目Spring Security入门学习可参考之前文章：SpringBoot集成Spring Security入门体验（一）https://blog.csdn.net/qq_38225558/article/details/101754743 Spring Security 自定义登录认证
2020-11-19 17:49:40
180
原创 Spring Security 动态url权限控制
一、前言本篇文章将讲述Spring Security 动态分配url权限，未登录权限控制，登录过后根据登录用户角色授予访问url权限基本环境spring-boot 2.1.8 mybatis-plus 2.2.0 mysql 数据库 maven项目Spring Security入门学习可参考之前文章：SpringBoot集成Spring Security入门体验（一）https://blog.csdn.net/qq_38225558/article/details/101754743
2020-11-19 17:48:40
1822
4
原创 Spring Security自定义认证
一、前言本篇文章将讲述Spring Security自定义登录认证校验用户名、密码，自定义密码加密方式，以及在前后端分离的情况下认证失败或成功处理返回json格式数据温馨小提示：Spring Security中有默认的密码加密方式以及登录用户认证校验，但小编这里选择自定义是为了方便以后业务扩展，比如系统默认带一个超级管理员，当认证时识别到是超级管理员账号登录访问时给它赋予最高权限，可以访问系统所有api接口，或在登录认证成功后存入token以便用户访问系统其它接口时通过token认证用户权限等S
2020-11-19 17:47:27
534
原创 Java 图片的Excel 导出为Zip格式
Java 多文件Excel 导出为Zip 并下载：1. 要想导出Zip文件、首先你必须将你指向的内容写入到文件中。创建一个向指定的File 对象表示的文件中写入数据的文件输出流。@RequestMapping("/export)public void export(HttpServletResponse response, HttpServletRequest request) {List<WhiteList> personList = whiteListDao.getL..
2020-11-17 16:15:05
219
转载 仅需3分钟，你就能明白Kafka的工作原理
周末无聊刷着手机，某宝网 App 突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了……第二天正常上着班，突然接到快递小哥的电话：小哥：“你是 xx 吗？你的女朋友到了，我现在在你楼下，你来拿一下吧！”。我：“这...
2019-07-24 15:35:43
244
转载 日志收集系统搭建-ELK
前言 日志是我们分析系统运行情况、问题定位、优化分析等主要数据源头。目前，主流的业务系统都采用了分布式、微服务的形式。如果想要查看日志，就需要从不同的节点上去查看，而且对于整个业务链路也非常不清晰。因此，我们首先引入日志收集框架，将分布在各个节点的日志统一汇总到一处。方便日志查询、分析与问题定位。 根据我们目前的技术栈，我们的服务是在spring cloud下搭建的。因而使用sprin...
2018-07-04 16:46:49
7810
转载 分布式之redis复习精讲
https://mp.weixin.qq.com/s/djdMy82Dv6BDQtW2AoxAOg引言为什么写这篇文章?博主的《分布式之消息队列复习精讲》得到了大家的好评，内心诚惶诚恐，想着再出一篇关于复习精讲的文章。但是还是要说明一下，复习精讲的文章偏面试准备，真正在开发过程中，还是脚踏实地，一步一个脚印，不要投机取巧。考虑到绝大部分写业务的程序员，在实际开发中使用redis的时候，只会setv...
2018-07-03 17:02:07
142
转载 测试hadoop2.x HA主备切换遇到的问题和解决办法 [
手动kill 主namenode后，备用namenode没有主动从standby切换到active！！！解决办法：在备用namenode上查看 Hadoop-grid-zkfc-server102.log日志，发现异常如下2016-10-16 00:09:32,465 WARN org.apache.hadoop.ha.SshFenceByTcpPort: PATH=$PATH:/sbin:/us...
2018-06-09 10:24:07
2161
原创 模板方法模式
准备一个抽象类，将部分逻辑以具体方法的形式实现，然后声明一些抽象方法交由子类实现剩余逻辑，用钩子方法给予子类更大的灵活性。最后将方法汇总构成一个不可改变的模板方法。...
2018-05-10 09:56:27
114
转载 Java关键字final、static使用总结
Java关键字final、static使用总结 一、final 根据程序上下文环境，Java关键字final有“这是无法改变的”或者“终态的”含义，它可以修饰非抽象类、非抽象类成员方法和变量。你可能出于两种理解而需要阻止改变：设计或效率。 final类不能被继承，没有子类，final类中的方法默认是final的。 final方法不能被子类的方法覆盖，但可以...
2018-04-26 19:35:53
118
转载 Java开发中的23种设计模式详解
设计模式（Design Patterns） ——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真正工程化，设计模...
2018-04-19 22:00:18
193
转载 MySQL 对于千万级的大表要怎么优化？
作者：zhuqz链接：https://www.zhihu.com/question/19719997/answer/81930332来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。很多人第一反应是各种切分；我给的顺序是:第一优化你的sql和索引；第二加缓存，memcached,redis；第三以上都做了后，还是慢，就做主从复制或主主复制，读写分离，可以在应用层做，效率...
2018-04-18 22:07:42
151
转载 MySQL性能优化
可以从以下几个方面对MySQL进行优化， 效果: SQL和索引 > 数据库表结构 > 系统配置 > 硬件 但成本从低到高。1.SQL和索引优化1.1SQL1.1.1优化SQL语句的一般步骤：①通过show status 命令了解各种SQL的执行效率，show [session | global] status;1可以根据需要加上参数来显示session级（当前连接，默认）和glo...
2018-04-18 21:33:55
145
转载 基于redis分布式缓存实现
在网上找了些redis搭建集群的资料，分享给大家，可以仔细看看，了解redis主从复制的逻辑，以及如何构建redis集群。Redis复制流程概述Redis的复制功能是完全建立在之前我们讨论过的基于内存快照的持久化策略基础上的，也就是说无论你的持久化策略选择的是什么，只要用到了Redis的复制功能，就一定会有内存快照发生，那么首先要注意你的系统内存容量规划，原因可以参考我上一篇文章中提到的Redis...
2018-04-16 22:13:00
177
转载 关于分布式事务、两阶段提交协议、三阶提交协议
随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题，大型网站的架构也在不断发展。提高大型网站的高可用架构，不得不提的就是分布式。在《分布式系统的一致性探讨》一文中主要介绍了分布式系统中存在的一致性问题。本文将简单介绍如何有效的解决分布式的一致性问题，其中包括什么是分布式事务，二阶段提交和三阶段提交。分布...
2018-04-16 20:49:55
117
原创 dubbo使用原理
Dubbo是阿里巴巴公司开放源代码的高性能优秀的服务器框架，使得应用可通过高性能的RPC实现服务的输入和输出功能，可以与spring进行继承。上述的工作原理：Provider暴露服务方称之为“服务提供者”。Consumer调用远程服务方称之为“服务消费者”。Registry服务注册与发现的中心目录服务称之为“服务注册中心”。Monitor统计服务的调用次数和调用时间的日志服务称之为“服务监控中心”...
2018-04-15 20:43:17
183
原创 工厂模式
工厂模式：工厂模式是一种经常被使用到的模式，根据工厂模式实现的类可以根据提供的数据生成一组类中某一个类的实例，通常这一组类有一个公共的抽象父类并且实现了相同的方法，但是这些方法针对不同的数据进行了不同的操作。首先需要定义一个基类，该类的子类通过不同的方法实现了基类中的方法。然后需要定义一个工厂类，工厂类可以根据条件生成不同的子类实例。当得到子类的实例后，开发人员可以调用基类中的方法而不必考虑到底返...
2018-04-14 21:44:59
125
原创 快速排序
public class QuickSort {/*** 快速排序* @param strDate* @param left* @param right*/public void quickSort(String[] strDate,int left,int right){String middle,tempDate;int i,j;i=left;j=right;middle=strDate[(i...
2018-04-14 18:27:52
79
转载 HashMap和TreeMap的区别
HashMap：数组方式存储key/value，线程非安全，允许null作为key和value，key不可以重复，value允许重复，不保证元素迭代顺序是按照插入时的顺序，key的hash值是先计算key的hashcode值，然后再进行计算，每次容量扩容会重新计算所以key的hash值，会消耗资源，要求key必须重写equals和hashcode方法默认初始容量16，加载因子0.75，扩容为旧容量...
2018-04-14 15:14:33
419
转载 Java——HashSet和TreeSet的区别
1、TreeSet 是二差树实现的,Treeset中的数据是自动排好序的，不允许放入null值。 2、HashSet 是哈希表实现的,HashSet中的数据是无序的，可以放入null，但只能放入一个null，两者中的值都不能重复，就如数据库中唯一约束。 3、HashSet要求放入的对象必须实现HashCode()方法，放入的对象，是以hashcode码作为标识的，而具有相同内容的 String对象...
2018-04-14 15:11:59
109
转载 使用IntelliJ IDEA配置Tomcat（入门）
一、下载Tomcat1、进入官网http://tomcat.apache.org/，选择download，下载所需Tomcat版本。此处我们选择下载最新版本Tomcat 9。注意有zip和exe两种格式的，zip（64-bit Windows zip(pgp,md5,sha1)）是免安装版的，exe（32-bit/64-bit Windows Service installer(pgp,md5,s...
2018-04-13 21:21:20
8201
3
转载 IntelliJ IDEA 17 创建maven项目
说明创建Maven项目的方式：手工创建好处：参考IntelliJ IDEA 17创建maven项目二（此文章描述了用此方式创建Maven项目的好处）及idea17使用maven创建web工程（此文章描述了用模板创建Maven的弊端。）创建一个新Maven项目new 一个project不选择任何Maven模板起个GroupId、ArifactId起个项目名。注意：Idea_Project是存放此项目...
2018-04-13 21:20:25
191
2
转载 redis简述
概述：Redis 是一个 Key-Value 存储系统。和 Memcached 类似，它支持存储的 value 类型相对更多，包括 string(字符串)、 list(链表)、 set(集合)和 zset(有序集合)。这些数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，Redis 支持各种不同方式的排序。与 memca...
2018-04-11 21:54:14
224
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人