书山有路情为径

原创 kettle的多源数据库联合查询

最近做了一个关于ETL的需求，大致意思是：从A数据库中查询出的结果，作为B数据库的查询语句条件，最后将B数据库查询的结果放入C数据库，Kettle实现过程如下：先展示完成后的流程，如图：新建转换后，核心对象--》输入--》表输入，配置如下：然后进行第二个数据源的查询配置，核心对象--》查询--》数据库连接参数部分可以直接点击“获取字段”,即可获取到第一个数据...

原创 代码的精进

今天突然意识到一个问题，写代码写久了，可能会忽视一个问题，就是一些很简单的逻辑问题，用代码表达出来，可以看出一个程序员的编程思想的深度，就拿最简单的冒泡排序来说，请看下面代码：方式一：public static void bubbleSortV1(int[] arr){ System.out.println("冒泡排序前：" + Arrays.toString(arr));...

原创 微信小程序云函数开发中不存在npm内部/外部命令

开发微信小程序云函数时，需要在云函数终端窗口使用npm命令，但是却出现报错：不存在npm内部/外部命令，此时该意识到需要本机安装Nodejs,下载路径：https://nodejs.org/安装说明见转载：https://www.cnblogs.com/lgx5/p/10732016.html完成上述之后便可以在微信小程序开发工具中使用npm命令了。...

原创 一次redis缓存不均衡优化经验

当 Redis 中的数据更新时，Redis 可以发布一个更新通知，各节点的本地缓存订阅这个通知，并根据通知更新本地缓存。高并发接口，引入redis作为缓存之后，运行一段时间发现redis各个节点在高峰时段的访问量严重不均衡，有的节点访问量7000次/s，有的节点访问量500次/s。3.缓存更新：当数据发生变化时，需要更新缓存中的数据，以保持缓存和存储中的数据一致性。1.数据加载：当应用程序第一次访问某个数据时，如果该数据还未被缓存，则从远程或磁盘存储中加载数据，并将其保存在本地缓存中。

原创 Informatica程序引入mysql数据源

开发ETL过程中，使用的INFORMATICA需要在本地安装数据库驱动，这两天遇到一个问题，本地安装mysql驱动后，在Informatica中一直报如下错误：“ODBC驱动程序管理器 在指定的DNS中,驱动程序和应用程序体系结构不匹配”查阅了很多资料未果，后来重新装了32位的mysql驱动，就可以顺利引进mysql数据源了，原因为Informatica程序目前是32位的，所以之前安装的64位驱动不可用提供以上信息供大家参考，避免踩坑！...

原创 Python3生成腾讯云cos的签名sign

这两天在折腾有关腾讯云的对象存储COS功能，之前用java语言写过，下载了相关的SDK，这次开发语言变为了python，遇到从bucket桶中下载私有读写文件的签名问题，一般的文件下载链接格式如下：https://桶名-APP_ID.cos.所属区.myqcloud.com/test.txt?sign=XXXX前面路径好说，关键是生成签名问题，下面便是用python生成签名的代码：#!/us...

原创 CSDN 昵称和ID修改指引

新注册的CSDN用户或者是对该平台使用不是很熟悉,发出的博文，发现用户名或昵称直接使用的id编号，此时使用如下方法即可让用户名的位置显示昵称。修改两个地方：1.修改个人中心-我的博客-博客设置更改博客标题2.账号设置-隐私设置全部关掉（默认是全部打开的）完成以上两步再看就ok了，希望能帮到大家~...

原创 学习笔记之算法--插入排序

/** * 插入排序：将数组第一个数作为有序数组，后面的数据依次往有序数据中插入 * 稳定排序 */public static void insertSort(int[] arr){ System.out.println("插入排序前：" + Arrays.toString(arr)); for(int i=1;i < arr.length;i++){ ...

原创 Neo4j与spring boot连接报错问题

Spring boot连接Neo4j时报错如下：2019-10-16 17:43:01.448 INFO 704 --- [nio-8080-exec-4] Driver : Direct driver instance 842855614 created for server address localhost:7687...

原创 设置复杂密码的简单技巧

最近几年互联网发展的越来越好，人们的生活越来越方便，我们可以使用众多的APP，改善我们的生活质量，一些烦恼随之产生，比如众多的APP，我们的用户名和密码为了便于记忆，很多人设为一样的，这个风险是很高的。 在我们中国有个好处就是存在着像微信、QQ这样的超级APP，很多的APP目前都支持这两个账号作为登录入口，确实方便了很多，也免除记忆众多用户密码的烦恼。 不过在...

原创 学习笔记之算法--选择排序

/** * 原理：每次循环选出余下需要排序数据中最小的与指定位置进行交换 * @param arr */public static void selectSort(int[] arr){ System.out.println("选择排序前：" + Arrays.toString(arr)); for(int i = 0;i < arr.length-1;i++){...

原创 学习笔记之算法--冒泡排序

近期打算把简单的排序算法全部实现一遍，今天先写个冒泡排序作为打卡开始：关注点：两层循环，循环次数length-1，优化标识flag减少循环次数public static void bubbleSort(int[] arr){ System.out.println("冒泡排序前：" + Arrays.toString(arr)); for(int i=0;i < ar...

原创 关于jenkins构建过程项目之间出现联动的问题

近期在使用jenkins构建工程一键打包上传，期间遇到一个奇怪的问题，如下：每次构建xx-common项目总是触发另外几个项目的重新构建页面现象如图：一开始以为是项目中的依赖导致了循环构建发生，后来试了几次清除多余依赖，依然没解决问题，进入到被重新构建的项目控制台发现是trigger配置问题最终解决方案：去除上述位置的勾选即可，这个地方的勾选在创建项目时是默认选上...

原创 Java与Python给我的感受

最近这段时间在学习Python，目前来看给我的感受如下（主要是跟java语言对比）1.格式：java格式严谨，方法和类都有{}框定，可读性比较好Python靠缩进控制格式及逻辑，编写代码时容易忘记缩进导致逻辑出错2.变量类型java明确定义变量类型Python解释运行期间动态确定变量类型3.编码提示在idea中编写代码：Python调用第三方库属性或方法经常无提示信息，需要...

原创 Python函数传参只传值，不传递引用

Python函数只存在值传递，不存在引用传递def test(dw): dw['a'], dw['b'] = dw['b'], dw['a'] # dw = None print("test函数中：%s" % dw)dw = {'a': 1, 'b': 2}test(dw)print("主函数中：%s" % dw)执行上面代码输出：test函数中：{...

原创 Python学习之绕圈圈题

最近在学习Python，遇到了如下题目：给定4应该输出如下形式的数据01 12 11 1002 13 16 0903 14 15 0804 05 06 07给定5,应该输出如下形式的数据01 16 15 14 1302 17 24 23 1203 18 25 22 1104 19 20 21 1005 06 07...

原创 JVM 垃圾回收简易图示（一图看懂GC）

原创 Boolean 成员变量命名不要加 is 前缀

Boolean 成员变量定义，命名不要加 is 前缀。不然 getter 方法会少了 is，部分解析会引起序列化问题。如下图所示，特别是数据库映射自动生成代码时要注意...

原创 java通过URL下载文件

import java.io.File; import java.net.URL; import org.apache.commons.io.FileUtils; public class DownloadURLFile { /** * @param args */ public static void main(St...

原创 关于openCV (javaCV)的pom导入包

<!-- javacv start--><dependency> <groupId>org.bytedeco</groupId> <artifactId>javacv-platform</artifactId> <version>1.4</version></depe...

原创 关于基本类型的包装类的比较

有时候，我们在代码编写的过程中，比较喜欢用基本类型的包装类，比如Integer类型Integer one = 5;Integer two =5;System.out.println(one == two);结果为：true写代码时，我们习惯性的觉得基本类型在比较大小的时候会自动拆箱操作，这个自动拆箱后进行比较仅仅限于比较的一方为基本类型形式，若两方均为包装形式（比如下面）...

原创 根据条形码编号查询商品名称免费接口

最近在做的一个功能设计到条形码查询商品的接口，百度一大圈，终于找到了一个靠谱的，链接地址如下源自阿里云中的一帖子的答复：https://yq.aliyun.com/ask/36828/接口集合地址：https://github.com/MZCretin/RollToolsApi二维码查询商品名接口：https://www.mxnzp.com/api/barcode/good...

转载 微信退款中关于加载证书

这个问题困扰了好久，网上众说纷纭，成功帮我解决问题的见如下两篇博文：https://www.jianshu.com/p/7ef0f25bacde代码地址：https://github.com/EzHomeSixGod/WxPayDemo用来解决加载证书中报错问题：DerInputStream.getLength(): lengthTag=111, too big.https://b...

原创 JAVA8中的stream排序

Student user1 = new Student(21,"张三");Student user2 = new Student(25,"李四");Student user3 = new Student(22,"王五");Student user4 = new Student(19,"赵柳");List&lt;Student&gt; list = new ArrayList&lt;Stu...

原创 MongoDB查询仅仅返回特定字段

不多赘述，看代码QueryBuilder queryBuilder = new QueryBuilder();queryBuilder.put("personId").is(personId);//这里字段为personIdqueryBuilder.put("date").greaterThanEquals(startTime)//这里为字段的一个范围值 .les...

原创 MongoDB 数据迁移 -- 迁移工具Kettle

最近项目需要迁移到新的机器上，涉及到数据库数据迁移问题，关系型数据库迁移比较简单，这里就不赘述。本片主要讲MongoDB 的迁移方式，及注意事项：（若有更好的迁移方式，请留言哦~~）状况：只能通过Robot 3T客户端进行访问MongoDB数据库，却无法拿到shell界面登录服务器的权限迁移工具：kattle （V7.1）使用kattle的如下功能进行数据迁移：文件--》新建—...

原创 Swagger2 生成离线文档HTML或PDF

      由于项目需要，这几天一直在研究如何用swagger生成离线文档，网上也有许多如何解决该问题的方案，很多解决方案都只针对某一个类进行生成文档，这个工作量还不如手动去写文档，直到我看了如下的代码....主要参考如下代码：https://gitee.com/qixiaobo/swagger-offline-doc/tree/master按照上述代码引入相关包后，本地环境仍然会遇到...

原创 线程池的原理

传统服务端应对客户端请求1.一个任务一个线程，将会创建数以万计的线程2.频繁地进行线程上下文的切换，增加系统的负载3.线程的创建和消亡都是要耗费系统资源的，浪费系统资源 线程池技术能够很好的解决这个问题1.预先创建N个线程2.不能由用户直接对线程的创建进行控制3.重复使用固定或较为固定数目的线程来完成任务的执行好处：1.消除了频繁创建和消亡线程的系统...

原创 MongoDB的聚合查询

最近刚开始使用MongoDB，用的最多的要数查询语句了，有如下两种方式：1.db.getCollection(“集合名”).find({}) 其中“{}”可以省略2.db.集合名.find({})带有查询条件的可在上述{}中写，如下：单个条件db.集合名.find({“字段1”：字段值})；多个条件db.集合名.find({"字段1"：字段值，"字段2"：字段值，"字段...

原创 10阶层楼梯，每次只能走一阶或两阶，问有多少种走法？

问题：10阶层楼梯，每次只能走一阶或两阶，问有多少种走法？拿到这个题目的第一想法是暴力穷举法，多个For循环，每一步都有两种走法，这种方法的时间复杂度为O(2^n)，显然不合理。然后，思考看是否有更合理的解法。这个时候我们思考的方向应该是：动态规划（Dynamic Programming）。何为动态规划，即把多阶段过程转化为一系列单阶段问题，利用各阶段之间的关系，逐个求解。就拿这个题目来说，假设只...

原创 判断一个数是否是2的乘方

思考该题，首先想到的是如下过程：1.使用一个for循环不断的对初始值1进行乘以22.每次乘2后的数与该输入的N进行比较，看是否相等3.直到得到的数与N相等，或者是数大于N，循环结束java写法如下：private static boolean isPowerOf2(int n) { int k = 1; boolean flag = false; while(k &lt;= n) { i...

原创 发版步骤总结

发版步骤0.将JIRA上的挂有本次版本号的系统需求节点走到待发布状态（若无需求需要及时联系需求分析师建需求，以免影响发布）1.核对配置文件（主要为sysconfig.propertise）2.收集整理脚本，注意命名规范，使用上线检测地址进行检测3.整理上线文档，主要包括：(1)新特性说明书(2)数据库说明书(3)系统升级方案(4)数据库设计说明书(5)系统接口设计说明书(6)测...