- 博客(54)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 PKCS8私钥转PKCS1私钥
PKCS8私钥转PKCS1私钥简介jar坐标代码简介企业微信获取到的加密内容为企业微信产生。RSA使用PKCS1，而不是PKCS8，但是填充的公钥要求是PKCS8，这是企业微信巨坑的地方。找到此问题后，就需要单独转换私钥key了。废话不多说，以下是代码，仅做记录，供同行人少走弯路。jar坐标 compile group: 'org.bouncycastle', name: 'bcpkix-jdk15on', version: '1.69' compile group: 'org.bouncycas
2021-07-30 09:44:38
776
原创 router-link 列表多次加载
router-link 列表多次刷新vue router-link 列表多次刷新他人经验最终解决vue router-link 列表多次刷新一个列表中使用到了router-link ，每一行都有一个router-link，跳转到其他页面（每一个页面的路径是相同的，只是参数不一样），第一次点击能进入钩子函数（created、mounted），后续点击其他行不能进入这些钩子函数。他人经验搜索其他经验说是需要打开点击事件，具体实现方式如下：<router-link :to="{path:'/goo
2021-06-18 19:51:03
451
1
原创 IE11遍历js Map
谷歌等浏览器可以使用多种方式，比如以下： //方式1： ideaMap.forEach((item,k)->{ console.log(k);//map k值 console.log(v);//map 值 }); //方式2： for (let key of ideaMap.keys()) { } 。。。。 IE11以上多种方式都不适用，IE11采用方式为： ideaMap.forEach(function(item,k,
2021-03-31 15:21:45
678
原创 idea导入ssh web项目(非maven、gradle项目）
idea导入ssh web项目(非maven、gradle项目） 简介idea操作1、导入工程2、Project Structure3、配置tomcat简介网络上已经有很多idea导入web项目的资料，现在市场上已经很少使用ssh了，多数是微服务，前后端分离等技术，在这里再发布更多的是供自己记录使用（毕竟自己实践过，后期不排除还会启动此项目，来参考某些功能或演示）。同时记录跟平时导入其他项目的区别。idea操作1、导入工程选中工程后，一直下一步下一步，一直点击到finish过程中差异点（这些都
2021-03-01 11:39:15
1432
原创 Java8 还使用joda计算相差多少天、多少小时、多少分钟？
Java8 还使用joda计算相差多少天、多少小时？joda应用背景joda Interval代码测试环境出现的异常其他问题使用java8 ZonedDateTime替换joda Intervaljava8 解决方法代码joda应用背景最近兼职开发某一个网站中，需要计算出数据库创建时间跟当前系统时间相差多少天、多少小时的业务场景，数据库为mysql，字段类型为timestamp ，ORM使用m...
2020-05-07 16:51:35
805
原创 java.lang.UnsupportedOperationException: Schema for type Any is not supported
java.lang.UnsupportedOperationException: Schema for type Any is not supported at org.apache.spark.sql.catalyst.ScalaReflection$$anonfun$schemaFor$1.apply(ScalaReflection.scala:780) at org.apache.spa...
2019-08-14 11:01:14
3838
原创 datax debug远程调试
datax是一个高效的，支持多种数据源的ETL离线工具，阿里巴巴通过他每天导入3PB的数据，但是由于功能比较属于大众化，有一些不太满足各自的业务场景（如我们的需求在导入的过程中，需要kill掉回滚等），这时候就需要自己更改阿里的源码，需要下载源码，修改源码，调试，才便于定位问题。本文主要说idea怎么开启datax远程调试。供各位同行分析源码。datax详细介绍及源码下载开发新的插件数据源d...
2019-06-06 16:03:06
3011
4
原创 Futures timed out after [10 seconds]. This timeout is controlled by spark.executor.heartbeatInterva
问题描述：提交spark-submit时，在ssh终端提交没有问题，但是在代码中ssh登陆后，再提交命令就出现以下问题了，开始怀疑是用户问题，但是如果是用户问题，那么我在ssh终端同一个用户执行又执行正确，故排除了此情况。第二感觉是环境变量，我在.sh添加环境后，还是报错。sh文件#!/bin/bash#调用java 程序需要添加上，否则直接跳出shell#export JAVA_HOME...
2019-05-31 13:52:07
6662
原创 Exception in thread "main" java.sql.SQLException: No suitable driver
spark写入结果集至MySQL时报以下错误信息，记录下，供各位同行快速解决问题spark dataframe结果数据保存至MySQL时报以下错误信息，而读取时没有问题错误1：驱动找不到Exception in thread "main" java.sql.SQLException: No suitable driver at java.sql.DriverManager.getDrive...
2019-05-30 19:26:59
12121
1
原创 Exception in thread "main" org.apache.spark.sql.AnalysisException: Resolved attribute(s)
因业务特殊，对同一个df进行两次join会报以下错：Exception in thread "main" org.apache.spark.sql.AnalysisException: Resolved attribute(s) goods_name#1139 missing from order_id#498,goods_name#476 in operator !TypedFilter &l...
2019-05-29 18:17:07
7564
原创 Exception in thread "main" org.apache.spark.sql.AnalysisException: "to_account_date" is not a numeri
以下spark dataframe 代码df.groupBy("name").min("date")```报错信息如下：Exception in thread "main" org.apache.spark.sql.AnalysisException: "to_account_date" is not a numeric column. Aggregation function can ...
2019-05-29 18:10:28
3978
2
原创 spark dataframe所有列
spark dataframe获取所有列名：dataFrame.schema.fields.map(f =>f.name).toList
2019-05-27 21:06:59
3955
原创 KeeperErrorCode = NoNode for /hbase/meta-region-server
连接hbase报以下错：Caused by: java.io.IOException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/meta-region-server at org.apache.hadoop.hbase.client.ConnectionI...
2019-05-23 11:48:55
6198
原创 oozie spark action
TaskSetFailed$1.apply(DAGScheduler.scala:831) at scala.Option.foreach(Option.scala:257) at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:831) at org.apache.spark.sc...
2019-05-22 19:49:53
310
原创 node[setting.nameCol] is undefined
ztree报node[setting.nameCol] is undefined :解决方案：配置的属性中必须包含id、name、parentId(默认为pId)
2019-05-22 19:48:47
212
原创 oozie action shell 实战（完整配置文件）
有一个这样的需求，apache oozie调用shell命令(x.sh的脚本文件)，x.sh的逻辑为先执行第一个jar包命令，后执行一个spark任务，第一个jar任务命令执行成功后返回的结果作为参数传递给第二个命令，再执行第二个spark-submit命令。不要问为什么不用两个action（一个为shellaction，另外一个为spark action）的话，啥叫需求，反正你懂。调试过程中，发...
2019-05-17 20:26:53
1655
原创 spark Dataframe值转换，更新
有一个这样的需求，原来Dataframe存储如下需要把gender中的值转换为自己想要的值，如1-》男2-》女3-》未知“”->空值…关键代码如下：//值映射函数val valueMappingFun = (columnValue: String) => { val xValue = if (CheckUtil.isEmpty(columnValue)) "...
2019-04-24 15:13:08
2592
2
原创 java.lang.NoClassDefFoundError: org/apache/tools/ant/BuildException
idea maven打包报以下错[WARNING] Error injecting: org.apache.maven.plugin.antrun.AntRunMojojava.lang.NoClassDefFoundError: org/apache/tools/ant/BuildException at java.lang.Class.getDeclaredConstructors...
2019-04-18 10:12:50
6410
1
原创 org.apache.spark.SparkException: Unable to create database default as failed to create its directory
idea + spark在win10系统本地调试中，出现以下错误：Exception in thread "main" org.apache.spark.SparkException: Unable to create database default as failed to create its directory file:/D:/My%2520Works/dev/pro/git/dhe/...
2019-03-28 13:21:10
2053
原创 org.eclipse.aether.internal.impl.DefaultArtifactResolver.setLoggerFactory
idea2018.1.5版本，使用maven3.6 构建工程时，右侧Dependencies全是红叉，删除所有文件，重新导入也一样。此问题折腾我两天，最后通过查看idea执行日志，报如下错：org.eclipse.aether.internal.impl.DefaultArtifactResolver.setLoggerFactory(Lorg/eclipse/aether/spi/log/L...
2019-03-19 15:34:55
1786
3
原创 datax hbase BufferedMutator错误
通过datax导数据至hbase时，报错：com.alibaba.datax.common.exception.DataXException: Code:[Hbasewriter-12], Description:[获取hbase BufferedMutator 时出错.]. - java.lang.RuntimeException: java.lang.NullPointerException...
2019-02-22 11:15:54
2218
原创 Caused by: java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support
oozie 提交spark任务时，报以下错，第一感觉一头懵，仔细查找原来oozie共享库是少了jar包2019-01-17 10:26:47,744 [main] INFO org.apache.spark.util.SignalUtils - Registered signal handler for TERM2019-01-17 10:26:47,746 [main] INFO or...
2019-01-17 10:55:14
2895
原创 Apache Phoenix自定义函数（UDF）实践
Apache Phoenix自定义函数，文章包含代码、配置、以及自己遇到的一些坑分享三大部分。环境：JDK1.8、CDH5.14.4。开发语言：java官网链接：http://phoenix.apache.org/udf.html自定义函数功能描述：根据一个日期，返回所属季度一. 代码1. 创建maven J2SE工程，配置pom文件 &amp;amp;lt;properties&amp;amp;gt; ...
2019-01-07 14:07:43
3142
3
原创 获取Saiku3.8.8 license key
近段时间公司做一个大数据、多维度的在线分析统计，我们采用了Pentaho多维分析（Mondrian）技术，运用到里面的MDX语句，由于资料、时间有限，之前每次运行时都是在java后台运行，语法或者什么报错了，调试起MAX语句来，那个痛苦啊，不言而喻。这个时候想想，我们的关系型数据库GUI界面，语法报错等问题，很直观，是一件多么幸福的事情啊。功夫不负有心人，经过一番搜索，终于知道有一个saiku工具...
2019-01-05 11:38:34
1651
原创 Dubbo2.6.2 Admin(Web)安装部署
之前dubbo ui版本太低，部署麻烦，应用还老是提示版本不一致错误。今天终于抽空升级了。一、环境准备 1、JDK https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 版本：1.8.0_121 2、maven ...
2019-01-05 11:33:07
852
原创 [WARNING] warning: Class com.google.protobuf.Descriptors not found - continuing with a stub.
maven打包时，警告最后报错，日志如下：[WARNING] warning: Class com.google.protobuf.GeneratedMessage not found - continuing with a stub.[WARNING] warning: Class com.google.protobuf.GeneratedMessage not found - conti...
2018-12-25 14:02:05
2252
原创 Eclipse启动时总是提示“subversive connector discovery”解决方案
由于之前在help-》About Eclipse-》Installation Details -》*SVN* 卸载了老版本的svn，然后集成了目前svn1.6中文版的，每次启动的时候，都会提示“subversive connector discovery”。如图：，通过定位发现在window-》Preferences-》 team下有两个svn，找到问题就好办了，说明没有卸载干净。于是依葫芦画
2015-09-12 10:04:56
6666
原创 org.apache.ibatis.executor.ExecutorException: Cannot get Configuration as configuration factory was
使用mybatis、springmvc、memcache（之前使用ehcache不会报错），报如下错误：ERROR 2014-10-27 17:02:02 com.dbt.vintegration.vgnrebatereceipts.vpsrebatereceiptsprofitinfo.action.VpsRebateReceiptsProfitInfoAction In the metho...
2014-10-31 16:09:38
6242
原创 解决方案：svn: Can't open file 'F:\临时存放\myeclipse\DBTVinterface\src\com\dbt\vintegration\vgnrebatereceipt
更改了几个文件，准备提交，部署至正式环境上，谁知不能提交
2014-08-26 10:37:05
1382
1
原创 fastjson报java.lang.ArrayIndexOutOfBoundsException: 160
如题，详情错误如下：java.lang.ArrayIndexOutOfBoundsException: 160at com.alibaba.fastjson.serializer.SerializeWriter.writeFieldValueStringWithDoubleQuote(SerializeWriter.java:1273)at com.alibaba.fastjson.s
2014-08-15 11:54:29
6372
3
原创 Incorrect string value: '\xF0\x9F\x98\x92' for column 'NIKENAME' at row 1;
微信关注时，报Incorrect string value: '\xF0\x9F\x98\x92' for column 'NIKENAME' at row 1;
2014-08-11 19:43:56
9781
6
原创 java list任何属性排序代码
/*** 排序集合* @param list 要排序的list* @param propertyName 属性名* @param isAsc 是否正向排序* @return*/@SuppressWarnings("unchecked")public List sortList(List list, String propertyName, boolean isAsc
2014-08-09 04:09:03
581
原创 mysql字符串排序
MySQL字符串相信大家都不陌生，在MySQL字符串排序时经常会遇到一些问题，比如下面的这个：今天解决了一个关于MySQL字符串排序的很奇怪的问题,在数据里面定义的是varchar类型,实际存放的是Int类型的数据,按一下查询语句进行排序:将字段*1或者+0可以将MySQL字符串字段按数值排序如:select * from table where 1 order by id*1
2014-04-09 12:48:50
1197
原创 java.lang.OutOfMemoryError: Java heap space
在做Excel数据上传时，由于解析成功后，要预览excel中所有的数据，在jsp中要显示出来，于是各种问题出来了，内存溢出是最主要的问题，还有tomcat内存溢出、数据库操作也是一个很重要的问题，当数据量超过900条时，报内存溢出（连接数据库内存溢出、tomcat内存溢出、eclipse内存溢出），不过这也很容易想到；我做Excel导入时时，思路如下（使用poi包）： 1、先上传Ex
2014-03-27 16:26:13
1664
原创 spring mvc 中@ResponseBody返回值乱码问题（最终版）
在spring 3.2.2中spring mvc 使用@ResponseBody返回数据时，中文显示乱码，在网络上答案很多，尝试了很多方法，都没有解决这个问题。最后在国外的一个网站看见配置如下，最终解决该问题： class="org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerA
2014-02-20 14:38:32
968
转载 weblogic启动时，报might be incorrect or another process is using port 7001: java.net.SocketException: Add
<The server is unable to create a server socket for listening on channel "Default[3]". The address fe80:0:0:0:55a9:21f9:4b3d:fbde might be incorrect or another process is using port 7001: java.net.Soc
2014-01-21 14:14:23
7342
原创 windows 7/8报Oracle 10g ORA-12154: TNS: could not resolve the connect identifier specifie
解决方法，环境变量配置问题步骤：1、查看环境变量中是否有配置TNS_ADMIN属性，即TNS_ADMIN=%ORACLE_HOME%/NETWORK/ADMIN/2、删除本地客户端的环境变量配置信息：D:\oracle\product\10.2.0\client_1;C:\oracle\ora90\bin;其他：pssql登陆时，windows7/8弹出空白框，解决
2014-01-10 13:20:17
980
原创 Mysql产生一个随机数时，报Recursive stored functions and triggers are not allowed.
在mysql中写函数时，不会出现这个错误，即编译通过，但是在执行的时候，只要执行如下中的if ，则会报错Recursive stored functions and triggers are not allowed./*生成一个比parNum小的随机数*/DELIMITER $$CREATE FUNCTION `fun_pro_random_num`(parNum INT)
2013-12-30 15:09:41
2513
Flume1.8安装部署
2018-04-23
jsoup-1.8.1.jar
2017-09-05
PowerDesigner15汉化+注册补丁
2013-06-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人