- 博客(38)
- 收藏
- 关注
RSS订阅原创 SpringCloud+nacos+UserDetails（权限）+过滤器（gateway自定义+全局）
SpringCloud+nacos发现服务+权限+过滤器
2022-03-15 16:09:02
582
原创 NACOS 2.0.3 集群客户端连接出现503 500异常处理 踩坑记录
背景LINUX 服务器：3台NACOS 版本： 2.0.3 docker数据库：无springboot： 2.1.16.RELEASEcom.alibaba.cloud：2.1.3.RELEASE控制台可以正常登陆访问进行CRUD配置文件可以正常读取异常2021-09-02 11:16:19.804 [main] ERROR com.alibaba.nacos.client.naming:548- request: /nacos/v1/ns/instance/list failed,
2021-09-06 14:48:35
6793
1
转载 关于springboot:Spring-ContentNegotiation内容协商之使用篇一
原文转载https://lequ7.com/guan-yu-springbootspringcontentnegotiation-nei-rong-xie-shang-zhi-shi-yong-pian-yi.html背景随着业务零碎的成熟，如果你的我的项目正好是公司的中台策略之一，然而上游零碎的接管形式不对立，这一种状况在一些老的公司零碎架构总经常出现，如果上游零碎不不便兼容，那么就须要中台零碎对外提供各种不同格局返回报文内容协商简略说就是服务提供方依据客户端所反对的格局来返回对应的报文，在
2021-09-03 23:27:16
612
原创 WIN10家庭版自动锁屏解决方案
WIN10家庭版自动锁屏解决方案情景： 在家中看视频或工作的时候突然离开，电脑处于待机状态，1分钟就自动锁屏及黑屏 带来很多烦恼思路控制面板 - 所有控制面板 - 电源选项 - 编辑计划设置 已经设置为从不关闭显示器及睡眠驱动，系统是否出现问题，进行版本升级检查是否第三方软件带来，运行 - msconfig ，查开随机启动及哪些软件有自动锁屏最后自己找文章及在微软社区了解有两种方法方法一 网搜个性化 - 锁屏界面 - 屏幕保护程序设置方法二 微软推荐方法请问您的计算机是属于您的
2021-07-20 09:14:36
1929
原创 120W数据再两文件夹内对比
情景：两个ES索引在导入时候出现数据偏差，需要找差集。思路由于索引是共用，并且是动态，无法对比数据。索引字段超多，先分页将数据保留本地再分析。只保留ID，格式为：List 并且以升序排列，不排序也可以。由于LIST一次运行超过100W数据会超慢，顾分解为5W一个LIST去做对比，结果保留到RESULT LIST内。最后输出。ES --> search data by id order by asc --> save local data 5w/file --> file c
2020-11-20 10:40:19
100
原创 在补影响主线程侵入小的一个方法记录
想法，就是先把需要做的动作全部放入抽象类并继承线程在用的时候创建并运行对原线程侵入少，不影响原线程public abstract class Test00 extends Thread{ private String name; private Integer id; public Test00(Integer id, String name) { this.id=id; this.name=name; }
2020-05-15 10:46:24
200
原创 记JPA的一些查询方法
DAO按条件修改更新操作public interface ApproveDao extends JpaRepository<Approve, Long>, JpaSpecificationExecutor<Approve>, Serializable{ @Transactional @Modifying(clearAutomatically=true) ...
2020-05-08 10:07:20
191
原创 linux vsftpd 架设及500无法登陆
安装及基本使用参考https://blog.csdn.net/LMXQH/article/details/80274038博主： LMXQH解决500无法登陆问题500 OOPS: cannot change directory:/home/*******sestatus -b |grep ftpsetsebool -P ftp_home_dir 1或关闭SELinux的方法：修...
2020-02-24 23:06:41
818
转载 Hadoop性能调优、YARN的内存和CPU配置
hadoop性能调优https://www.cnblogs.com/wanxqing/p/10444038.htmlhttps://blog.csdn.net/tototuzuoquan/article/details/80671128https://blog.csdn.net/dehu_zhou/article/details/52808752https://blog.csdn.net/...
2019-12-13 09:00:06
239
原创 按照名字注入类
按照名字注入类@Componentpublic class SpringUtil implements ApplicationContextAware { private static ApplicationContext applicationContext; @Override public void setApplicationContext(Applicat...
2019-12-03 15:53:47
311
转载 Dockerfile文件详解
https://www.cnblogs.com/panwenbin-logs/p/8007348.html什么是dockerfile?Dockerfile是一个包含用于组合映像的命令的文本文档。可以使用在命令行中调用任何命令。 Docker通过读取Dockerfile中的指令自动生成映像。docker build命令用于从Dockerfile构建映像。可以在docker build命令中使用...
2019-11-18 10:27:44
165
原创 oracle 查询表字段及表数据
资料参考：https://www.cnblogs.com/nayitian/archive/2013/08/02/3231784.htmlhttps://blog.csdn.net/yangzjchn/article/details/81019449表内字段内容select case when col.column_name = utc.column_name then '1' else...
2019-11-01 17:52:14
729
原创 java 2个数组分别取 并集 交集 差集 无重复并集
直接上代码List list1 =new ArrayList(); list1.add("1111"); list1.add("2222"); list1.add("3333");List list2 =new ArrayList(); list2.add("3333"); list2.add("4444"); list2.add("5555")...
2019-10-22 14:30:33
434
原创 SQL SERVER查询表名下的所有字段信息
SQL SERVER查询表名下的所有字段信息SELECT表名=case when a.colorder=1 then d.name else '' end,表说明=case when a.colorder=1 then isnull(f.value,'') else '' end,字段序号=a.colorder,字段名=a.name...
2019-10-15 17:02:47
908
原创 JAVA 机密解密工具类 单例模式
直接上代码import com.sun.org.apache.xerces.internal.impl.dv.util.Base64;import javax.crypto.Cipher;import javax.crypto.KeyGenerator;import javax.crypto.Mac;import javax.crypto.SecretKey;import javax...
2019-09-24 17:19:05
282
原创 springboot shiro 自定义配置swagger地址 配合权限
参考了三篇文章SpringBoot2.0配置swagger2并统一加入认证参数Authorizehttps://blog.csdn.net/weixin_30409927/article/details/99826685SpringMVC + swagger修改swagger-ui.html的访问路径https://blog.csdn.net/u014207158/article/deta...
2019-09-22 14:14:41
1091
1
原创 flume kafka2hdfs demo
做了个简单消费kafka数据到HDFS配置文件名为：test0.conf在flume conf目录启动…/bin/flume-ng agent -n a1 -c ./conf -f ./test0.conf -Dflume.root.logger=INFO,consolea1.sources = r1 a1.sinks = k1 a1.channels = c1#so...
2019-08-29 11:47:41
243
原创 springboot shiro无权限返回自定义信息 使用@ControllerAdvice统一处理无权限异常
以下是将所有由无权限异常的信息拦截并且转向定义好的Controller@ControllerAdvicepublic class MyException { @ExceptionHandler(value = AuthorizationException.class) public void defaultErrorHandler(HttpServletRequest req, Http...
2019-08-22 16:36:13
3688
3
转载 linux 端口转发:iptables mysql connect
作者：晓得为_链接：https://www.jianshu.com/p/c35e7637e09b端口转发iptables 是一个配置 Linux 内核 防火墙 的命令行工具，是 netfilter 项目的一部分。术语 iptables 也经常代指该内核级防火墙。iptables 用于 ipv4，ip6tables 用于 ipv6。需要root账户执行以下操作应用场景外网通过端口转发...
2019-08-13 09:56:44
601
原创 hadoop hdfs 高可用集群JAVA API CLIENT
参考文章https://www.cnblogs.com/junneyang/p/5869413.htmlhttps://blog.csdn.net/wt346326775/article/details/72597694将hadoop配置文件hdfs-site.xml的内容配到API里import java.io.FileInputStream;import java.io.InputS...
2019-08-08 17:16:24
449
转载 springboot logback配置详解，可以直接使用更改保存日志路径及包名，SQL日志和DEBUG日志分别输出到指定文件
原文地址：https://www.cnblogs.com/zhangjianbing/p/8992897.html作者：永远的70KG添加依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-loggi...
2019-07-15 16:54:53
1111
原创 springboot shiro注解无法使用及权限异常500跳转到401
原文参考内容博主：怪咖村长地址：https://blog.csdn.net/zhuzhaofeng0703/article/details/86574022在修改项目的时候发现注解无法使用，请添加以下内容到ShiroConfig @Bean @ConditionalOnMissingBean public DefaultAdvisorAutoProxyCreator defaultAd...
2019-07-14 23:51:29
1277
原创 java 批量插入hive中转在HDFS
Java API实现向Hive批量导入数据原文地址：https://blog.csdn.net/kangkangwanwan/article/details/78915134博主：盛装吾步稍微修改了下，这文章是通过将数据存盘后，加载到HIVE.模拟数据放到HDFS然后加载到HIVE，请大家记得添加HIVE JDBC依赖否则会报错。加载前的数据表最好用外部表，否则会drop表的时候元数据会...
2019-06-28 19:35:42
2226
转载 hive server2 webui java connect hive 配置及问题报错解决
参考文章hiveserver2的配置和启动博主：leanaoohttps://blog.csdn.net/leanaoo/article/details/83351240测试环境是单机版hive hive-site.xml<configuration><property><name>javax.jdo.option.ConnectionURL&l...
2019-06-28 12:13:41
429
1
原创 JAVA 本地测试正常，服务器增加了8或14个小时，date,format,timezone
今天做开发的时候遇到个日期问题在本地测试是正常的，在linux服务器运行日期转换的时候出现增加了14个小时搞了一个下午，总结了些经验分享先检查服务器的时区和时间，因为JAVA会默认系统时间检查后还是无法解决，最后是因为代码问题。个人整理了四种方式，供大家参考 SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm...
2019-06-26 23:01:15
1250
1
原创 前端传数据到后台分别JSON和STRING接收 AJAX SPRINGBOOT ssm
前端时间复习了SSM，前后端传数据接收，做了个例子，分享下POM <dependencies> <!-- SpringBoot for test --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>sprin...
2019-06-05 11:25:21
955
转载 再修改的HBASE统计行，免上传到打包直接运行
原文出自：https://blog.csdn.net/a2615381/article/details/52174671a2615381添加计时和注解，只要更改统计和列族名，要把hadoop解压到本地才可以运行import java.io.IOException;import java.text.DecimalFormat;import java.text.SimpleDateForm...
2019-06-05 11:01:38
136
原创 排序方法collections.sort, 简单排序
两种排序方法 private static void ListSort(LinkedList<McssLog> list) { Collections.sort(list,new Comparator<McssLog>() { @Override public int compare(McssLog log1, McssLog log2) { Si...
2019-05-23 16:02:00
202
转载 对List中每个对象元素按时间顺序排序
需求： 需要对List中的每个User按照birthday顺序排序，时间由小到大排列。出处：hunter_Cecil https://www.cnblogs.com/hunterCecil/p/5556174.htmlimport java.text.SimpleDateFormat;import java.util.*;public class ListSort { publi...
2019-05-19 16:44:42
1036
1
原创 apache hadoop单机版standalone
hadoop-env.shexport JAVA_HOME=/usr/software/jdk1.8.0_51export HADOOP_CONF_DIR=/usr/software/hadoop-2.7.1/etc/hadoop分别修改系统JDK和HADOOP路径core-site.xml<property><!--指定HDFS的主节点--><name>fs.defaultFS</name><value>hdfs://hadoop:9000</value> </property>
2019-05-08 09:42:54
160
原创 logstash和kafka的误会 无法发送数据到KAFKA 无报错 无日志
这几天项目要求用LOGSTASH和kafka配环境发现每次启动LOGSTASH都是正常KAFKA却无法获取到数据，发现LOGSTASH是没有日志而CONSOLE也没任何报错信息奇怪的是刚安装的时候是正常传输数据的， 可过了段时间，重启LOGSTASH就没任何数据发送思路：1，版本问题2，日志查看3，权限问题4，文件问题去LOGSTASH查看版本，的确有兼容问题，按官方修改参阅：h...
2019-05-03 09:05:29
1816
转载 大数据常见错误解决方案（转载）
出处：https://www.cnblogs.com/cstzhou/p/6437270.html低调才是王道1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries!解决方法：ad...
2019-04-26 14:13:38
4811
原创 spark kafka directstream java.io.EOFException: Received -1 when reading from channel, socket has lik
spark directstream 消费kafka数据的时候出现报错java.io.EOFException: Received -1 when reading from channel, socket has likely been closed.val brokers = “hadoop:2181”val kafkaParams = Map[String,String](“metad...
2019-04-24 23:54:23
1697
原创 hadoop mapreduce插件无法安装到ECLIPSE或Eclipse插件jar文件复制到plugins文件夹下，不能自动安装
今日想用ECLIPSE做MAPREDUCE图形操作可是把JAR包插件放到ECLIPSE的PLUGINS文件下，重启ECLIPSE却没反应。找了很久原因是安装ECLIPSE的PLUGINS转移了方法1需要将插件放到WIN7 64位版本C:/Users/用户名/.p2/pool/plugins里才可以如果这个方法不行的话，请使用方法2方法2把platform.xml删了，可到Ecl...
2019-04-19 23:06:32
783
转载 HBase单机模式安装 ZK，HADOOP，HBASE全单机配置安装
前言：如果只是简单HBASE单机模式，只需要安装HBASE后修改安装目录下的conf/hbase-site.xml hbase.rootdir file:///home/software/hbase/tmp修改完直接进入BIN目录，启动就好sh start-hbase.sh输入JPS后看到HMaster就证明启动成功。如果需要配置全单机模式的话，请按照如下配置就好，亲测OK可以正...
2019-04-19 22:08:48
2632
转载 新建springboot项目启动出错 Failed to configure a DataSource: 'url' attribute is not specified and no embedde
错误信息入下：复制代码2018-06-23 01:48:05.275 INFO 7104 — [ main] o.apache.catalina.core.StandardService : Stopping service [Tomcat]2018-06-23 01:48:05.355 INFO 7104 — [ main] ConditionEvaluationReportLogging...
2019-04-19 09:02:07
2079
原创 Spark DF查询语句报错 extraneous input ''`t`'' expecting {<EOF>, ',', 'FROM', 'WHERE', 'GROUP', '
在SQLyog测试语句测试是正常的SELECT username, SUBSTR(DATE,1,13) AS t ,COUNT(username) FROM abc GROUP BY username,t在spark里测试val df = sqc.createDataFrame(readyData).toDF(“username”,“date”,“ip”,“inbody”,“outbody...
2019-04-12 09:06:29
8231
1
转载 大数据测试之ETL测试工具和面试常见的问题及答案
转自：http://www.51testing.com/html/87/n-3722487.html概述 商业信息和数据对于任何一个企业而言都是至关重要的。现在很多公司都投入了大量的人力、资金和时间对这些信息、数据进行分析和整理。 数据的分析和整理已经获得了巨大的潜在市场，因此为了使得这个过程更为简单，越来越多的软件供应商引入了ETL测试工具。 目前，有需要开源的ETL工具，供应商允...
2019-03-19 11:05:37
2442
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人