- 博客(49)
- 资源 (1)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 [Flink] Flink On Yarn（yarn-session.sh）启动错误
在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误
2023-06-05 16:56:56
2312
原创 Kafka之Coordinator
在Kafka中，Coordinator的作用是管理Consumer Group的状态和元数据，并执行一些关键的任务，如分配分区（Partition）给消费者、处理并发冲突以及实现Rebalance等。具体而言，Kafka集群中有两种类型的Coordinator：Group Coordinator和Transaction Coordinator。前者负责管理消费者组的生命周期，包括加入组、心跳、分配分区和Rebalance等；
2023-05-21 22:03:54
1084
原创 Kafka acks策略/级别
acks策略是用于指定生产者要接收多少个broker的确认消息（acks）之后才认为该消息发送成功。它可以控制生产者写入数据时的持久性保证级别。
2023-05-20 12:38:28
523
原创 你不知道的Request method ‘GET‘ not supported的另一种原因
当服务配置了http到https的重定向时，请求方式是http的POST，由于配置http到https的转发，进而出现了"Request method ‘GET’ not supported"的假象，当我们使用https进行进行请求时则恢复正常。这个错误很常见也很容易解决。从上图我们可以看到，当向一个POST的接口发起GET请求时，服务端会出现标题的错误，这个也是最常见的一种错误。当我们使用了正常的POST请求后，则返回了期望的结果。nginx http转https配置。
2023-05-13 16:24:50
6621
1
原创 Hive本地开发/学习环境配置
这样就启动了metastore服务，可以通过jps命令查看，是否存在RunJar的进程，存在则说明启动成功，再通过hive客户端连接即可。该服务依赖于metastore服务，所以，在启动hiveserver2之前，一定确保已经启动了metastore服务，这时，可以通过。，启动后，通过jps命令查看服务进程，此时会多出一个RunJar的进程，即为hiverserver2的服务。将配置文件的用户修改上hive不允许访问的用户名，配置文件修改后，重新启动hadoop的dfs服务，需要在hive-site。
2023-05-01 21:54:22
1903
原创 Hadoop[3.3.x]Permission denied: user=dr.who, access=WRITE, inode=“/“:xxx:supergroup:drwxr-xr-x
在core-site.xml文件中添加如上配置，然后重启dfs，再回到页面操作文件就正常了。这个用户没有操作的权限，需要给改用户添加页面相关操作的权限。
2023-04-09 10:52:56
1091
原创 Hadoop[3.3.x]Mkdirs failed to create /var/folders/md/p3lgpzzj7z9dsjkl6by6mcqr0000gn/T/hadoop-unjar20
在程序中添加core-site.xml的配置文件，再次Debug代码时发现，从Configuration类中获取到的。在java程序中未设置core-site.xml文件。程序打包了一个MapReduce的jar程序，通过。，file这样是本地，所以出现了一些意外的错误。为hdfs的了，未配置时获取到的为。在本地执行，出现上述错误。
2023-04-08 18:09:17
121
原创 Hadoop[3.3.x]Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error
然后重启dfs，先执行。
2023-04-02 21:16:22
935
原创 数据库连接池中连接有效性探测的几种方式
但凡涉及到数据库的应用，基本上都离不开数据库连接池工具的使用，但在使用时，对于应用而言，无需关注你获取到的连接是否可用，不像之前，有个著名的MySQL连接8小时问题，现在根本不用关心从连接池拿到的连接是否可用，你拿到了说明就是可用的，这一点是数据库连接池的框架保证的，常见的数据库连接池都有保证，今天主要探讨下SpringBoot默认的数据库连接池HikariCP和Durid连接池在连接的有效性探测的差异。
2023-03-19 18:50:06
3042
原创 深度解析数据库连接The last packet successfully received from the server was *xxx* milliseconds ago
相信很多人都遇到过这个问题，看到提示信息，或许大家都明白这不就是获取到的数据库连接超时了嘛，没错，问题的本质也的确如此，常见的解决办法也很简单，比如说从数据库连接池中获取连接的时候判断下连接状态是否正常，这样就可以避免此类问题的发生，如果都是此问题，那么就不会再有本文来赘述问题和解决方案，下面一起来看看造成该问题的几个原因和解决方法。1.从连接池获取到超时的连接从数据库连接池获取到超时的连接，目前这种情况大多数数据库连接池中间件都有相应的处理策略，一种是定期扫描连接池中的连接，探测到失效连接后剔除功能，
2021-08-16 21:32:21
28533
1
原创 Java垃圾收集器分析和总结
GC分析JVM基本参数配置#初始化堆大小 -Xms-XX:InitialHeapSize=536870912#最大堆大小 -Xmx-XX:MaxHeapSize=536870912#年轻带初始化大小 -Xmn设置后，表示-XX:NewSize和-XX:MaxNewSize相等-XX:NewSize=402653184#年轻代最大大小-XX:MaxNewSize=402653184#Survivor区占年轻带的比例 此处为1/8，因为存在两个Survivor-XX:SurvivorRat
2021-08-14 12:06:41
217
原创 SpringBoot + RabbitMQ自定义ConnectionFacotry后，配置发送确认回调无效
问题现象由于项目需要连接到多个RabbitMQ实例或者一个实例的多个vhost上，需要自定义配置多个ConnectionFactory来区分连接，以达到可以消费或者向多个RabbitMQ实例/多个vhost发送消息。手动配置ConnectionFactory后，发现原来配置的发送确认回调无效了，ConnectionFactory的配置如下，/** * 自定义RabbitMQ不同实例/不同vhost的ConnectionFactory * @param rabbitProperties 配置文件中ra
2021-05-30 15:32:30
3848
2
原创 forward和redirect的使用详解和注意事项
Spring forward和redirect什么是forwardforward表示转发，当请求到来时，可以将请求转发到其他指定的服务，而调用方对此并无感知，如下图：forward示例package com.yuxiao.springbootadmin.client.controller;import org.springframework.stereotype.Controller;import org.springframework.web.bind.annotation.GetMapp
2021-04-14 21:40:31
994
原创 SpringBoot RabbitMQ配置多vhost/多RabbitMQ实例方案
问题背景在实际开发中，应用在使用期间可能既是消息生产者也是消息消费者的场景非常普遍，但可能消费的消息和生产的消息需要发送到不同的RabbitMQ服务示例或者同一个RabbitMQ示例下的不同vhost。在使用SpringBoot时，通过配置默认只能配置一个vhost，所以针对以上场景需要作出各自的配置。解决方案准备事项添加maven依赖：<dependency> <groupId>org.springframework.boot</groupId> &l
2020-12-26 14:34:03
8910
3
原创 Redis实现在线用户列表(按登录时间排序、可查询、踢人)
Redis实现在线用户列表(按登录时间排序、可查询、踢人)前言在日常开发中，我们有时候需要对在线用户进行管理，由于登录信息是可以过期的，那么使用RDBMS存储有点不合时宜，所以NoSQL存储更为合理。网上找了一些资料，但貌似似乎都不太完备，以下为个人理解的Redis实现在线用户列表的方案。方案概述一开始，就需要考虑如何存储、使用什么数据结构。首先string,hash,set可以被排除，因为都无法满足排序问题，现在剩下list和zset，list虽然是有序的，但元素（会话ses...
2020-11-30 21:49:28
3759
原创 Zookeepe-找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain
问题说明该问题是由于下载的包不对，运行了源码包。问题解决我们需要下载bin包，即编译好的包，使用bin包解压后，执行服务启动，即可正常启动服务。其他国内华中科技大学镜像网站http://mirrors.hust.edu.cn/apache/zookeeper/，进入3.6.2的目录发现如下两个文件，下载带有bin关键字的文件。...
2020-11-14 13:57:42
595
原创 Redis删除大量key后，占用的系统内存却没有释放？
我们首先来看看官方关于Redis内存管理的说明。原文如下https://redis.io/topics/memory-optimization#memory-allocationMemory allocationTo store user keys, Redis allocates at most as much memory as the setting enables (however there are small extra allocations possible).maxmemory
2020-11-13 20:34:32
1643
原创 Canal：Could not find first log file name in binary log index file
该问题是由于Canal找不到相关的binlog文件了，此时可以通过日志找到具体解析那个binlog文件的详细信息，例如：{"identity":{"slaveId":-1,"sourceAddress":{"address":"xxx","port":3306}},"postion":{"gtid":"","included":false,"journalName":"mysql-bin.001392","position":457723502,"serverId":194,"timestamp":15
2020-10-30 21:51:19
3317
2
原创 @DubboReference的一次定义，到处使用
在Dubbo-2.6.x时代，我们对Dubbo服务的引入基本全靠xml（xml配置时需要@ImportResource Dubbo的配置文件），该方式引入依赖的Dubbo服务，在使用上不存在问题，但在真正使用的类中注入该服务/实例时，IDEA工具会出现红色的错误提示：Could not autowire.No beans of ‘xxxService’ type found.虽然程序运行没问题，服务也可正常注入，但红色错误提示让很多人受不了，如下图所示：为什么通过<dubbo:refere
2020-10-30 21:30:51
16411
2
原创 SpringBoot Service层使用Validated注解做接口参数校验
背景使用注解参数校验，可避免业务代码中无休止的参数校验判断，在分层的方面来说，参数校验都是在Controller层完成的，那么Spring MVC中，可直接添加Validate相关的参数校验注解，即可快速完成而无需其它额外的配置，但是如果想在Service层的接口中添加参数校验，则需要额外的配置，否则，注解添加后是无效的。实现我们了解到参数校验是基于Validator来做的，首先需要添...
2019-08-03 09:58:19
24526
25
原创 操作日志记录参数动态解析
背景相关接口调用时需要记录日志，并且要保存到操作记录表，如果写在业务代码里面难免出现臃肿，而且侵入性较强，所以想到注解的方式，通过注解可以很清晰地记录日志，而且和真正的业务实现解耦。问题方法参数是动态的，比如操作人，操作原因等，如果直接从参数中获取，无法区分出那个参数是哪个参数，此时需要将方法参数值绑定到注解属性上，可是如何绑定上去呢？实现我们知道在Controller层，通过...
2019-08-03 09:25:39
15240
7
原创 Dubbo使用Properties文件配置（2.7.1）
源码地址：https://github.com/yuxiao97/dubbo-demo在Dubbo版本的2.6.x版本中，配置Dubbo基本上全部使用XML的方式配置，这也是Dubbo最早支持的配置方式，包括暴露服务和引用服务全是XML的方式，后面添加了暴露服务和引用服务可以通过注解的方式来使用，但其注册地址和协议等基本的配置还是没有发生变化，依然通过XML的方式配置，再后来Dubbo支持...
2019-05-11 12:17:27
9535
原创 Mac Chrome搜索后，点击结果列表时总是在当前页打开的问题解决
发现在Chrome 使用Google搜索结果后，打开结果时，总是在当前页面打开，这样想看其它的还要后退，但不能保留已打开的页面，可以看到在搜索后，有个设置的链接，如下图：打开后如下图，勾选后，下拉到最后保存即可。...
2019-05-01 11:48:08
994
原创 扩展Dubbo TelnetHandler或重写默认invoke实现
Dubbo的很多扩展都是通过其SPI机制来完成的，可以在服务启动时，使用自定义的实现来达到某些功能，这里不做SPI的介绍，需要查看可移步官网http://dubbo.apache.org/zh-cn/docs/source_code_guide/dubbo-spi.html进行查看。TelnetHandler（注意：2.7.0和之前版本的包名有所变化）主要用于客户端通过telnet 命令连接至...
2019-04-03 23:28:36
1077
原创 Ubuntu下Navicat乱码问题终极解决
ubuntu下navicat的乱码大致可分为两类，一类是navicat软件自身的乱码，另一类是链接到数据库后的乱码，包括编辑器，表格等的乱码，以下就这两类乱码问题做出解决指导！环境信息：ubuntu:18.04 navicat:12.1.10 navicat自身的乱码解决 需要编辑navicat的启动脚本，start_navicat，如下图，修改export LANG="zh_CN.U...
2018-12-07 20:47:26
5816
14
原创 使用logstash-input-jdbc同步MySQL数据到Elasticsearch
环境信息OS: Windows10Elasticsearch: 6.5.1Logstash: 6.5.1MySQL: 5.7.24依赖文件：mysql-connector-java-xxx.jar在进行以下操作前，假设你对elasticsearch，logstash已经有了基本的了解和使用。约定：下文中使用es或ES代指elasticsearch.环境搭建es下载地址：https...
2018-12-04 22:29:44
1683
原创 Oracle跨库操作实现
跨库操作是指从当前数据库中查询其他数据库的数据。 创建语句如下： create [public] database link linkName connect to username identified by “*” using ‘romoteHost’; 语句解释： public: 为可选项，如果为public，则当前实例下所有schema都可用，如果没有public，则是由当前创...
2018-08-06 22:18:16
1772
原创 SuSE虚拟机静态IP配置及上网配置
环境说明宿主机：Microsoft Windows [版本 10.0.17134.112] 虚拟机：VMware 14.1.1 build-7528167 SuSE版本：SUSE Linux Enterprise Server 12 SP2配置步骤1. IP配置 关于虚拟机和虚拟系统的安装此处不再介绍，假设你已经安装了虚拟机和虚拟系统，那么请参考如下配置步骤...
2018-06-27 00:23:06
10233
原创 关于Thread的start和run方法的执行方式
今天突然想到，在主线程中启动一个子线程，在子线程执行完毕后，是否可以自动销毁的疑惑，带着问题，开始考虑编码，在编码过程中分别使用了Runnable和Thead两种不同的方式，下面先看第一中Runnable方式。Runnable方式 class RunnableTest implements Runnable { @Override public void run(...
2018-04-22 12:12:13
7292
原创 关于org.apache.shiro.authc.UsernamePasswordToken cannot be cast to的解决方案
问题背景 在实现多Realm时，扩展了ModularRealmAuthenticator 和 UsernamePasswordToken，于是在MyAuthenticationToken token = (MyAuthenticationToken) authenticationToken时出现了转型异常。扩展ModularRealmAuthenticator 的代码如下：public
2017-12-29 00:18:16
16975
原创 table导出成excel
今天给大家介绍一款将页面表格直接可以导出成excel的js插件，插件名称为tableExport，原地址为：https://github.com/hhurz/tableExport.jquery.plugin， 感谢作者将这么好的插件开源！！！（原插件很丰富，包括导出word,pdf等，此处只介绍导出excel）。 本地下载地址: http://download.csdn.net/download
2017-12-14 21:05:07
5315
4
原创 SpringBoot初体验（完整版）
SpringBoot是做什么的？我想各位应该已经通过网络都已经了解了，其实也就是一种高度抽象封装，对各种常用操作做了默认的实现与配置，使得开发人员更多地关注业务层。本文开发使用的是工具是IDEA()+Maven，下面进入SpringBoot的“初体验”！和一般Maven项目不同的是，我们在新建项目的时候，选择Spring Initialiar，其他保持默认，如下图，在点击Next的时候需要
2017-12-09 15:39:45
1399
原创 Spring MVC 集成Velocity
环境说明Maven + Idea-2017.2.6具体配置1. 此处不再介绍Sping MVC的搭建，直接配置Velocity.2. 需要在pom文件中加入Velocity的依赖，如下：3. 其中Spring的版本为（Spring版本不同，可能对velocity的支持上有所差别，这里版本是匹配过的）4.2.2.RELEASE
2017-11-27 22:32:08
449
1
原创 Java8之Collections.sort
殊不知，Java8/9已悄然发布多日，然而项目中却依旧使用Java7甚至Java6，身为一名开发人员，有点落伍，新技术跟不上，注定被淘汰！当然项目的目标是求稳而非求新。Java8的发布引入了几个新特性，也对原有功能进行了改进，下面先来揭开Collections.sort的面纱。在Java8之前对集合进行排序时，一般使用匿名类实现Comparator接口，在Java8中，这种使用已发生改变，下面看
2017-06-20 20:54:19
1168
1
原创 Java之最大堆内存设置(-Xmx)
Java之最大堆内存设置(-Xmx) 问题起因：Could not initialize the java virtual machine. 在程序启动时，无法启动服务，查看Windows事件日志，发现如上错误信息。后来发现，该问题的是由于-Xmx设置的太大引起的。 那么设置多少服务才可以启动呢？-Xmx的最大值根据运行环境的不同而有所差异，具体可以使用java -Xmx2048m
2016-12-20 23:03:38
22691
5
原创 Linux下设置Java环境变量的几种方法
Linux下设置Java环境变量的几种方法 在Terminal下输入以下命令: vi /etc/profile， 回车后按i键进入编辑模式，将以下环境变量的设置信息添加到文件末尾： export JAVA_HOME=java存放路径（根据实际情况进行修改） export PATH=:JAVAHOME/bin:JAVA_HOME/bin:PATH 按Esc键，然后输入
2015-10-26 23:45:23
1373
原创 windows启动服务出现 193 0xc1错误的解决方法
前几天去启动项目中使用的服务，结果报错：193 0xc1，解决方法是找到安装该服务所在分区的根目录，找到Program文件，删除即可正常启动，具体原因不明确。
2015-07-18 11:17:08
22789
5
原创 关于出现“使用 UNION、INTERSECT 或 EXCEPT 运算符合并的所有查询必须在其目标列表中有相同数目的表达式”错误的可能原因
关于出现“使用 UNION、INTERSECT 或 EXCEPT 运算符合并的所有查询必须在其目标列表中有相同数目的表达式”错误的可能原因
2015-05-04 22:59:00
23568
使用nginx作为文件服务器时，如何进行鉴权
2018-06-27
oracle高并发写库提示表不存在
2017-02-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人