得谷养人-CSDN博客

原创 Tomcat反向代理，后端报错：org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe

MaxAutoRetriesNextServer: 1 #重试负载均衡其他的服务实例最大重试次数，不包括首次调用。2.客户端读取超时关闭了连接，这时服务器往客户端再写数据就发生了broken pipe异常！MaxAutoRetries: 0 #同一台服务实例重试次数，不包括首次调用。1.当访问某个服务突然服务器挂了，就会产生Broken pipe;3.端口冲突，地址已被使用，也会导致Broken pipe。页面请求接口小数据量时没有问题，当返回数据量大时，报错。# 增加反向代理缓存。

2023-10-12 18:27:54 554

原创 Flink1.16 on Yarn hadoop3.1.1 提交任务失败解决

查看了页面接口调用，返回为空数组，猜测是 Jobmanager 没有采集到 Metrics 信息，于是查看 Jobmanager 日志，报了一个 hadoop-common 包下 commons-math3 一个类找不到，说明hadoop-common 冲突了 flink 的类，将 hadoop-common 下的 commons-math3 排除掉就可以了。分析了 hadoop-common 开源和华为版本的区别，源代码改了很多，无奈只能老实用华为版本的包了。

2023-05-24 13:56:52 422 2

原创 Centos7 虚拟机网络设置，与宿主机互ping，虚拟机 ping 通宿主机及外网

解决 centos7 虚拟机 ping 不通宿主机及外网，宿主机也 ping 不通虚拟机

2022-11-07 16:02:19 2877 1

原创 flink - 分配数据至指定keygroup及 subTask

昨天看到了之前写的这段代码，有点儿模糊，于是整理下来，作为注释，也作为分享。这是项目中遇到的问题，flink 数据在落库的时候，需要将数据拼成大的 String，而且想让几个并行度上拼出的 String 更均衡一些。于是想着 keyby random 的随机值来分配数据。当并行度为 2 时，我们 random 出来的数据是 0 和 1，keyby 这两个值会发现，数据都到了 subIndex = 0 的并行度上，显然这不是想要的，预想的是，keyBy=1，数据就到 subIndex=1的并行度上。由

2021-03-19 16:11:09 933 1

原创 Flink sql join hive 维表

在云栖社区提问了一下，后来自己尝试出来了。。。以下是提问：++++++++++++++++++++++++++++++++++++++++我在尝试使用 kafka 数据流 join hive 维表时，代码启动之初，Flink 会加载一次 hive 中的维表，但是后续插入到 hive 表中的数据不能被 join 到。查看官网和中文社区的资料，提示设置 lookup.join.cache.ttl 配置参数，我将这个参数尝试设置在 TableEnv.conf 中，和 Table hits 设置在表

2020-11-04 12:19:38 2246 10

原创 Flink的standalone运行模式之State存储----不使用HDFS

当你点进这个博客的时候，你应该是遇到了和我一样的问题：通常情况下我们运行flink作业时，都会将State存储到HDFS，比如：env.setStateBackend(new RocksDBStateBackend("hdfs://hadoop100:8020/tmp/flink/checkpoints",true).getCheckpointBackend()); ...

2019-05-17 16:35:14 2777 11

原创 Idea离线安装阿里代码规约插件附离线包

插件在线安装非常简单，网上的方法很多，不再赘述。当我们电脑不能联网，或者公司网络管控非常严格时，通过Idea无法正常通过plugins搜索插件，那么可以通过下边的方法安装阿里代码规约插件到Idea。 1、通过网盘下载代码规约相应的jar包，然后将文件夹拷贝到Idea的plugins目录下即可，重启Idea，Tools选项下出现阿里代码规约选项。...

2019-04-17 15:59:50 2117 1

原创 SpringBoot的SSL个人CA签发二级证书(动态添加客户端证书)

当我们的服务端部署完成运行起来之后，trustStore信任库已经建立，受信任的客户端证书已经确定下来，如果我们想再添加一个受信任的客户端证书，又不想停掉服务端，这时就可以使用个人CA根证书签发二级证书的方法。当然官方CA更好，但是相比个人CA官方CA不太方便。其实还有一个方法实现动态添加服务端信任的客户端证书，就是用代码实现trustStore信任库热加载，网上也有相关的文章，但是相比签发二级证...

2018-07-10 17:09:09 7178 3

原创 Springboot的SSL双向认证

单项认证和双向认证区别(转载)：https://blog.csdn.net/ons_cukuyo/article/details/79171418注意事项：在看完上边单双向认证过程的区别之后，会发现在认证过程中，有公钥和私钥的概念，而何时谁应该持有谁的公钥或者私钥呢？1、如果客户端想验证服务端证书，客户端需要安装服务端的公钥文件(cer)(或者服务端证书是官方CA颁发的，客户端可以直接联网...

2018-07-10 16:51:22 23033 3

原创 SpringBoot的SSL服务端单向认证

只认证服务端，keystore一般是官方CA办法的证书，本实例是演示性文档，自己新建了一个。1、首先新建一个keystore，用于存放服务端证书，包含了服务端证书的公钥、私钥和证书。 keytool-genkey -v -alias server -keyalg RSA -storetype PKCS12 -keystore E:\7\server.key.p12 输入该命令后，会...

2018-07-10 16:27:34 5729 1

weixin_41917987的博客