- 博客(38)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 使用 SageMaker 对 Whisper 模型进行微调及部署
Whisper 作为 OpenAI 最新开源的自动语音识别（ASR）模型，采用了编码器-解码器（encoder- decoder）transformer架构，并使用了 68 万小时的从互联网收集的多语言、多任务的已标注数据进行训练。根据其论文显示，Whisper 模型在无需微调（zero-shot）的情况下，在多个数据集的测试上鲁棒性更高，错误率更低。关于 Whisper 模型的更多细节，参见其官方网站以及。
2023-11-14 17:15:00
446
1
原创 RestTemplate直接发送内存文件对象multipart
然后，构建一个由字节数组和其他信息（如原始文件名和媒体类型）组成的资源对象，用于作为 HTTP 请求的一部分。
2023-10-14 13:42:47
1021
原创 int(11)在MySQL中意味着什么?
默认情况下，每种整数类型的数量与该类型的最大负值中的字符数相同。同样，对于 BIGINT，默认显示宽度是 20，它等于最大负 BIGINT 中的字符数 (-9223372036854775808)。应用程序可以获取元数据以获取列的显示宽度，然后将其用于设置列的宽度或显示列中的数字等。关于int(11)在MySQL中的含义，一个非常常见的误解是，该列可以存储长度为11位的最大整数值。11是整型列的显示宽度，与字符列不同，其中数字表示可以存储的字符数。对于整数类型的列，括号中的数字称为字段的显示宽度。
2023-09-13 09:29:28
953
转载 深入理解Prometheus rate irate increase
因此，在用计数器绘制图形或做任何其他事情之前，您通常希望将其包装在类似rate(),的函数中irate()，或者increase()查看计数器上升的速度。irate()(“instant rate”)：计算每秒的增长率，就像计算一样rate()，但只考虑在提供的时间窗口下的最后两个样本进行计算，并忽略所有较早的样本。为了不将这些重置解释为实际的负利率，与计数器相关的函数具有检测和处理这些重置的逻辑：在提供的时间窗口下迭代样本时，函数检查是否有任何样本的值低于前一个，并将这种情况解释为计数器重置。
2023-02-16 09:17:52
693
原创 Flink on Yarn 模式 提交作业以及TaskManager内存配置
内存分为整个container内存、flink内存。其中内存类型又分为堆内存和堆外内存。JVM Metaspace ：默认256M；JVM Overhead内存：默认整个container内存的0.1；最大值为1G，最小值为192M，如果计算出来的内存大小不在此区间范围内，按照最小值/最大值 分配；例如计算的结果为128M，实际按照192M分配；计算结果为1.2G，实际按照1G分配；
2022-12-09 14:39:41
917
原创 flink 1.16.0上传jar报错
部署方式 Application Mode On Yarn。错误Caused by: java.lang.ClassCastException: org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFactory
2022-11-21 17:36:36
1012
原创 Metabase使用clickhouse数据库时区异常问题解决
这个是 clickhouse.metabase-driver 的一个bug，最新版本也不能解决此问题。
2022-11-01 15:48:52
585
转载 hive group by | distinct区别以及性能比较
高版本的hive，对distinct进行了优化，其执行计划和group by的一样，已经不会出现低版本的一个reduce现象，运行时间也相差无几。而group by则会被hive翻译成分组聚合运算，会有多个reduce任务并行处理，每个reduce对收到的一部分数据组，进行每组聚合（去重）但是不明确用的hive版本是否优化了distinct的情况下，用group by 进行去重是不会有问题的。默认情况下，distinct会被hive翻译成一个全局唯一reduce任务来做去重操作，因而并行度为1。
2022-10-21 10:59:19
245
原创 DBeaver连接hive kerberos
配置 jdbc:hive2://{host}:{port}/{database}/;驱动 org.apache.hive.jdbc.HiveDriver。
2022-10-18 15:16:07
978
转载 Ubuntu 18.04每次打开命令行都要重新source profile的解决方法
在Ubuntu 18.04.1 LTS操作系统下配置了JAVA环境，每次重新打开命令行都要重新source profile，以下是该问题的原因分析及解决方法、注意事项。产生该问题的原因分析和记录1.bashrc是在系统启动后就会自动运行。2.profile是在用户登录后才会运行。3./etc/profile中设定的变量(全局)的可以作用于任何用户，而~/.bashrc等中设定的变量(局部)只能继承/etc/profile中的变量。延伸：login shell与non-login shell1.n
2022-05-10 08:19:34
1559
转载 springboot 定时执行
每天凌晨2点 0 0 2 * * ?和每天隔一小时 0 * */1 * * ?例1：每隔e69da5e887aa32313133353236313431303231363533313333656436625秒执行一次：*/5 * * * * ?例2：每隔5分执行一次：0 */5 * * * ?在26分、29分、33分执行一次：0 26,29,33 * * * ?例3：每天半夜12点30分执行一次：0 30 0 * * ? (注意日期域为0不是24)每天凌晨1点执行一次：0 0 1 * * ?每
2022-05-10 08:18:53
870
转载 springboo 定时执行
每天凌晨2点 0 0 2 * * ?和每天隔一小时 0 * */1 * * ?例1：每隔e69da5e887aa32313133353236313431303231363533313333656436625秒执行一次：*/5 * * * * ?例2：每隔5分执行一次：0 */5 * * * ?在26分、29分、33分执行一次：0 26,29,33 * * * ?例3：每天半夜12点30分执行一次：0 30 0 * * ? (注意日期域为0不是24)每天凌晨1点执行一次：0 0 1 * * ?每
2022-05-05 14:24:47
618
原创 Elasticsearch6.4.1安装
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearchelasticsearch.repo /etc/yum.repos.d/[elasticsearch-6.x]name=Elasticsearch repository for 6.x packagesbaseurl=https://artifacts.elastic.co/packages/6.x/yumgpgcheck=1gpgkey=https://arti.
2022-04-22 14:02:14
140
原创 JAVA常用操作
Java 数组转List的几种方法//1. Array 转 ListString[] arr = {"a", "b", "c"};List<String> list = Arrays.asList(arr);System.out.println(JSONObject.toJSONString(list));// 使用Arrays.asList生成的list是定长的，无法增加或删除元素，调用add或remove方法会抛出UnsupportedOperationException异常/
2022-04-20 14:54:26
351
原创 IDEA 使用技巧
1. idea展开折叠类中所有方法展开:ctrl + shift + =折叠：ctrl + shift+ -2. Idea中设置注释位置——自动缩进到合适位置
2022-03-24 14:32:16
663
转载 使用 Java 8 Streams 和 Spring Data JPA 流式处理 MySQL 结果
从 1.8 版开始，Spring 数据项目包含一个有趣的特性——通过一个简单的 API 调用，开发人员可以请求数据库查询结果作为 Java 8 流返回。在技术上可行并得到底层数据库技术支持的情况下，结果将被逐一流式传输，并可用于使用流操作进行处理。此技术在处理大型数据集（例如，以特定格式导出大量数据库数据）时特别有用，因为除其他外，它可以限制应用程序处理层的内存消耗。在本文中，我将讨论 Spring Data 流与 MySQL 数据库一起使用时的一些好处（和陷阱！）。从数据库中获取和处理大量数据（更
2022-03-09 13:33:43
1767
转载 SpringCloud Gateway 整合Springfox/SwaggerUI3 之后调用某一个服务的接口时，请求路径不会加上对应的服务名问题
转载 https://blog.csdn.net/weixin_43356507/article/details/115537098 SpringCloud Gateway 整合Springfox/SwaggerUI3 之后调用某一个服务的接口时，请求路径不会加上对应的服.
2022-03-08 16:13:24
1903
转载 logback.xml和logback-spring.xml的区别
logback和logback-spring.xml都可以用来配置logback，但是2者的加载顺序是不一样的。logback.xml—>application.properties—>logback-spring.xml.logback.xml加载早于application.properties，所以如果你在logback.xml使用了变量时，而恰好这个变量是写在application.properties时，那么就会获取不到，只要改成logback-spring.xml就可以解决。——
2022-03-03 09:26:20
821
转载 SpringBoot各种Web容器服务的AccessLog配置
转载 https://www.jianshu.com/p/3f3338d8387a完整代码参照(以Tomcat为容器)：https://github.com/biticcf/ocean-sea-platform.gitSpringBoot内置支持的Web容器有Tomcat、Undertow、Jetty和Netty，默认情况下，这些Web服务的Access日志是不开启的，而Access日志对于我们做接口统计尤为重要。如果我们想开启这些日志，需要作如下配置：1，Tomcat容器日志配置SpringBo
2022-03-02 16:08:11
961
原创 SpringSecurity登录后重定向到登录前访问页面策略
RequestCacheAwareFilter只负责从缓存中提取缓存的请求，并转发到该请求览器发出的请求优先被拦截器RequestCacheAwareFilter拦截，RequestCacheAwareFilter通过其持有的RequestCache对象实现request的恢复。public class RequestCacheAwareFilter extends GenericFilterBean { private RequestCache requestCache; public
2022-03-02 09:21:40
1008
转载 关于springboot中添加Filter的方法
第一种@ServletComponentScan 所扫描的包路径必须包含该Filter@WebFilter(filterName = "myFilter",urlPatterns = "/*")public class MyFilter implements Filter { @Override public void init(FilterConfig filterConfig) throws ServletException { } @Override
2022-03-01 17:57:09
2095
转载 Spring Security @PreAuthorize 拦截无效
antMatchers("/demo/user-list").access(“hasRole(‘ROLE_Admin’)”)可以被正常拦截，说明是方法拦截没有生效。如果是基于xml，则需要在配置文件中加上：<security:global-method-securitypre-post-annotations=“enabled” proxy-target-class=“true” />换成Annotation方式以后，则需要使用***@EnableGlobalMethodSecur
2022-03-01 11:10:02
895
转载 hive 表锁、分区锁
场景：在执行insert into或insert overwrite任务时，觉得hive速度有点慢，中途手动将程序停掉，改成了spark的引擎继续跑数，然后出现卡死情况（无法提交MapReduce），只能执行查询操作，而drop insert操作均执行不成功，无论执行多久，都会保持卡死状态。原因：hive表被锁或者某个分区被锁，需要解锁。hive存在两种锁，共享锁Shared (S)和互斥锁Exclusive (X）。其中只触发s锁的操作可以并发的执行，只要有一个操作对表或者分区出发了x锁，则该表或
2021-12-31 11:10:20
1804
原创 Spring Cloud 2020 服务自动注册以及取消自动注册
Spring Cloud 2020 服务自动注册以及取消自动注册文章目录Spring Cloud 2020 服务自动注册以及取消自动注册一、引入服务发现maven依赖后自动注册到注册中心二、取消自动注册的方法1.设置 spring.cloud.service-registry.auto-registration.enabled=false2.使用注解@EnableDiscoveryClient(autoRegister = false)总结提示：以下是本篇文章正文内容，下面案例可供参考一、引入服
2021-07-12 14:25:38
1715
1
转载 elasticsearch中bucket_script聚合父级必须是多桶聚合
elasticsearch中bucket_script聚合父级必须是多桶聚合转载于https://blog.csdn.net/qq_28851503/article/details/98313933场景业务需求中，在计算人均通话数时，使用聚合的时候使用到了内联以及反内联聚合，当bucket_script聚合作为反内联reverse_nested的子聚和的时候，会报如下错误：org.elasticsearch.ElasticsearchException: Elasticsearch ex.
2020-11-12 14:15:31
476
原创 ElasticSearch异步删除_delete_by_query
ElasticSearch异步删除_delete_by_queryES删除数据时经常会超时，使用异步task方式删除，将任务存入后台执行。执行后台删除 wait_for_completion=falseGET uint/_delete_by_query?wait_for_completion=false{ "size": 20, "timeout": "1200s", "query": { "bool": { "must": [ {
2020-10-20 16:29:53
3463
原创 arthas tomcat 监控
arthas tomcat 监控标题报错：java -jar arthas-boot.jar[INFO] arthas-boot version: 3.1.7[INFO] Found existing java process, please choose one and hit RETURN.[1]: 28821 org.apache.catalina.startup.Bootstrap[2]: 24748 com.alibaba.otter.canal.deployer.CanalLaun
2020-10-15 11:52:33
2433
转载 java.io.IOException 断开的管道 解决方法 ClientAbortException: java.io.IOException: Broken pipe
转载于：https://blog.csdn.net/zqz_zqz/article/details/52235479今天公司技术支持的童鞋报告一个客户的服务不工作了，紧急求助，于是远程登陆上服务器排查问题。 查看采集数据的tomcat日志，习惯性的先翻到日志的最后去查看有没有异常的打印，果然发现了好几种异常信息，但是最多还是这个： 24-Nov-2016 09:54:21.116 SEVERE [http-nio-8081-Acceptor-0] org.apache.t...
2020-09-29 16:51:03
5553
1
原创 flume 报错org.apache.flume.ChannelFullException: Space for commit to queue couldn‘t be acquired. Sinks
在CDH中运行flume用于nginx日志采集source：kafka 日志数据存储在kafka中channel： memory channel 基于内存sink： elasticsearch (es)偶尔会发生，数据无法写入Elasticsearch的问题，channel中堆积的数据达到预设值，但是sink到es却停止了，一条数据也不进行写入。查询日志发现：ERROR org.apache.flume.source.kafka.KafkaSource: KafkaSource EXCE
2020-09-27 11:35:02
772
转载 Kafka从上手到实践-Kafka集群：Kafka Listeners
转载于http://www.devtalking.com/articles/kafka-practice-16/这一章节主要对和Listener相关的四个配置项做以详细解释。listeners、advertised.listeners、listener.security.protocol.map、inter.broker.listener.name这四个配置项可能是大家最容易混淆和最不容易理解的。在解释这些配置项之前，我们先来明确几个概念。部署Broker的阿里云ECS称为Host Ma..
2020-09-24 16:47:39
1271
转载 为什么kafka客户端需要配置 /etc/hosts文件
问题背景前段时间，遇到一个kafka集群部署在k8s中，而kafka客户端在另一个k8s集群的pod的容器中，kafka集群中配置的advertised_listeners便是hostname。然而当时我只知道kafka集群的ip地址，当在客户端直接使用ip操作broker的时候便报错无法解析一个hostname。 当时不知道什么原因，只听同事说需要在kafka客户端对应的yaml文件中添加HostAliases字段然后重新部署kafka客户端所在的pod。 然后便可以访问了。 不明所以然的我，查了
2020-09-24 16:16:20
7993
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人