- 博客(128)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 Console_API
console.group([label]) / console.groupEnd([label]): 用于在控制台中创建一组输出，便于组织和查看信息。console.time([label]) / console.timeEnd([label]): 用于计算代码执行的时间。console.assert():断言方法，用于判断某个条件是否为真，如果为假则输出特定信息。一直只会用console.log(),没想到console有这么多方法。table()这个方法会以表格的格式打印信息,看起来比较清爽。
2024-04-12 10:43:59
289
原创 AES加密的中文乱码与Java默认编码
win11环境下 ++ idea开发的项目接口有加密需求,暂时使用AES完成如下本地开发/测试都能正常解密,在自己的Linux(centos)机器测试接口也没有出现中文乱码的问题.UAT的时候用户请求接口得到密文后解密后中文就乱码为???,确认不开加密明文传输中文不会乱码,问题出在AES加密上。
2024-03-21 10:38:24
427
原创 小程序 获取 手机号 47001 data format error hint
后端获取小程序用户手机号 ,api文档使用hutool工具作为http client。
2024-03-08 16:17:26
598
原创 [RuoYi-Vue-Plus]＜000＞ RuoYi-Vue-Plus 5.X 本地环境搭建,基于Windows
本系列使用的环境版本:日志提前安装
2024-02-29 14:08:57
1021
原创 windows下基于docker-desktop 安装 mysql 5.7
需要wsl的支持,一般win11新机子都默认开启了,安装docker-desktop 一路next即可.win10老版本需要自行安装+开启。
2024-02-28 09:31:58
819
原创 org.apache.solr.client.solrj.SolrServerException:Timeout occurred while waiting response from server
猜测是写过程中某个组件的timeout阈值为120s,检查solr/zookeeper/spark相关timeout 配置,追踪发现。,基于github开源项目(https://github.com/lucidworks/spark-solr),报错如上。知道相关参数,那么很简单了, spark-submit脚本里增加/调整相关参数,这里改为300。(任务是写每天的增量50w数据左右),盲 猜因为solr表太大导致spark写的时间导致。使用spark-submit提交任务,利用spark写CDH 的。
2024-02-22 16:07:52
755
原创 JDK8 和 JDK17 下基于JDBC连接Kerberos认证的Hive(代码已测试通过)
打开了debug后,如果是正常情况,我们能观察到控制台会打印到krb5.conf相关内容信息,出现问题优先根据debug日志查看,如果没有打印出krb5文件内容,去看看路径/文件权限。之前自研平台是基于jdk8开发的,连接带Kerberos的hive也是jdk8,现在想升级jdk到17,发现过Kerberos的hive有点不一样,特地记录。写了sun.security.krb5.Config 包位于java8中的rt.jar,从java9之后rt.jar and tools.jar 了。
2024-02-02 20:57:34
1334
原创 「sdkman」「nvm」Linux:基于sdkman安装多版本Java；安装maven；基于nvm安装多版本nodejs；安装yarn
npm 国内最好配下淘宝镜像加速下载,需要注意淘宝镜像url 21年变更过别设置旧的!输入命令 查看sdkman可下载的java(进入类似vi 的环境,:q退出)安装指定版本java ,后面的是 Identifier 列值。下载完会提示是否将当前下载版本设为默认,按需选择,我为 n了。,官网: https://sdkman.io/安装 yarn ,一种方式是npm安装yarn。命令,记得提前下载再下载sdkman。nvm安装后,安装多版本nodejs。安装nvm的命令类似sdkman。
2024-01-18 16:07:53
1156
原创 「alias」Linux 给命令起别名,自定义bash命令
例如原版的free 命令 不带 -h 参数以kb为单位看得头疼,直接改为总是带-h参数。命令,在其他发行版用惯了一时间没有真不习惯,来配置一下吧!最后记得source一下。
2024-01-17 14:58:25
485
原创 「个人向」《Linux 就该这么学》命令精简整理
1.常用系统命令pstop2. 系统状态检测命令uptimefreenetstathistory3.查找定位文件命令cdlstreefind4. 文件目录管理命令
2024-01-16 23:09:39
383
原创 Linux配置SFTP用户的详细过程
当sftp的方式用户登录到用户根目录（/sftp/iios/)后，根目录是无法写入的。所以还需要在用户根目录下创建upload目录。注意：ChrootDirectory 目录不能直接配置到用户sftp上传目录，需要配置到上一级即用户根目录。将iios用户sftp上传目录的目录权限设置为 iios ，这样iios才可以上传文件。为什么创建了 /sftp/iios/upload 三级目录？如果你的目录层级较多，记得逐级检查！配置该用户密码：passwd iios。SFTP 用户名：iios。
2023-11-28 23:50:07
1849
原创 postgres 数据库 tar包编译安装过程
https://blog.homurax.com/2019/10/14/install-postgresql-and-postgis-from-the-source-code/
2023-11-22 10:22:36
459
原创 postgresql 配置文件 与 修改配置如何启用
postgresql显式地以表格的方式告诉我们哪些配置项需要重启数据库实例、哪些配置项仅需要重新加载配置文件即可无需重启服务例如中我们可以发现以下配置项即。
2023-10-19 16:39:03
919
原创 firefox的主题文件位置在哪?记录以防遗忘
需要注意的是w0e4e24v.default-release文件夹每个人是不一样的,所以得到它的父目录Profiles去查看,Profiles下可能有多个目录,需要翻翻找找。xpi文件可以用压缩软件(我是bandzip)打开,主题的xpi文件名字是firefox随机的,所以只能一个个用压缩包打开查看,有的压缩软件 可以右键xpi文件预览内容.最近找到了一个自己喜欢的firefox主题,很想把主题的背景图片找到,所以找了下主题文件所在位置。我想要的主题随机名字是。
2023-10-09 14:38:10
1563
原创 「计算机知识随记」Unicode 与 UTF-8 和仍然存在的乱码问题
中文维基百科对Unicode 的定义是:如果有一种编码，将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码，那么乱码问题就会消失。这就是Unicode，就像它的名字都表示的，这是一种所有符号的编码。可是在Unicode已经发布的(Unicode1991年发布,UTF-8 是 1993 年初发布)三十年中,编码问题并没有解决,我仍然会遇到编码问题?为什么呢?
2023-09-22 13:27:50
244
原创 数仓规范随记
以《大数据之路：阿里巴巴大数据实践》中五层(ods/dwd/dws/dim/ads)分类为基础划分,有序列表记录是分层大类,分层大类下的无需列表是分层小类或者说真正落地的:
2023-09-19 15:14:01
73
原创 Hive UDF自定义函数上线速记
注意hdfs路径前面要加上hdfs://namenode/,如果是hdfs集群的话换成。hdfs dfs -put [Linux目录] [hdfs目录]使用命令or浏览器上传jar到hdfs,命令的话格式如下。hdfs://namenode 和1.2步骤保持一致。hive客户端返回成功即可正常使用。
2023-08-29 17:25:45
768
原创 SQL 错误 [22007]: ERROR: invalid input syntax for type date: ““ 与PG正则写法
我们group by end_date 发现,该字段的确存在不正确的value ,如。现在我需要根据当前日期与end_date的差值作为where条件过滤,我的写法。根据业务需求,我只需要取正确的日期即可:用正则仅匹配正确格式的日期进行过滤即可。字段中存在空字符串(“”),显然它不能正确地转换为date类型!~，但是进行不区分大小写的正则不匹配。~*：类似于 ~，但是进行不区分大小写的正则匹配。,存储的值是格式化后的年月日日期如。无效的类型date的输入语法:“”~：用于进行正则表达式不匹配。
2023-08-25 09:40:18
3737
原创 马哈鱼数据血缘工具背后的项目: gsp_demo_java 项目简单介绍与使用
这个gsp有开源的java demo项目:https://github.com/sqlparser/gsp_demo_java。/tableLineage/csv：可选，以csv格式输出选项卡级沿袭。/traceView：可选，只输出源表和视图的名称，忽略所有中间数据。/text：可选，此选项仅在使用/s时有效，以文本模式输出列依赖项。/p：可选，指定jdbc连接的密码，注意它是小写的p。/P：可选，指定jdbc连接的端口，注意大写字母P。/coor：可选，输出关系变换坐标，但不输出代码。
2023-08-19 11:58:52
482
原创 Correct the classpath of your application so that it contains a single, compatible version of javax.
可以看到servlet-api-2.4.jar是通过jcifs这个jar引入进来的，我们在pom.xml里找到它手动排除就可以了。通过maven的命令行：mvn dependency:tree 来查看Maven依赖信息,落成out.txt文件,搜索。我们应该使用springboot自带tomcat,而不是额外 lib目录下的jar包,所以按提示取目录下删除就可以了。额外 lib/servlet-api-2.4.jar 肯定是pom某个依赖带来的,如何排除?
2023-08-15 12:35:07
139
原创 Linux tar包安装 Prometheus 和 Grafana(知识点:systemd Unit/重定向)
用tar包的方式安装 Prometheus 和 GrafanaPrometheus:开源的监控方案Grafana:将Prometheus的数据可视化平台。
2023-08-12 00:53:22
1033
原创 前端发送请求和后端springboot接受参数[前端异步/HTTP方法]
写Restful接口分不清post和put话有个小技巧：前端请求结果会生成额外的唯一标识符（如数据库表的主键），用post则是需要知道已知唯一标识符，当然，put不是只能更新，也可以创建，不规范而已。总结来说，axios 和 ajax 都是用于进行网络请求的技术，但 axios 是一个独立的库，而 ajax 是一种通用的异步通信概念。Promise：既是一种解决异步的技术概念，也是在es6提出的处理异步操作的方案JS原生。后端接收一般delete用 @PathVariable,展望符就是传入形参的名称。
2023-08-09 22:59:34
694
原创 vue-element-admin 服务器返回数据生成动态路由
vue-element-admin 这个项目路由最初是配置在 src/route/index.js 文件中，再根据src/store/modules/permission.js#generateRoutes 方法按角色过滤出对应的路由并动态挂载。1.1 组装路由的逻辑在src/store/modules/permission.js ，generateRoutes 原内容我们直接注释，编写新逻辑。中的路由已经是过滤的，也就是说服务器返回的不是完整的路由是已经根据角色过滤好的！后端路由表一条记录形式为。
2023-07-23 18:58:09
640
原创 Windows nvm 安装后webstrom vue项目编译报错，无法识别node
猜测 不是环境变量的设置问题，而是设置了变量，有缓存之类的导致webstorm软件不能正常识别。上述第二部分的4、5、6条可以证明。
2023-07-22 00:31:23
790
原创 「vue-element-admin」「datax-web」 登录流程前后端代码解析备忘
vue-element-admin 、datax-web 登录流程分析
2023-07-16 18:35:52
386
原创 suse内网基于Docker部署Gitlab私服
启动前请参考 https://zhuanlan.zhihu.com/p/546533347 文章调小puma 核数，否则会按你机器的核数不断加线程吃内存，导致前端浏览器概率爆500、502错误，但是刷新几次又可以正常使用的情况！A机器安装镜像（参考https://docs.gitlab.cn/jh/install/docker.html）记得带上–privileged=true，让容器获取宿主机root权限。不写之后会有权限相关错误。前端浏览器访问：http://B机器的IP:8888。
2023-07-06 16:37:34
1059
原创 数据血缘 参考资料文章汇总
字节跳动内部的数据血缘用例与设计全链路数据血缘在满帮的实践饿了么元数据管理实践之路携程数据血缘构建及应用https://www.jianshu.com/p/6a14c846e331Hive SQL血缘关系解析与应用 虽然没有公布完整代码，但是给了我解析ast的思路Hive SQL的编译过程_美团技术团队大数据血缘分析系统设计（一） - CXY的大数据实践田 简单使用hive自带的钩子函数获取血缘使用Hive内置的解析器构建血缘关系数据治理篇-元数据-血缘分析: queryparser概述
2023-07-05 08:49:05
280
原创 【sql 孤岛问题 】填充空值为最近的不为空的数据
where raw.汇率 is null and (raw.month between t.from_month and t.to_month) --给null的行赋值。where 汇率 is not null), —t表先找到每组中not null的值，并确定每组的范围。union all --上面给null行赋值操作排除了not null行，这里union回来。select month ,汇率 where 汇率 is not null)select raw.month ,t.汇率。
2023-06-14 19:13:16
1590
原创 【力扣 】查找所有至少连续出现三次的数字/求连续登录3天的用户数（SQL完成）
GROUP BY tmp.user_id, date_sub(login_date, rn) – 每个用户每次连续登录的分块。注：上述代码仅求出了连续登录3天以上的所有user_id，并非user_id数。编写一个 SQL 查询，查找所有至少连续出现三次的数字。核心思想是要想明白这个结论： 如果一个num连续出现时，连续的关键： 真实序列-分区后出现的次数=定值。返回的结果表中的数据可以按 任意顺序 排列。官解如果id不连续，根据Id计算会出现bug。解释：1 是唯一连续出现至少三次的数字。
2023-06-14 18:13:25
612
1原创 Linux free 命令小小总结
新版本的命令中， “-/+ buffers/cache” 例被取代了。内存分配改为total = used + free + cache，可用内存直接查看available即可。
2022-11-10 15:42:03
506
grafana 9.X tar包 grafana-enterprise-9.0.4.linux-amd64.tar
2022-11-04
需要一个前端js绘制类似sqlflow流程图的js库，给个名字
2021-10-15
如何解析hivesql 或者sparksql
2021-10-05
TA创建的收藏夹 TA关注的收藏夹
TA关注的人