- 博客(85)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 dolphinscheduler之hivecli 任务
dolphinscheduler的hivecli任务是专门执行hivesql的任务类型。其中子类型分为FROM_SCRIPT和FROM_FILE。执行的脚本可以直接在文本框中编写执行的底层采用-e参数执行执行的脚本可以在线下编辑好，然后在[]->[]中上传。在hivecli节点中资源参数选择上传的资源sql文件即可。执行的底层逻辑采用-f参数执行。
2023-04-11 15:25:05
917
1
原创 dolphinscheduler资源中心
资源中心提供文件管理，UDF管理，任务组管理。文件管理可以访问要执行的hive的sql文件UDF管理可以放置fllink执行的自定义udf函数jar包，hive自定义的UDF函数jar包以上的*.sql*.jar文件可以理解为资源，这些资源需要有个存储的地方，本文以minio存储作为介绍。
2023-04-11 15:20:45
825
原创 spring中i18n国际化处理多语言
在项目中，往往用户会存在多语言的述求，比如说一个系统既有中文的用户，又有英文的用户。怎么来实现多语言呢？首先前后端分离的项目，前端会有自己的多语言实现方案，大致效果就是，用户切换语言，那些静态的按钮，菜单，标签等前端都可以自己切换。但是调用后端由后端返回的异常提示，消息体等，也需要后端实现多语言，大致的实现方案就是由前端传入一个参数，表示是期望后端提供什么类型的语言的消息体，后端就可以通过这个来实现国际化的消息了。本文介绍的是采用spring的国际化支持来实现国际化语言。
2022-12-15 16:55:00
3457
原创 spirng boot 打包,胖fat包和瘦thin包
打胖fat包采用的是spring的标准来执行，所以使用的是spring boot提供的打包插件。打瘦thin包，采用的是比较多的组件组合，启动采用的是java的cp命令来加载classpath.
2022-12-05 11:21:36
1788
原创 kafka日志策略
在学习日志清理策略之前，首先了解一下kafka是如何存储和管理日志的，因为他的管理都是基于segment的，所以有必要先了解清楚这个segement的产生策略。kafka启用delete的清理策略的时候需要注意配置segment.bytes: 每个segment的大小，达到这个大小会产生新的segment, 默认是1Gsegment.ms: 配置每隔n ms产生一个新的segment,默认是168h,也就是7天。
2022-11-03 17:30:26
1231
原创 maven中多模块间共享测试代码
maven中多模块间共享测试代码,moduleA 下的test代码TestClassA依赖moduleB下的test代码TestClassB也就是说TestClassB其实是一个共享的测试。如下图中介绍，这个项目来源于开源项目hop：hop-engine模块中的测试类RestoreHopEngineEnvironment依赖hop-core模块中的测试类RestoreHopEnvironment。
2022-10-25 15:56:53
685
原创 flink的Standalone-HA模式安装
本文使用flink1.14.5版本，介绍standalone-HA模式的安装。此模式时高可用架构，采用zookeeper协调多个JobManager，保持每时每刻有一个运行中的JobManager,其余JobManager处理stand by状态。因为涉及到运行过程中的状态数据的存储，如savepoint,checkoutpoint等。采用minio替换掉hdfs来存储状态。
2022-09-21 17:41:43
2199
6
原创 linux中程序打开文件句柄和创建进程限制
linux中配置程序打开文件的句柄和创建进程的数量表重要，一般系统默认情况下值为1024。对于一些程序或者中间件系统1024的数量比较小，需要增大这个数量。尤其是部署中间件或者大数据的机器一定要增大该值。本文的背景就是因为部署kafka的机器未做limit的优化，导致kafka集群拒绝连接。直接进入正文。......
2022-07-27 17:10:59
1689
原创 minio之集群安装docker版
采用两台linux机器,安装集群版本minio。docker安装的minio集群，可以使用文件夹代替磁盘，原生安装minio集群数据目录必须使用空的整块磁盘。集群版本也使用的纠删码维护数据，保证了数据备份（虽然只是在文件夹中），单机版本不会使用纠删码。生产环境建议还是使用一个数据目录一块磁盘。...
2022-07-25 14:24:05
2066
原创 mysql对表的创建，creat_time字段设置默认值，update_time字段更新操作设置为当前时间
update_time`datetimeDEFAULTCURRENT_TIMESTAMPONUPDATECURRENT_TIMESTAMPCOMMENT'更新时间',`create_time`datetimeDEFAULTCURRENT_TIMESTAMPCOMMENT'创建时间',upate_time，在新增数据的时候使用当前时间，在这行数据被跟新的时候设置成更新的当天时间。目前在设计表的时候，一般会对表添加两个公共字段，create_time,upate_time。......
2022-07-20 08:58:16
4987
原创 minio之docker的单机版安装
采用docker安装单机版minio二、命令解说端口暴露使用-p参数暴露端口，minio使用两个端口9000和9001,9000端口是提供对象存储访问的端口，9001是提供的管理后台的地址注意宿主机端口建议使用9000和9001端口，试着换用了其他端口，但是在访问管理控制台的时候重定向跳转会出问题。容器名--name 是docker镜像启动后的容器名字自动重启--restart=always环境变量-e 是传入的环境变量,主要是管理员的用户名和密码MINIO_ROOT_USER=roo..
2022-07-19 17:22:44
1876
原创 minio权限之IAM policy配置及用户赋权
通常我们在使用minio的时候，需要添加用户，并且给用户授予相应桶的权限。本地主要介绍单独给桶设置policy的相关权限（读写，只读，只写），同时给用户赋予相应的Policy。最终达到给用户赋予某个桶独立的读写、只读、只写权限。...
2022-07-18 17:43:42
8627
4
原创 minio之临时凭证及分享链接的生成和使用(代码篇)
上一篇文章介绍了minio之对象存储的访问链路minio之对象存储常用访问链路介绍_神云瑟瑟的博客-CSDN博客本篇主要主要介绍标准链路中的临时凭证的生成和使用，以及分享链接的生成主要的pom文件二、临时凭证的生成，并使用使用永久凭证构造AssumeRoleProvider对象，然后得到临时accesskey和secretkey。然后再构造StaticProvider对象最后生成minioclient。注意点：临时凭证的默认过期时间是1个小时，可以自定义设置，但是如果设置的值小于1小时，会被
2022-07-12 18:20:54
13564
8
原创 minio之对象存储常用访问链路介绍
本文主要介绍客户端（web,android,ios,小程序），服务端，对象存储端，三端的数据流链路。其中对象存储端不仅仅适用私有部署的minio,还适用公有云的对象存储，如阿里云，腾讯云，七牛云等云厂商提供的对象存储服务。1、客户端请求上传文件2、业务系统调用对象存储获取临时凭证3、对象存储返回临时凭证4、业务系统将临时凭证返给客户端，一般还会附带上传的路径5、客户端依靠临时凭证上传文件6、上传完成后，对象存储应答客户端7、客户端上传完成对象后，应答服务端。该步骤一般是调用业务操作接口 ....
2022-07-11 17:50:35
3909
原创 yum安装docker指定版本
以安装20.10.8-3.el7版本docker为例子配置yum源库查看yum源支持的docker版本 docker按照执行命令
2022-07-04 11:23:55
7280
1
原创 Shell中的查找和替换的sed命令
替换文件中的文本命令格式：sed -i 's/<search_str>/<target_str>/g' <file_path>参数解析：search_str：需要搜索的字符串（字符串带斜杠’/‘,需要有转移’//‘）target_str：需要替换成的目标字符串（字符串带斜杠’/‘,需要有转移’//'）file_path：操作的文件路径举例：将a.txt文件中的abc字符替换为xyzsed -i 's/abc/xyz/g' a.txt替换文件夹中文件
2022-05-30 13:11:09
7077
2
原创 Linux系统用户添加到用户组
1、Linux用户与用户组相关问题如何添加一个新用户到一个特定的组中？如何同时将用户添加到多个组中？如何将一个已存在的用户移动到某个组或者给他增加一个组?基本组与附属组的区别？2、用户相关的命令解说groupadd 添加用户组useradd 增加一个新用户或者更新默认新用户信息。usermod 更改用户帐户属性。3、概念和相关文件说明在 Linux 用户系统中存在两类组。第一类是主要用户组（主组），第二类是附加用户组（附属组）。主组：也被称为primary group、
2022-04-27 14:13:57
46797
原创 chrome浏览器插件SwitchyOmega的安装（离线安装）
一、说明SwitchyOmega为CHROME的一款http代理配置插件chrome的插件的安装方式有多种类，熟悉的可以直接百度，这是一篇比较全面的说明文档：http://www.cnplugins.com/tool/three-methods-to-install-crx.html该处仅说明下载原始包安装的场景二、下载下载页面地址：https://github.com/FelisCatus/SwitchyOmega/releases直接下载地址：https://github.c
2021-08-31 16:28:40
27078
3
原创 squid安装使用
squid的安装step1：安装squidyum install squid#编辑配置#限制来源ipacl mysrc src 111.111.111.111acl mysrc src 111.111.111.222#限制目标idacl mydst dst 10.10.3.0/24acl mydst dst 10.10.4.0/24acl mydst dst 10.10.5.0/24#用户认证auth_param basic program /usr/lib64/squid
2021-06-03 09:05:04
1858
原创 spark3访问低版本hive填坑记
一、背景现有的大数据平台版本组件 版本 hadoop 2.7.3 hive 1.2.7 因业务需要引入spark组件，引用的为最新版本spark3.0.1.业务上做测试，将Dataframe数据写入hive中。二、代码scala代码package com.shenyun.scala.exchangeimport org.apache.spark.sql.types.{StringType, StructField, StructType}impo
2020-12-17 14:46:06
3936
3
原创 hbase java api指定访问用户名
在默认情况情况，我们使用hbase的java api去访问hbase的服务时，使用的hbase的服务的用户名为启动java程序的系统用户名。在有些情况下，我们要指定用户。如何指定呢，就是本文的内容。
2020-09-01 14:22:17
2665
原创 linux下添加zookeeper开机自动启动
1、安装zookeeper请自行百度，假设安装的路径为：/opt/apache-zookeeper-3.5.7-bin启动：/opt/apache-zookeeper-3.5.7-bin/bin/zkServer.sh start查看：/opt/apache-zookeeper-3.5.7-bin/bin/zkServer.sh status停止：/opt/apache-zoo...
2020-02-23 22:13:29
1782
原创 spring boot的jar包的启动，停止脚本
一、背景spring boot的项目越来越多的打包成jar包来启动了。二、脚本封装脚本名为jarboot.sh，该脚本能启动该脚本通目录的spring boot的jar包文件启动：jarboot.sh start停止：jarboot.sh stop重启：jarboot.sh restart查看状态：jarboot.sh status三、脚本源码jarboot.s...
2019-06-10 15:52:38
1281
转载 服务化最佳实践
dubbo服务化最佳实践，官方提供的解决方法：分包建议将服务接口，服务模型，服务异常等均放在API包中，因为服务模型及异常也是API的一部分，同时，这样做也符合分包原则：重用发布等价原则(REP)，共同重用原则(CRP)如果需要，也可以考虑在API包中放置一份spring的引用配置，这样使用方，只需在Spring加载过程中引用此配置即可，配置建议
2017-11-12 14:24:11
554
转载 浅谈dubbo的ExceptionFilter异常处理
本文原地址：http://blog.csdn.net/mj158518/article/details/51228649背景我们的项目使用了dubbo进行不同系统之间的调用。每个项目都有一个全局的异常处理，对于业务异常，我们会抛出自定义的业务异常（继承RuntimeException）。全局的异常处理会根据不同的异常类型进行不同的处理。最近我们发现，某个系统
2017-11-12 13:03:06
2475
原创 jenkins 选择git项目版本下框
在jenkins参数化构建的过程中，我们往往要选择git某个版本的代码来编译。这儿我们使用一个下拉框。一般我们会使用Dynamic Choice ParameterChoice Script如下def heads= ("git ls-remote -h [email protected]:xxxx/xxxx.git").execute()def headlist=heads.text.re
2017-08-31 10:41:40
2672
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-03-31 15:43:13
356
原创 流程引擎camunda集群部署方案
camunda是一个流程引擎框架，fork activiti得来，官网：https://camunda.org/集群部署的效果；1、多个机器运行流程应用2、流程有更新的时候，兼容老流程（通常新流程是添加节点，和处理逻辑）3、部署新应用的机器能执行新老job,部署老应用的机器不能执行，新应用的job修改点：1、流程定义的发布，原版中，需要发布的bpmn与数据库
2017-02-24 18:49:35
8629
1
原创 nexus推荐配置,release,snapshot账户配置
介绍：nexus主要用于公司内部对java jar包的管理，（安装请自行baidu）安装之后，有三个用户admin:默认密码为admin123（最高管理员）deployment:默认密码为deployment123(拥有发布权限，可以登录上nexus删除jar)anonymous: 免登录用户，可以在nexus界面上查看 jar包公司常使用的管理jar的方法sn
2016-12-23 17:41:32
3804
原创 spring boot 原生错误处理ErrorController
最近开始使用springboot，发现一个奇怪的现象，一个url报错使用浏览器地址请求返回一个html界面Whitelabel Error PageThis application has no explicit mapping for /error, so you are seeing this as a fallback.Tue Nov 29 10:48:26 CST 2016
2016-11-29 11:07:37
18805
原创 jndi使用druid,在tomcat中配置druid监控
1、添加druid的jar包到【${Tomcat_home}/lib】目录2、在【${Tomcat_home}/conf/server.xml】中增加jndi数据源<Resource name="jdbc/MyDataSource" auth="Container" type="javax.sql.DataSource" factory="com.alibaba.druid.p
2016-11-05 11:16:17
5976
原创 tomcat后端允许跨域访问的配置
tomcat后端允许跨域访问的配置 CorsFilter org.apache.catalina.filters.CorsFilter CorsFilter /*资料1：http://enable-cors.org/server_tomcat.html资料2：http://tomcat.apache.org/tomcat-7.0-doc/config/fi
2016-08-02 17:43:28
20111
原创 jetty9配置contextPath
jetty9配置contextPath 说明：目录结构：webapps-------demo.war-------demo.xmldemo.xml文件内容 / /webapps/demo.war
2016-05-04 17:24:50
5849
yarn-v0.23.2.tar.gz
2020-07-22
jemalloc-4.2.1.tar.gz
2020-06-16
redis中文帮助文档
2014-06-12
NPOI，c#操作excel的建议组建dll（包括详细使用手册）
2013-05-28
jqGrid3.6中文文档
2012-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人