- 博客(11)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 RangerClient简介
1.简介Ranger作为大数据组件的权限管理工具，在大数据平台领域有很重要的地位。但由于Ranger是一个独立的组件，组件的注册，策略的修改等，都需要登录到ranger，才能进行操作，很不利于大数据平台的统一管理与操作。所以，平台需要通过内部接口集成ranger的能力。相比以往，需要手动调用http接口，最新的2.1.0版本中已经提供具体的更加方便的访问接口（对Http接口进行了二次封装）。2.引入jar<dependency> <groupId>org.apac
2021-08-19 19:05:35
353
翻译 记一次apache ranger编译问题
问题：apache ranger 编译的的过程中报如下错误[ERROR] Failed to execute goal on project ranger-kylin-plugin: Could not resolve dependencies for project org.apache.ranger:ranger-kylin-plugin:jar:3.0.0-SNAPSHOT: Failed to collect dependencies at org.apache.kylin:kylin-se.
2021-07-28 16:41:21
1195
2
原创 记一次hive部署问题
问题：部署3.3.0版本的hadoop后，部署hive2.3.1版本部署后，发现出现下面的问题：com.google.common.collect.Iterators.emptyIterator...org.apache.hadoop.hive.ql.exec.FetchOperator解决：1.看报错异常发现是guava导致的2.后面看了相关文章，发现是版本不一致导致的，然后把hive版本升级到3.1.2版本3.升级后发现guava版本还是不兼容，后面用hadoop（share/hadoop
2020-08-24 08:54:32
379
原创 springBoot图片上传转发
背景业务需要在转发app上传图片的form表单到通用能力的图片服务器实现这里采用okhttp实现，具体代码如下，直接将图片转换成字节来进行处理，以避免需要保存图片到本地再进行上传public static String post(String url, Map<String, Object> paramMap, boolean printLog) throws Exception{ MultipartBody.Builder builder = new Mul
2020-06-29 15:57:11
353
原创 SpringBoot集成Redis后，运行一段时间后发现RedisCommandTimeoutException
背景：在项目中引入SpringBoot的autoConfig来管理组件，在集成redis后到沙箱环境运行一段时间后，发现客户端连接redis就会出现超时。现象：每次调用redis执行命令的时候会出现下面这个报错：Caused by: io.lettuce.core.RedisCommandTimeoutException: Command timed out after 1 minute(s)at io.lettuce.core.ExceptionFactory.createTimeou
2020-05-19 10:20:09
12445
4
原创 索引过长导致动态建表失败问题定位与解决
昨天项目开发中遇到一个问题，在使用了shardingsphere组件的项目中，增加了一个新功能按照定时任务自动去维护数据库中天表（每月建一次2个月的天表）。开发过程中遇到下面这个报错：Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Identifier name 'uniq_house_id_site_extend_plan_status_l_house_advertised_record_20200606
2020-05-15 20:36:49
337
原创 ShardingSphere stand分片策略实现
这段时间在做业务开发时候，需要对数据进行按天分表存储，这里采取了shardingSphere中间件来管理sql路由。业务需求：支持按照esb消息中的时间戳，进行分表插入。 支持按照时间戳和其他参数进行rang查询鉴于上面的业务需求，这边采用shardingSphere的StandardShardingStrategyConfiguration作为分片实现算法具体的实现代码(shar...
2020-05-06 23:25:55
642
原创 MongoDb学习笔记-1
1.简介mongoDb是一款性能非常优秀的nosql型文档数据库，横向扩展支持很大数据量和并发。主要特点： 存储数据模型是json 不需要提前创建数据模型 4.0后支持分布式事物 多形性（同一个集合可以包含不同字段（类型）的文档对象 动态性（线上修改数据模式，修改时应用于数据库无续修改schema） 数据治理（支持对collectio...
2020-04-25 23:06:32
250
原创 spring batch出现A job execution for this job is already running异常
在使用SPring batch来处理文档时，遇见下面的问题：A job execution for this job is already running: JobInstance: id=21, version=0, Job=[channelJob]折腾了很久，发现这个问题是由于项目中使用了Spring batch中的元数据表（将Spring batch运行中的JOB和Step信息记录导
2017-05-23 10:19:04
5752
2
转载 Java系列之JDBC和ODBC之间的区别与联系
记录学习过程：JDBC简介JDBC（Java Data Base Connectivity,Java数据库连接）是一种用于执行SQL语句的Java API，它是Java十三个规范之一。可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更高级的工具和接口，使数据库开发人员能够编写数据库应用程序，同时，JDBC也是个
2017-04-12 13:24:09
729
原创 VS无法正常加载Wpf后台刷新ui的自定义控件
VS无法正常加载Wpf后台刷新ui的自定义控件今天，在用wpf制作一个UserControl被其他控件加载调用时遇到了一个问题，现在分享出来，给以后遇到这个问题的人解惑。 问题：就是这里使用了一个自定义控件，该控件中在Load函数采用了后台线程Backgroundworker来刷新UI控件中的数据。具体的代码如下所示：public partial class ParameterConfig_Ala
2017-02-24 18:10:40
1600
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人