- 博客(270)
- 资源 (240)
- 收藏
- 关注
RSS订阅原创 kudu clickhouse 添加字段删除字段
alter TABLE fact_cpu_supply_category add columns(supplier_name string COMMENT ‘供应商名称’);Nullable(String) DEFAULT NULL COMMENT ‘备注’;impala 或hive 给指定kudu库中的表添加列，修改列并调整列位置。String DEFAULT ‘’ COMMENT ‘备注’;–clickhouse 添加字段。
2023-05-10 17:36:35
1036
1
原创 Linux系统下安装Redis-7.0.0
一、准备工作1、下载安装新版的gcc编译器redis的安装需要gcc环境的支持，所以首先要检查下服务器上时候已经安装了gcc环境。离线安装gcc包执行安装命令：rpm -ivh *.rpm --nodeps --force1.1 下载Redis客户端Redis官方网站：Download | Redis Redis中文官方网站：CRUG网站 (redis.cn)可以直接通过上图的Redis官网平台下载安装包，下载后的安装包要通过FTP工具上传到linux环境下，这里我使用
2022-05-27 10:06:34
1779
原创 apache-kylin-4.0.1-bin-spark2问题
1、问题2022-05-22 09:14:16,233 ERROR [Thread-1] application.JobMonitor : Job failed the 0 times.java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/protobuf/generated/MasterProtos$MasterService$BlockingInterface at java.lang.Class.forName0(Native Metho
2022-05-22 11:08:28
371
原创 seatunnel同步oracle到clickhouse问题
拷贝oracle的包ojdbc6-11.2.0.4.jar到/opt/spark-2.3.3/jar目录下## How to solve the Error `Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE`?The reason is that the version of httpclient.jar that comes with the CDH version of Spark is lower, and The
2022-05-08 15:40:24
1977
原创 给datart 生成tomcat的ssl证书
一、使用JDK自带的工具生成数字证书keytool.exe 命令位于Java\jdk1.8.0_121\bin的目录下，如果没有配置Jdk的环境变量，就要进入目录再使用。相关命令：keytool -genkey -alias tomcat(别名) -keyalg RSA(生证书的算法名称，RSA是一种非对称加密算法) -keysize 1024(密钥长度,证书大小) -validity 365(证书有效期，天单位) -keystore W:/tomcat.keystore(指定
2022-04-22 22:53:38
583
原创 kylin时间 天数 月份处理
TIMESTAMPADD(DAY, -365,CAST(time AS timestamp))TIMESTAMPADD(MONTH, -12,time)
2022-04-21 10:31:43
396
原创 kylin 跑 cube的日志信息 Starting to launch local task to process map join
原始java 堆大小为2G；kylin跑cube的日志信息：修改java堆大小为4Gkylin跑cube的日志信息：
2022-04-18 19:17:25
1347
原创 Kylin的垃圾清理
在Kylin运行一段时间之后，有很多数据因为不再使用而变成了垃圾数据，这些数据占据着大量HDFS、HBASE等资源，当积累到一定规模时会对集群性能产生影响。这些垃圾数据主要包括：1、Purge之后原Cube的数据2、Cube合并之后原Cube Segment的数据3、任务失败中未被正常清理的临时数据文件4、已经过时的Cube构建的日志和历史任务为了对这些垃圾数据进行清理，Kylin提供了两个常用的工具。特别注意：数据一经删除将彻底无法恢复！建议使用前一定要进行元数据备份，并对目标资源删除之前进行谨
2022-04-11 21:00:02
3438
原创 备份hive表结构
#!/bin/bash#导出指定数据库下所有的表hive -e “use cd; show tables;” > hive_tables.txtsleep 3#导出指定数据库下所有的表的表结构cat hive_tables.txt |while read eachlinedohive -e “use cd; show create table $eachline” >>hive_tableDDL.txtdone...
2022-02-14 11:40:59
1144
原创 oracle建定时任务
1、新建定时任务DECLARE JOB NUMBER ;BEGIN dbms_job.submit ( JOB => JOB, what => 'UPDATE /*+ parallel(32) */ TEST T SET T.TEST_ITEM_TYPE_CODE = ''^OTHER^'' WHERE T.CODE IS NULL;', next_date => SYSDATE, INTERVAL => 'TRUNC(SYSDATE + 1) + （9*60
2021-10-11 16:56:08
194
转载 Java实现pdf和Excel的生成及数据动态插入、导出
Excel、PDF的导出、导入是我们工作中经常遇到的一个问题，刚好今天公司业务遇到了这个问题，顺便记个笔记以防下次遇到相同的问题而束手无策。公司有这么两个需求：需求一、给了一个表单，让把查出来的数据组装到表单中并且提供以PDF格式的下载功能。需求二、将数据查出来以Excel表格的形式下载下来。二、Java实现PDF的生成和数据动态插入、导出功能1、第一步：PDF制作模板因为PDF常用的软件不让支持编辑，我们就先使用WPS以Word的形式进行编辑制作出与客户需求一样的样式，然后直接另存为 .pdf
2021-07-13 10:33:03
206
原创 mysql 打印两个时间之间的时间序列
select a.cday as '日期',case when a.num is NULL then 0 else a.num end as '人次/日' from (select a.cday,b.num from (SELECT @cdate := DATE_ADD(@cdate, INTERVAL +1 DAY) cdayFROM( SELECT @cdate := DATE_ADD('2020-03-01', INTERVAL -1 DAY) FROM cdr_bi_log) t0W
2021-06-18 10:05:26
260
原创 hive加减月份，获取上个月日期（前几个月）
1，如果拿到的日期格式不是标准格式(yyyy-MM-dd HH:mm:ss)，先转成时间戳。select unix_timestamp('202105', 'yyyyMM') from ****; --返回结果：16197984002，再将时间戳转成标准时间格式。select from_unixtime(unix_timestamp('202105', 'yyyyMM'), 'yyyy-MM-dd HH:mm:ss') from ***;--返回结果：2021-05-01 00:00:
2021-05-27 17:42:33
18548
原创 python 执行kylin失败的定时任务
1、conf.ini 配置文件内容[students]host=*.*.*.*port=7070[path]kylin_home=/opt/apache-kylin[sleep]job_time=120resquest_time=60[user]user=用户名pass=密码[count]count=50[Naenvvar]AUTO=true2、python脚本#coding=utf-8import jsonimport timeimport osimpo
2021-03-26 11:13:44
233
2
转载 Centos 7 离线安装 requests 库
转自：https://blog.csdn.net/xyy1028/article/details/106755323因为一些特殊原因，Linux机器可能没有外网，并且 Centos 7 默认自带的python版本为 2.7.5左右，且没有 pip 命令，但是有时又需要利用第三方库，这时候只能进行离线安装我们可以在https://pypi.org/ 和https://www.lfd.uci.edu/~gohlke/pythonlibs/网站下载相应的离线包1.安装setuptool...
2021-03-26 10:32:04
946
转载 Java 实现 pdf 和 Excel 的生成及数据动态插入、导出
转载：https://mp.weixin.qq.com/s/xVmpgSMs8ROir3krVtoBEg一、序言Excel、PDF的导出、导入是我们工作中经常遇到的一个问题，刚好今天公司业务遇到了这个问题，顺便记个笔记以防下次遇到相同的问题而束手无策。公司有这么两个需求：需求一、给了一个表单，让把查出来的数据组装到表单中并且提供以PDF格式的下载功能。需求二、将数据查出来以Excel表格的形式下载下来。二、Java实现PDF的生成和数据动态插入、导出功能1、第一步：PDF制作模板
2021-03-13 10:10:57
468
1
转载 Hutool Java 工具类库导出 Excel，超级简单！
转自：https://mp.weixin.qq.com/s/WuNosrn2fukW93SMwyIPfA前言在开发应用系统的时候，导出文件是必不可放的功能。以前用过POI、easyexcel等工具的导入导出功能，但总感觉太麻烦了，代码特别多，感觉并不是很好用。今天给大家介绍一款新工具，java工具类库Hutool。Hutool简介Hutool是一个小而全的Java工具类库，通过静态方法封装，降低相关API的学习成本，提高工作效率，使Java拥有函数式语言般的优雅，让使用者更轻松。
2021-03-13 09:57:15
338
原创 微信支付SDK wx-sdk 打包安装到本地maven仓库
官方SDK为3.0.9版本同样也是基于maven构建，只不过没有上传到maven的公共仓库，那么我们就可以自己动手打成jar包从而导入本地maven项目。1、下载官方sdk项目官方https://pay.weixin.qq.com/wiki/doc/api/jsapi.php?chapter=11_1修改配置文件WXPayConfig的抽象属性。原版的缺省（default）抽象属性只能在同一个package下可见，在不同package下面缺省属性是没有访问权限的，跨包必须改成公共publi.
2021-01-20 17:20:31
3194
2
原创 2020-12-29——定时任务
1、/var/spool/cron/这个目录是以账号来区分每个用户自己的执行计zhi划ls /var/spool/cron/-rw-------. /var/spool/cron/root-rw-------. /var/spool/cron/user1-rw-------. /var/spool/cron/user22、查看定时任务crontab -l1 2 * * * sh /opt/xx/xx.sh3.服务重启3.1 /etc/init.d/crond rest...
2020-12-29 11:33:01
81
原创 hive 查询某个月天数,两个日期相差天数
select substring(时间,1,4) as 年,substring(时间,6,2) as 月份,COALESCE(CAST(sum(num1) as double),0) as num1,COALESCE(cast(SUM(NUM2) as double),0) as NUM2 ,cast((datediff(last_day(substring(时间,1,10)),trunc(substring(时间,1,10),'MM')) + 1) as double) as ts from 表 .
2020-10-29 15:38:13
13973
原创 sql server 时间格式不同意处理yyyy_m转换成yyyy_mm
图中出现了两种时间格式yyyy_mm和yyyy_m，需要把yyyy_m时间格式转换成yyyy_mm；解决方案，通过用cas when和len函数处理。select case when len(time)=6 then REPLACE(CONVERT(varchar(10),time,120),N'-','-0') else time end as timefrom ...
2020-04-26 12:44:16
717
原创 columns has 234 elements while hbase.columns.mapping has 92 elements (counting the key if implicit))
我正在尝试使用现有的Hbase表创建和集成Hive表。它创建了一个蜂巢表。但是当我尝试hive视图时，它会抛出以下异常，尤其是当列数超过数量时。我检查了hbase和hive中的＃列相同。没有得到适当的解决方案来调试它columnshas234elementswhilehbase.columns.mappinghas92elements(countingthekey...
2020-04-05 19:22:44
1350
原创 记录建hbase对应hive外表坑
建hbase对应hive外表时，把hbase对应字段写成小写时，hive外表用select count(*) fromhive外表名，统计有条数；但是用select * fromhive表时显示0记录；解决问题：建hbase对应hive外表时，把hbase的字段全改为大小，问题解决。...
2020-03-31 12:16:13
883
原创 hive 计算年龄
if(datediff(b.admission_time, CONCAT(substring(b.admission_time, 0, 4), substring(b.date_of_birth, 5, 7)))>= 0, (substring(b.admission_time, 0, 4) - substring(b.date_of_bir...
2020-03-14 21:28:10
3695
原创 mysql 备份与还原
1、新建shell脚本mysql_user="root" #MySQL备份用户mysql_password="密码" #MySQL备份用户的密码mysql_host="IP"mysql_port="3306"mysql_charset="utf8" #MySQL编码backup_db_arr=("test") #要备份的数据库名称，多个用空格分开隔开 如("db1" "db2" "...
2020-02-27 10:32:46
258
原创 为什么要学习软件架构设计原则
我们为什么要学习软件架构设计原则？ 首先，我们要搞明白什么是软件架构设计原则？软件架构设计原则，一共有七个：1、开闭原则 开闭原则是指一个软件实体如类，模块和函数应该对扩展开放，对修改关闭。用抽象构建框架，用实现拓展细节。可以提高软件系统的可复用性及可维护性。开闭原则，是面向对象设计中最基础的设计原则。它指导我们如何建立稳定灵活的系统，如遇到产品迭代，需求变更的时候。在不...
2020-02-24 15:30:49
1605
转载 分布式任务调度平台XXL-JOB
一、分布式任务调度概述什么是任务调度平台任务调度是指基于给定的时间点，给定的时间间隔又或者给定执行次数自动的执行任务。我们可以思考一下在以下场景中，我们应该怎么实现： 支付系统每天凌晨 1 点，进行一天清算，每月 1 号进行上个月清算； 电商整点抢购，商品价格8点整开始优惠 12306 购票系统，超过 30 分钟没有成功支付订单的，进行回收处理 为什么需要任务...
2019-12-16 11:01:28
276
转载 你离可视化酷炫大屏只差一套 Kylin + Davinci
以下文章来源于apachekylin，作者高亚山、夏邢什么是KylinKylin 提供与 BI 工具的整合能力，如 Tableau，PowerBI/Excel，MSTR，QlikSense，Hue 和 SuperSet。但就可视化工具而言，Davinci 良好的交互性和个性化的可视化大屏展现效果，使其与 Kylin 的结合能让大部分用户有更好的可视化分析体验。什么是Davinci...
2019-12-05 09:10:56
683
原创 kylin汉字乱码问题
修改hive元数据字段类型：视图中有中文字符时，元数据中显示乱码，查询视图 数据为空 ，修改hive元数据的这两个字段的字符编码解决上述问题。ALTER TABLE TBLS CHANGE view_expanded_text MEDIUMTEXT CHARACTER SET UTF8ALTER TABLE TBLS MODIFY COLUMN VIEW_ORIGINAL_T...
2019-11-22 15:40:11
1441
转载 【hive】String to Date 转化大全
Input column name: dt (String).Replace dt with your column name.Input Format Code Output Format ddMMyyyy to_date(from_unixtime(UNIX_TIMESTAMP(dt,’ddMMyyyy’))) yyyy-MM-dd dd-MM-yyyy ...
2019-10-30 18:13:55
10451
原创 DBeaver连接ClickHouse实操
DBeaver和ClickHouse已经安装好。DBeaver连接ClickHouse需要开放远程访问权限。先查看ClickHouse server端监听端口的状态：[root@cdh-node001 clickhouse-server]# lsof -i :8123COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE...
2019-10-22 16:11:43
4609
5
原创 从hive导入数据到clickhouse中
一、从hive中导出csv格式的数据：hive -e "select * from tablename limit 1000" | tr "\t" "," > /opt/hadoop/tablename.csv二、把csv格式的数据导入到clickhouse中：clickhouse-client -h 127.0.0.1 --query='INSERT INTO tablena...
2019-10-17 16:58:39
4645
2
原创 hive 两列字符串拼接成一列和空字符串处理
使用函数CONCAT(a,b)可以把两列字符串拼接空字符串处理：在mysql中，ifnull函数的用法，其表达式如下IFNULL(expr1,expr2) 如果 expr1 不是 NULL，IFNULL() 返回 expr1，否则它返回 expr2。IFNULL()返回一个数字或字符串值，取决于它被使用的上下文环境。然而，在hive写HQL的时候，ifnull函数...
2019-08-12 10:45:24
3697
原创 kylin中的sum统计结果为null处理
select SUM(***—_NUM) as num from ***_** WHERE ***_DATE = '2019-08-06 00:00:00.0' 在8月6号这天没有数据时kylin返回null前端页面执行报错返回null数组解决方案：select COALESCE(SUM(***—_NUM),0) as num from ***_** WHERE ***_D...
2019-08-07 08:44:00
1347
原创 hive计算时间差
参考：https://blog.csdn.net/sinat_40431164/article/details/808139781、首先String to Date格式yyyy-MM-dd to_date(from_unixtime(UNIX_TIMESTAMP(dt,’yyyy-MM-dd’))) yyyy-MM-dd 2、再次使用函数datediff(...
2019-08-05 08:34:49
7304
原创 前端Table数据导出到Excel中
一、实现原理：1. 前端查询列表数据并渲染至table(<table>...</table>)表格2. 表格html代码传输至后台3. 后台把html转成Excel输出流返回前端4. 前端自动调用下载器完成下载注：因为渲染之后的hmtl代码数据量有可能很大，因此要使用POST方式的form表单方式提交。后台转换代码:必要的jar包，maven项目...
2019-07-31 15:52:17
804
原创 kylin计算两列时间相差天数
select TIMESTAMPDIFF(day,date'2012-01-01', date '2014-02-01')执行结果：*****_EXTERNAL两列时间ADMISSION_TIME和DISCHARGE_TIME 为varchar类型：查询*****_EXTERNAL表数据：select * from ***_EXTERNAL where VISIT_I...
2019-07-17 16:09:41
913
原创 kylin问题记录
1、kylin可以先全量cube再增量cube吗回答：不可以；要么全量，要么增量解决方案：建立两个mode，在增量mode中的Model Designer的最后一步Settings来添加分割时间列;再建立两个cube---一个相同的全量cube和一个相同的增量cube(有时间分割)我正在尝试使用现有的Hbase表创建和集成Hive表。它创建了一个蜂巢表。但是当我尝试查询hive表...
2019-07-15 10:47:40
246
ctrip_tec_2018_collections_携程
2019-02-21
Elasticsearch搜集的资料
2018-12-29
flink大厂实战经验.zip
2021-06-22
Elasticsearch7.10.0集成IK相关性同义词改源码实现MySql5.7.2实现远程动态同义词词库实时更新.pdf
2021-06-22
离线安装用到的 requests 和pip库
2021-03-26
2019年5月11号_Apache Flink China Meetup - 上海站 Meetup.zip
2019-05-21
Apache Kafka × Apache Flink Meetup-北京站20190512.zip
2019-05-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人