- 博客(19)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Shell 知识点
(base) [bicorp@SVR18174HW2288 yexq]$ a=(120 "p111")(base) [bicorp@SVR18174HW2288 yexq]$ echo ${#a[*]}2(base) [bicorp@SVR18174HW2288 yexq]$ echo ${!a[*]}0 1(base) [bicorp@SVR18174HW2288 yexq]$ echo ${b[*]}100 param2for e in ${b[*]};do echo $e;don
2023-10-12 11:34:03
57
原创 【linux根据free和cache大小清缓存】
#!/bin/bash#*********************************************# [email protected]# 2020-05-07#*********************************************set -enum=100000num1=50000ch1=`free -m | awk '{if(length !=0) print $4}'|grep -Po "\d+"|head -1` #free sizech..
2022-05-16 15:52:59
252
原创 linux下用nutt发送邮件
#!/bin/sh#功能描述：通过邮件将数据按不同人员发不同地区数据body='邮件内容部分'#reportPath="/home/hotel/xxx/data/thailandreport/"reportPath=`pwd -P`echo "reportPath:"$reportPath#download txt2xls function,local则无需downloadhdfs dfs -get hdfs://ns/home/hotel/xxx/script/xxx/txt2xl
2022-02-24 11:07:48
1370
原创 Hive常用技巧记录
Hive常用技巧一、函数部分时间函数-- 2021-12-17 12:35:31.123,含毫秒格式，screenshottime是map字段select from_unixtime(cast(screenshottime as bigint) / 1000,'yyyy-MM-dd HH:mm:ss.sss') as screenshottime from (select 1612851637476 as screenshottime) a;2. 拆分函数select ..
2022-01-27 11:00:34
334
原创 clickhouse消费kafka消息
知识点：1、kafka安装以及基本命令（本文安装过程略）2、clickhouse建kafka引擎表3、clickhouse建merge引擎表（其他引擎暂无测试）另外还可以安装kafkacat工具查看kafka，本例全在本机实现，跨服务器理论上调整kafka_broker_list即可，但还未测试。一、查看kafka消息体结构[root@SVRxxxxxxIN50002 sh]# kafka-console-consumer.sh --bootstrap-server 10.x.x.x
2021-03-02 17:03:25
1094
1
原创 clickhouse关于大小表关联的问题
关于大小表关联问题，一般情况小表放在join右边消耗内存会比较小（一般不比较多并行任务建议使用这种方式），放在join左边消耗内存会比较大，下图是大小表管理案例：1、小表在后（join右边）2、小表在前（join左边）...
2020-07-14 18:36:14
4861
2
原创 clickhouse故障处理(服务器异常重启)
背景: 今天凌晨,公司项目演练,曰"**地球"，关键问题是没提前通知过，就这样我被凌晨的电话吵醒。问题：clickhouse服务被演练项目组直接断电重启，从日志看大概经过了1个半小时，我们大量clickhouse任务报错，大概50多个吧；处理经过如下：1、开机首先看service clickhouse-server status ,果然stopped,于是执行service clickhouse-server restart,结果啥信息也不提示，看状态依然是stopped；...
2020-06-29 19:01:44
9507
原创 clickhouse导入ORC格式HIVE表
1.查看hive表字段名（这里面有小坑，有时字段名在底层不是desc table出来的字段名，本案例d为分区字段，建hdfs表时不要该字段）2.创建HDFS table3.Insert Into HDFS table FORMAT ORC4.验证数据（略）...
2020-04-22 00:40:04
2537
Hadoop 0.20.2安装配置笔记(2012-2-28).doc
2012-02-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人