- 博客(16)
- 收藏
- 关注
RSS订阅原创 使用spring restTemplate的坑
文章目录广告项目需求方案问题测试结果广告项目需求广告点击事件转发方案接受请求，将结果发送kafka缓存@GetMapping("/test") public String test(HttpServletRequest request) { final String queryString = request.getQueryString(); log.info("{}",queryString); return queryString; }将结果转发给
2021-03-04 12:00:47
297
2
原创 flink StreamingFileSink 写到hive 表中不能加载
创建cdp_src_tenant_1 库，创建text 分区表create database cdp_src_tenant_1 ;use cdp_src_tenant_1 ;CREATE TABLE IF NOT EXISTS text(event_code string,tenant_id string,msg_id bigint,to_user_name ...
2020-04-22 16:03:13
1233
原创 flink1.9 on yarn 使用httpclient报错
Caused by: java.lang.ClassNotFoundException: INSTANCE at org.apache.http.conn.ssl.SSLConnectionSocketFactory.<clinit>(SSLConnectionSocketFactory.java:144) at org.apache.http.impl...
2020-04-22 15:44:46
319
原创 cdh 5.12 Permission denied. user=hbase is not the owner of inode=hbase-staging
查看hbase regionServer日志/var/log/hbaseERROR org.apache.hadoop.hbase.coprocessor.CoprocessorHost: The coprocessor org.apache.hadoop.hbase.security.access.SecureBulkLoadEndpoint threw java.lang.IllegalS...
2020-02-21 09:59:23
1121
原创 linux 安装FTP vsftpd
规则chroot_local_user=YESchroot_local_user=NOchroot_list_enable=YES所有用户都被限制在其主目录下 2.使用chroot_list_file指定的用户列表，这些用户作为“例外”，不受限制所有用户都不被限制其主目录下 2.使用chroot_list_file指定的用户列表，这些用户作为“例外”，受到限制chr...
2019-11-22 18:02:31
93
原创 azkaban配置任务失败重试
retries=1 ##失败的job的自动重试的次数retry.backoff=10000 ##重试的间隔（毫秒）创建spring.jobtype=commandcommand=echo "spring start... now is : ${azkaban.flow.start.year}-${azkaban.flow.start.month}-${azkaban.flow.sta...
2019-11-18 17:52:21
7287
原创 cdh hive sql beyond physical memory limits
执行hive sql 报错Diagnostic Messages for this Task:Container [pid=90789,containerID=container_1571820788006_0025_01_000021] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physic...
2019-11-05 16:51:52
248
原创 azkaban配置任务邮件
在一下配置文件中加入配置azkaban-3.57.0/azkaban-web-server/conf/azkaban.propertiesazkaban-3.57.0/azkaban-exec-server/conf/[email protected]=smtp.163.commail.port=587mail....
2019-10-23 14:08:37
1658
原创 azkaban 源码编译安装
azkaban是开源的分布式调度框架，但github上并没有提供安装包，需要下载源码编译安装git地址：https://github.com/azkaban/azkaban （最新的release版本：Release 3.57.0）官方文档：https://azkaban.readthedocs.io/en/stable/并且azkaban是以tag形式管理代码的编译git clone ...
2019-06-26 16:20:34
516
原创 非root用户yum安装
以安装zip为例：查看你需要安装的包yum list 'zip*'下载rpm包yumdownloader zip.x86_64解压rpm包rpm2cpio zip-3.0-11.el7.x86_64.rpm | cpio -idvm添加环境变量vim .bashrcexport ZIP_HOME=/home/hadoop/zipexport PATH=$Z...
2019-06-24 14:41:41
7229
原创 flink 1.6.3批任务 bug fix
flink 1.6.3在执行批任务的时候，如果operator的并行度不同，有些任务执行完，jobManager直接会kill掉未完成的任务,会抛以下异常Caused by: org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Lost connection to task manager '...
2019-06-19 19:06:16
1863
原创 手动清除Linux的Swap分区
物理内存接近饱和时，系统会自动将不常用的内存文件转储到Swap中，但Swap使用率达30%的时候对系统性能可能有一定影响。但当物理内存重新释放时，储存在Swap分区的其它应用不会重新回到物理内存中，所以会造成一定影响，此时可以考虑手动刷新Swap分区清除（关闭会清除）swapoff -a重新打开swapon -a刷新swapoff -a && swapon -a...
2019-06-15 16:26:39
765
原创 hive批量删除表 shell脚本
#!/bin/shdatabase=defulthive -e "use ${database}; show tables;" |grep order_ |while read linedoecho -n "drop table ${line};" >> droptables.txtdonetables=`cat droptables.txt`echo ${tables...
2019-06-13 10:41:14
1640
原创 hdfs 存储测试
hdfs存储测试对比数据格式数据格式存储格式TEXTFILESequenceFileRCfileAvroParquetORC数据大小65G67G61.5G68.2 G28.9 G8.3Gload hive use times286.319 seconds118.45 seconds106.212 seconds163.988 second...
2019-06-04 15:49:12
227
原创 mtputty 中菜单不小心隐藏
windows下mtputty菜单不小心隐藏，没有使用alt+F无法还原的话，配置文件位置：C:\Users\sxk\AppData\Roaming\TTYPlus\mtputty.xml <GUI> <Pos Left="1553" Top="56" Right="3216" Bottom="700" Maximized="1"/...
2019-05-05 12:24:19
1127
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人