- 博客(40)
- 收藏
- 关注
RSS订阅原创 Flink ON YARN 报错及解决方案
java.lang.NoClassDefFoundError: Could not initialize class org.apache.flink.runtime.entrypoint.parser.CommandLineOptions解决方案：将 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 放到 $FLINK_HOME/lib 下面JAR包下载地址：https://repo.maven.apache.org/maven2/org/apache/fli.
2021-04-27 14:08:11
1885
原创 Flink写ClickHouse的分布式表
导入 clickhouse-jdbc 依赖<!-- https://mvnrepository.com/artifact/ru.yandex.clickhouse/clickhouse-jdbc --><dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <versi.
2021-03-31 18:01:17
1141
2
原创 Flink写Elasticsearch导致Checkpoint频繁失败的解决方案
最近做的一个需求，在一个Flink程序中，根据数据里面的ip进行分流，每个流对应一个ES的索引，一共有14个索引，开启checkpoint。运行报错：有些sink始终会导致ck失败，数据量也就100条。出现这个问题后，把ck去掉，程序正常写入，不报错了。==没有ck肯定不行，所以将ck加回来，后来看了下ElasticsearchSinkBase类的代码，实现了CheckpointedFunction接口，重写了snapshotState方法，里面会根据flushOnCheckpoint成员变量判
2021-02-04 11:10:27
910
2
原创 Flink通过JDBC写ClickHouse
定义 AbstractClickHouseJDBCOutputFormatpackage cn.org.hooli.flink.api.java.io.jdbc;import org.apache.flink.api.common.io.RichOutputFormat;import org.apache.flink.configuration.Configuration;import org.slf4j.Logger;import org.slf4j.LoggerFactory;impor
2021-01-27 17:49:01
1884
1
原创 MySQL5.7安装审计插件
下载地址wget https://bintray.com/mcafee/mysql-audit-plugin/download_file?file_path=audit-plugin-mysql-5.7-1.1.4-725-linux-x86_64.zip重命名压缩包mv file_path=audit-plugin-mysql-5.7-1.1.4-725-linux-x86_64.zip audit-plugin-mysql-5.7-1.1.4-725.zip解压压缩包unzip audit
2021-01-26 09:44:05
1229
原创 Ubuntu20安装MySQL5.7
下载安装包wget https://cdn.mysql.com/archives/mysql-5.7/mysql-server_5.7.32-1ubuntu18.04_amd64.deb-bundle.tar解压压缩包tar -xvf mysql-server_5.7.32-1ubuntu18.04_amd64.deb-bundle.tar安装MySQLsudo dpkg -i mysql-common_5.7.32-1ubuntu18.04_amd64.debsudo dpkg -i li
2021-01-26 09:27:54
647
原创 使用logback写Kafka
使用logback写Kafkapom.xml<logback.version>1.2.3</logback.version><dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>2.2.0</version> <exclusions> &
2021-01-11 18:14:05
1723
1
原创 将spark输出到hdfs的文本数据压缩成gzip格式
适合Spark SQL和Spark Structured Streaming直接上代码SparkSession spark = SparkSession .builder() .appName("spark-job") .getOrCreate();RuntimeConfig conf = spa...
2020-04-01 18:00:43
2420
原创 将flink输出到hdfs的数据压缩成gzip格式
将flink输出到hdfs的数据压缩成gzip格式CompressionOutputStreamWrapper.classimport org.apache.hadoop.io.compress.CompressionOutputStream;import java.io.Serializable;public class CompressionOutputStreamWrapper ...
2019-08-14 15:30:56
2322
5
原创 \t \n（特殊字符）从外部传入java main方法里无法正常使用处理
pom导入<!-- https://mvnrepository.com/artifact/org.apache.commons/commons-text --><dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-text</...
2019-08-13 17:00:24
522
原创 Spark对多HDFS集群Namenode HA的支持
具体的配置需要参考core-site.xml和hdfs-site.xmlval sc = new SparkContext()// 多个HDFS的相同配置sc.hadoopConfiguration.set(&quot;fs.defaultFS&quot;, &quot;hdfs://cluster1&quot;, &quot;hdfs://cluster2&quot;);sc.hadoopConfigu
2018-10-16 19:19:19
1161
原创 Hive使用ORC存储的问题
类型问题： count distinct(case when num > 0 then id else null end) 问题 如果num<=0，就返回null，正常情况下这个结果为0，但是，如果id类型为bigint，那这个结果为1（错误） 解决 更改为：cast(id as string) count distinct(case when num > 0 the...
2018-04-18 17:44:05
1201
原创 ganglia与nagios组合使用
1.复制check_ganglia.py到/usr/lib64/nagios/pluginscheck_ganglia.py（自行修改的，官方的有BUG） “`!/usr/bin/env pythonimport sys import getopt import socket import xml.parsers.expatclass GParser: def init(self,
2016-05-20 15:37:29
1133
原创 ganglia安装和配置
1.安装依赖yum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig2.安装ganglia-gmetad 和 ganglia-webyum search gangliayum install -y ganglia-gmetad.x86_64 gangli
2016-05-20 15:20:45
376
原创 Sqoop增量导入Hive
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2015-12-22 10:51:25
9979
原创 Nginx + Tomcat 负载均衡 会话同步
准备软件Nginx http://nginx.org/ Tomcat http://tomcat.apache.org/download-70.cgi配置Nginxnginx.confworker_processes 1;error_log logs/error.log info;pid logs/nginx.pid;events { worker_connections 10
2015-04-09 14:43:11
547
原创 使用Spring Task实现轻量级调度
applicationContext.xml<task:annotation-driven executor="executor" scheduler="scheduler" /><task:executor id="executor" pool-size="50" /><task:scheduler id="scheduler" pool-size="1000" />Java Code@Com
2015-03-06 15:57:21
321
原创 Mybatis--Mapper文件中使用静态方法
@org.apache.commons.lang3.StringUtils@isNotBlank(name)
2015-02-11 14:29:13
4653
1
原创 Mybatis中使用ehcache
maven<!-- 二级缓存 --><dependency> <groupId>org.mybatis.caches</groupId> <artifactId>mybatis-ehcache</artifactId> <version>1.0.3</version></dependency><dependency> <groupId>net.sf.ehcach
2015-02-11 14:15:15
701
原创 Apache + Tomcat采用AJP实现负载均衡与session同步
说明：以下是基于Win7 + Apache2.2 + Tomcat7进行的配置负载均衡Apache的安装目录修改配置文件 Httpd.conf<!-- 打开注释内容 -->LoadModule proxy_module modules/mod_proxy.soLoadModule proxy_ajp_module modules/mod_proxy_ajp.soLoadModule pro
2015-02-11 11:52:54
1364
原创 SpringMVC4.1中使用FastJson
pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-...
2015-01-16 11:01:41
3154
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人