- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 flink1.13.3集成iceberg0.12-(7)
iceberg0.12 master集成flink 1.13.3，自己下载master源码打包1. flink1.13.3下载地址1. flink1.13.3wget https://dlcdn.apache.org/flink/flink-1.13.3/flink-1.13.3-bin-scala_2.12.tgz这个包放到flink lib下wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-conn
2021-11-16 17:21:25
949
原创 flink1.12.3集成iceberg0.12-(6)
iceberg0.11 升级iceberg 0.12：release-notes 地址(采用对应的fink1.12.4版本)https://iceberg.apache.org/releases/#0120-release-notesjar包下载地址将下面两个包放到flink的lib目录下wget https://search.maven.org/remotecontent?filepath=org/apache/iceberg/iceberg-flink-runtime/0.12
2021-11-16 17:20:09
1317
原创 flink1.11.1集成iceberg0.11（hadoop_catalog）-(5)
创建hive on iceberg 外部表：下载 jar包地址;https://repo.maven.apache.org/maven2/org/apache/iceberg/iceberg-hive-runtime/0.11.0/iceberg-hive-runtime-0.11.0.jar将jar包放到hive的auxlib目录下此步骤略过进入 hivehive开启参数set iceberg.engine.hive.enabled=true...
2021-11-16 17:19:23
565
原创 flink1.11.1集成iceberg0.11（hadoop_catalog）-(4)
flink 读取 iceberg upsert数据流：读取iceberg数据// 创建执行环境envE StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings settings = EnvironmentSettings.newInstance().inStreamingMode().build();
2021-11-16 17:17:03
1071
1
原创 flink1.11.1集成iceberg0.11（hadoop_catalog）-(3)
iceberg表参数配置:iceberg表的参数配置可以配置在with模块例如：CREATE TABLE hadoop_catalog.iceberg.iceberg_t1 ( id BIGINT COMMENT 'unique id', data BIGINT) with ('write.distribution-mode'='hash'); 定义写入数据的分布：none：不洗牌行；hash : 散列按分区键分布；range : 如果表具有 SortOrder，则.
2021-11-16 17:15:44
1207
原创 flink1.11.1集成iceberg0.11（hadoop_catalog）-（2）
上一篇文章讲了flink集成iceberg需要的包，这篇讲下flink集成iceberg一些简单的demo测试1.进入sql-client.sh命令行# -j 指定 iceberg flink的集成包# -d 指定配置文件export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop classpath`./bin/sql-client.sh embedded -j /opt/iceberg0.11/iceberg-flink-runtime-0...
2021-11-16 17:10:56
1229
原创 flink1.11.1集成iceberg0.11（hadoop_catalog）-(1)
确定 cdh 环境，flink集群已经准备好cdh 6.3.2 flink1.11.1 scala2.11需要的包：iceberg集成flink包https://repo.maven.apache.org/maven2/org/apache/iceberg/iceberg-flink-runtime/0.11.1/iceberg-flink-runtime-0.11.1.jarhttps://repo.maven.apache.org/maven2/org/apach.
2021-11-16 16:59:27
550
原创 keepalived+mycat+mysql框架搭建
介绍Keepalived: v1.2.13Linux:centos x64 6.8版本Mycat:1.5.1版本Mysql:5.6.21版本nc: 1.84-24ipvsadm: 1.26-4jdk:1.7架构介绍：四台主机：Master：192.168.118.128Slave：192.168.118.129DBMaster：192.168.
2017-09-01 09:05:35
4664
2
原创 从零开始搭建maven+springmvc+mybatis web项目(3)---springmvc流程测试
前面的文章已经讲过了如何搭建一个maven+springmvc+mybatis的web项目环境。现在我们需要写一些实体类来跑一下springmvc的整体流程。上面的图片是整个java后台的结构，用红线框出来的部分你们不用理会，首先，在java目录下面我新建了一个com.zhengtx的包，然后在包里面分了一个小模块，controller,dao,entity,service.我们先看一下当一个请
2016-12-09 13:52:32
483
原创 从零开始搭建maven+springmvc+mybatis web项目(2)---springmvc配置文件编写
maven项目的目录结构，在上一章我已经讲过了。下面开始springmvc配置文件的编写过程。首先我们要知道有哪些配置文件需要编写。 上面图片标出的就是一个最简单的springmvc项目的一些配置文件。我们从pom文件开始看。首先是app-java的pom文件。下面是我搭建项目一些包的引入.和slf4j,jetty,zxing有关的包你们可以不用导入。<?xml version="1.0"
2016-12-09 11:48:08
618
原创 从零开始搭建maven+springmvc+mybatis web项目(1)---maven项目目录创建
我用的是intellij idea首先，先创建一个整体项目moudle，然后在项目module下面创建两个子module,app-java和app-web,前者用来保存后台接口代码，后者用来保存前端代码。如下图所示： 按照下图所示，创建app-java项目结构，和app-web项目结构注意各个module的pom文件的配置； pom 文件打包方式，如果pom1文件<packaging>jar</
2016-12-09 10:44:44
447
flink-sql-connector-hive-2.3.6_2.11-1.11.0.jar
2021-11-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人