- 博客(17)
- 收藏
- 关注
RSS订阅原创 使用Flink-SQL client通过JDBC操作mysql表
1 官网下载Flink 1.14.4版本2 移动到 /opt/module/cd /opt/module/tar -zxvf flink-1.14.4-bin-scala_2.11.tgz3 下载mysql驱动包 和 flink连接mysql的jar包cd /opt/module/flink-1.14.4/lib wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-connector-jdbc_2.11/1.14.
2022-05-21 13:31:02
1754
原创 2021-04-22
标题老唐谈面经老HR告诉真实的原因，其实也是HR行业的内幕，基本上不会透露，毕竟吃这碗饭，要有所保留。先上1个真实案例，再分析结果。小敏是刚毕业不久的HR，主要负责招聘工作，每天要搜索100个简历，运用大数据找到匹配度高的候选人，大概会有1/10的比例符合基本面。接着小敏电话邀约10位候选人，全部电话下来有的说距离远、有的已找到工作、有的待考虑的、电话不通等，基本就只剩3—4个愿意来面试。接着进入正式面试环节，HR首先要求候选人填写一份公司统一模板的履历表或安排笔试，在此特别提醒一下，千万不要随意写
2021-04-22 17:09:21
629
2
原创 Flink 1.10.0 版本 flink SQL client 操作 Hive 1.2.1
1、配置 Flink 1.10.0 的 conf的 sql-client-defaults.yaml配置如下：catalogs: - name: myhive type: hive property-version: 1 hive-conf-dir: /usr/local/hive/conf hive-version: 1.2.12、拷贝相应...
2020-03-28 20:23:06
1060
原创 Flink之滑动窗口（SlidingEventTimeWindows）
def main(args: Array[String]): Unit = { // 环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.Event...
2020-02-17 11:02:27
2666
原创 Flink之Table API 例子
//每10秒中渠道为appstore的个数def main(args: Array[String]): Unit = { //sparkcontext val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment //时间特性改为eventTime env.set...
2020-02-17 11:00:08
452
原创 Flink之SQL
def main(args: Array[String]): Unit = { //sparkcontext val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment //时间特性改为eventTime env.setStreamTimeCharacterist...
2020-02-17 10:58:40
124
原创 Flink之Table API
Table API是流处理和批处理通用的关系型API，Table API可以基于流输入或者批输入来运行而不需要进行任何修改。Table API是SQL语言的超集并专门为Apache Flink设计的，Table API是Scala和Java语言集成式的API。与常规SQL语言中将查询指定为字符串不同，Table API查询是以Java或Scala中的语言嵌入样式来定义的，具有IDE支持如:自动完成...
2020-02-17 10:55:02
188
原创 Flink之 group by
1、 如果使用 groupby table转换为流的时候只能用toRetractDstream val rDstream: DataStream[(Boolean, (String, Long))] = table.toRetractStream[(String,Long)] 2、 toRetractDstream 得到的第一个boolean型字段标识 true就是最新的数据，fal...
2020-02-17 10:53:40
3360
原创 从文件读取数据，保存到ElasticSearch，使用flink框架
package com.bigdata.flink.Flink_Sinkimport java.utilimport java.util._import com.bigdata.flink.Tranform_Operator.SensorReadingimport org.apache.flink.api.common.functions.RuntimeContextimport ...
2020-02-15 19:27:28
517
原创 强制删除python
linux - python：卸载[root@test ~]# rpm -qa|grep python|xargs rpm -ev --allmatches --nodeps ##强制删除已安装程序及其关联[root@test ~]# whereis python |xargs rm -frv ##删除所有残余文件 ##xargs，允许你对输出执行其他某些命令[root@test ~]# w...
2020-02-15 18:50:53
422
原创 使用 Flink 流处理框架读取kafka数据，直接输出
package com.bigdata.flink.Flink_DataStreamimport java.util.Propertiesimport org.apache.flink.api.scala._import org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink....
2020-02-12 21:43:50
1180
转载 金融函数
金融函数介绍1.fv函数——计算所谓的终值（future value），即基于一些假设给出的某个金融资产在未来某一时间点的价值。2.pv函数——计算现值（present value），即金融资产当前的价值。3.npv函数——计算净现值（net present value），即按折现率计算的净现金流之和。4.pmt函数——根据本金和利率计算每期需支付的金额。5.nper函数——计算定期付...
2020-01-02 19:16:47
1125
原创 spark 操作hive数据库，使用spark-sql执行hivesql语句
spark 操作hive数据库1、配置 hive-site.xml 新增vim hive-site.xml<property><name>hive.metastore.uris</name><value>thrift://hadoop01:9083</value></property> 2、拷贝 到...
2019-12-18 21:34:01
822
原创 hadoop hive spark hbase 常见端口
50070：HDFS 的 webUI的端口号8485:journal node默认的端口号9000：非高可用访问 HDFS rpc端口8020：高可用访问数据 HDFS rpc 端口8088：yarn的 webUI的端口号8080：spark 集群 master的webUI，Tomcat的默认端口号7077：spark基于standalone的提交任务的端口号，spark内...
2019-12-18 21:30:10
498
原创 flink WC socket 单词统计
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}import org.apache.flink.streaming.api.windowing.time.Timeobject WorldCountForSocket { def main(args: Array[Str...
2019-12-15 19:54:47
183
原创 Flink 简单入门 wc
Flink wordCuntpom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc...
2019-12-15 19:48:23
268
原创 JedisNoReachableClusterNodeException: No reachable node in cluster 解决
将redis 连接改为 以下代码 ，因为你写的是错的```javapackage com.qf.streaming.utilimport redis.clients.jedis.HostAndPortimport redis.clients.jedis.JedisClusterimport java.utilimport org.apache.commons.pool2.impl...
2019-12-13 10:36:03
1372
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人