CarloPan-CSDN博客

原创 0806乌鲁木齐

- 赛里牧户大酒店，距离101公里，耗时：1.5h。---------06号 13：55到乌鲁木齐。1）取车、午餐、零售/等购买。---------07号。2）出发赛里木湖 6h。

2023-07-26 19:53:14 165

* Copyright (c) 1996, 2013, Oracle and/or its affiliates. All rights reserved.package java.sql;/** * <P>The object used for executing a static SQL statement * and returning the results it produces. * <P> * By default, only one <cod..

2022-05-10 19:54:18 1124

转载 hive INSERT INTO覆盖数据

hive INSERT INTO覆盖数据

2022-04-15 15:01:21 1704

原创 Flink 支持的Connectors版本

Overview | Apache FlinkTable & SQL Connectors#Flink’s Table API & SQL programs can be connected to other external systems for reading and writing both batch and streaming tables. A table source provides access to data which is stored in exte.

2022-02-23 16:01:34 1354

转载 mariadb 分区表

用途即使使用优化的查询，很大的表和索引也可能很慢。但是，如果目标表已分区，则读取少量分区的查询会更快。分区允许一个人在多个存储设备上分发文件。例如，我们可以将历史数据存储在较慢，较大的磁盘上（不应经常读取历史数据）。当前数据可以存储在速度更快的磁盘或SSD设备上。如果我们将历史数据与最近的数据分开，则可能需要对一个分区而不是整个表进行定期备份。查看系统是否支持分区表MariaDB [(none)]> SHOW PLUGINS;......| unix_socket

2022-02-16 09:29:00 987

原创 redis 安装

redis 官网：Redis Quick Start – Redishttps://redis.io/topics/quickstartCheck if Redis is working$ redis-cli pingPONG$ redis-cliredis 127.0.0.1:6379> pingPONGredis 127.0.0.1:6379> set mykey somevalueOKredis 127.0.0.1:6379> get mykey"som

2022-01-18 15:51:36 575

原创 Flink Forward

Flink Forward 峰会 - Flink Forward Asia 2021Flink Forward 是由 Apache 官方授权，Apache Flink Community China 支持的会议。https://flink-forward.org.cn/#agendaFlink Forward Asia 2021 峰会https://developer.aliyun.com/special/ffa2021/live#live...

2022-01-09 14:25:27 575

原创 java cpu100% 分析过程

分析工具： MAT一、准备工作1、修改tomcat/bin 中的文件：#重启启动，tomcat启动命令：./startup.sh && tail -f ../logs/catalina.out启动后，当内存不足等异常情况，会先生成文件heapdump.hprof，后期根据该文件分析程序哪里出现问题。2、使用MAT 工具分析文件heapdump.hprof1）从mat 官网下载软件包：MemoryAnalyzer-1.10.0.20200225-lin..

2021-12-30 09:48:58 781

转载 Linux下查看文件和文件夹大小

当磁盘大小超过标准时会有报警提示，这时如果掌握df和du命令是非常明智的选择。 df可以查看一级文件夹大小、使用比例、档案系统及其挂入点，但对文件却无能为力。 du可以查看文件及文件夹的大小。两者配合使用，非常有效。比如用df查看哪个一级目录过大，然后用df查看文件夹或文件的大小，如此便可迅速确定症结。下面分别简要介绍df命令可以显示目前所有文件系统的可用空间及使用情形，请看下列这个例子：以下是代码片段：[yayug@yayu ~]$ df -hFilesystem...

2021-12-30 09:02:28 475

原创 Docker官方教程

Orientation and setup | Docker DocumentationGet oriented on some basics of Docker and install Docker Desktop.https://docs.docker.com/get-started/Docker入门之官方Getting-started：Docker入门之官方Getting-started - BigBender - 博客园官方示例官方地址：https://docs.docker.com/get-s.

2021-12-05 18:20:51 637

转载 flink sql demo

转载自：Flink 1.11 SQL 快速上手，内含Demo及详细分析和使用过程，亲测可行！_search-lemon的博客-CSDN博客文章目录1. 需引入的pom依赖2. Flink SQL批处理Demo3. Flink SQL流处理Demo4. Old Planner与Blink Planner4.1 Old Planner的使用4.2 Blink Planner的优势与局限Flink各个版本之间的API有比较大的gap，笔者将程序从Flink 1.7升级到Flink 1.11时，中间遇到了很多小..

2021-11-28 16:46:54 768

转载 FLink Function DDL支持

转载:FLink Function DDL支持FLink Function DDL支持(FLink FLIP-79翻译、总结进展)_LS_ice的专栏-CSDN博客文章目录目的修改计划前提Function DDL语法创建函数语句（Create Function Statement）删除函数语句（Drop Function Statement）修改函数语句（Alter Function Statement）显示函数语句（Show Function Statement）使用场景从classpath加载UDF

2021-11-26 14:13:23 305

原创 kafka_2.13-3.0.0 Quick Start启动

Apache Kafkahttps://kafka.apache.org/30/documentation/#quickstart启动STEP 1: GET KAFKADownloadthe latest Kafka release and extract it:$ tar -xzf kafka_2.13-3.0.0.tgz$ cd kafka_2.13-3.0.0STEP 2: START THE KAFKA ENVIRONMENTNOTE: Your local envir.

2021-11-25 14:07:45 1635

转载构建一个flink程序,从kafka读取然后写入MYSQL

构建一个flink程序,从kafka读取然后写入MYSQL - 黄青石 - 博客园

2021-11-23 14:22:00 232

转载 Cannot create GC thread. Out of system resources

Cannot create GC thread. Out of system resources:linux 修改普通用户的 max user process - 彭永磊 - 博客园我使用的阿里云的ecs服务器 . 因为出现 fork: retry: No child processes 问题 , google了一下 , 大家说是要去修改/etc/security/lhttps://www.cnblogs.com/pengyonglei/p/7066641.htmlCannot create GC.

2021-11-22 22:53:51 2071

原创 Flink mysql-cdc

使用本地mysql 测试 mysql-cdc 数据到flink的过程：一、mysql 配置启动本地mysqlmysql开启binlog:我的mysql安装地址：D:\softstall\mysql stall，找打文件：my.ini增加配置：# Binary Logging.#log-bin=D:\softstall\mysqlbinloglog-bin=mysql-binbinlog-format=Rowserver-id=1001 # high version m...

2021-11-20 17:03:13 2323

原创 Flink 官网导航

配置参数 | Apache Flink配置参数 # All configuration is done in conf/flink-conf.yaml, which is expected to be a flat collection of YAML key value pairs with format key: value.The configuration is parsed and evaluated when the Flink processes are started. Changes to

2021-10-29 09:05:48 1755

转载 flink-streaming-platform-web 本地运行测试

项目地址： xflink-streaming-platform-web: 基于flink-sql的实时流计算web平台https://gitee.com/zhuhuipei/flink-streaming-platform-web.git步骤1、使用git clone 到本地后，使用IDEA打开项目2、修改数据库连接 flink-streaming-web/src/main/resources/application.properties3、在本地数据库中创建 flink_web 库，并执

2021-10-07 17:02:06 869

转载 Flink sql

1 SQL 客户端Flink 的 Table & SQL API 可以处理 SQL 语言编写的查询语句，但是这些查询需要嵌入用 Java 或 Scala 编写的表程序中。此外，这些程序在提交到集群前需要用构建工具打包。这或多或少限制了 Java/Scala 程序员对 Flink 的使用。SQL 客户端的目的是提供一种简单的方式来编写、调试和提交表程序到 Flink 集群上，而无需写一行 Java 或 Scala 代码。SQL 客户端命令行界面（CLI）能够在命令行中检索和可视化分布式应用..

2021-10-03 15:19:19 460

转载 Flink sql

1) 启动flink (1.10 , 1.13.1版本)./bin/start-cluster.sh[dq@mvxl11 flink-1.13.1]$[dq@mvxl11 flink-1.13.1]$ ./bin/start-cluster.shStarting cluster.Starting standalonesession daemon on host mvxl11.Starting taskexecutor daemon on host mvxl111.[dq@mvxl1..

2021-10-03 14:45:02 570

转载 Flink v1.12 Hive

Apache Hivehttps://hive.apache.org/正在上传…重新上传取消v1.12已经成为了数据仓库生态系统中的核心。它不仅仅是一个用于大数据分析和ETL场景的SQL引擎，同样它也是一个数据管理平台，可用于发现，定义，和演化数据。Flink 与 Hive 的集成包含两个层面。一是利用了 Hive 的 MetaStore 作为持久化的 Catalog，用户可通过HiveCatalog将不同会话中的 Flink 元数据存储到 Hive Metastore 中。例如...

2021-10-02 14:10:04 179

转载 Linux 修改命令执行的默认版本 alternatives 软链接（symbol links）和硬链接

https://blog.csdn.net/qq_16234613/article/details/78997162有时在一个系统中有多个版本程序的存在，想修改当前命令默认执行的版本。一、添加命令1、将命令路径加入环境变量　　为了实现在终端中输入命令打开程序，需要将程序可执行文件路径加入环境变量即可：　　系统环境变量设置文件：对所有系统用户都有效　　/etc/environment　　/etc/profile　　/etc/bash.bashrc　　用户环境变量设置文件：仅对当前的用

2021-08-28 16:22:54 485

转载 Hadoop YARN

旧的MapReduce架构JobTracker:负责资源管理，跟踪资源消耗和可用性，作业生命周期管理（调度作业任务，跟踪进度，为任务提供容错） TaskTracker:加载或关闭任务，定时报告任务状态此架构会有以下问题：JobTracker 是 MapReduce 的集中处理点，存在单点故障 JobTracker 完成了太多的任务，造成了过多的资源消耗，当 MapReduce job 非常多的时候，会造成很大的内存开销。这也是业界普遍总结出老 Hadoop 的 MapReduce...

2021-08-07 15:06:25 164

原创 Hadoop 关于

Hadoop主要记录了Hadoop各个组件的基本原理，处理过程和关键的知识点等，包括HDFS、YARN、MapReduce等。硬件问题：复制数据解决（RAID）分析需要从不同的硬盘读取数据：MapReduce而Hadoop提供了1.可靠的共享存储（分布式存储） 2.抽象的分析接口（分布式分析）关键技术1.数据分布在多台机器可靠性：每个数据块都复制到多个节点性能：多个节点同时处理数据2.计算随数据走网络IO速度 << 本地磁盘IO速度，大数据系统会尽

2021-08-07 14:21:47 125

原创算法学习LeetCode

LeetCode 算法题项目地址：https://github.com/violetjack/LeetCodeACByJS题目地址：https://leetcode.com/problemset/top-interview-questions/https://gitee.com/Doocs/leetcode?_from=gitee_search

2021-07-24 20:26:21 81

转载 Apache Flink 零基础入门（四）：客户端操作的 5 种模式

转载自：https://developer.aliyun.com/article/712704简介：本文主要分享 Flink 的 5 种任务提交的方式。熟练掌握各种任务提交方式，有利于提高我们日常的开发和运维效率。通过 -s 参数从指定的 Savepoint 启动：flink-1.7.2 bin/flink run -d -s /tmp/savepoint/savepoint-f049ff-24ec0d3e0dc7 ./examples/streaming/TopSpeedWindowing..

2021-07-24 19:38:31 595

转载 FLINK-启动命令2（Application 模式） -Dyarn.provided.lib.dirs

1. 背景flink-1.11 引入了一种新的部署模式，即 Application 模式。目前，flink-1.11 已经可以支持基于 Yarn 和 Kubernetes 的 Application 模式。2. 优势Session模式：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法在客户端执行。Per-Job模式：每个作业单独启动集群，隔离性好，JM 负载均衡，main 方法在客户端执行。通过以上两种模式的特点描述，可以看出，main方法都是在客户端执行，社区考虑到在客户端执行

2021-07-18 15:30:52 3379 1

转载 Spring getBeansOfType方法：获取指定类型的JavaBean

该方法用于获取Spring容器中指定类型的所有JavaBean 对象。语法：getBeansOfType(Class type)参数说明：type：指定的类的 Class 示例。返回值：容纳指定类型JavaBean对象的Map集合。示例首先获取容器中 Date 类的所有 JavaBean 名称，然后获取所有 Date 类的 JavaBean 的 Map 集合，再使用 JavaBean 名称分别获取示例对象，最后输出结果，关键代码如下：public static void...

2021-07-18 15:14:01 958

转载 alternatives命令总结

转载：https://blog.csdn.net/chenxizhan1995/article/details/102990830?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-6.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommend

2021-07-17 13:55:55 1742

转载 Java如何删除文件夹和子文件夹

Java.io包的名为File的类表示系统中的文件或目录(路径名)。该类提供了各种方法来对文件/目录执行各种操作。File类的delete()方法删除当前File对象表示的文件/目录。File类的此ListFiles()方法返回一个数组，该数组保存由当前(File)对象表示的路径中所有文件(和目录)的对象(抽象路径)。因此，要删除文件夹及其子目录和文件，您需要定义一个递归方法。示例以下Java程序递归删除指定目录-importjava.io.File;publiccla..

2021-07-14 19:27:32 3442

原创 quartz 根据cron表达式，返回最近10次运行时间

参考：https://blog.csdn.net/qq_30336433/article/details/80913610?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlog

2021-06-29 16:32:15 846

转载 yarn在快手应用实践与技术演进之路

这次分享分成三部分：1、yarn的背景。2、yarn技术改进。3、yarn未来规划。yarn的背景yarn大家都比较熟悉了，是从Hadoop1.0分离到2.0的比较重要的特性，把原来的jobtracker集中式调度变成yarn的二级调度，解决集群扩展性的问题。yarn主要是分成了三个模块，ResourceManager来管理整个集群的资源，NodeManager管理整个机器资源情况，ApplicationMaster管理整个APP的资源信息。MR/SPARK/Flink实现了自己的AM逻辑在yarn

2021-06-19 16:17:04 222

空空如也

空空如也