- 博客(44)
- 收藏
- 关注
RSS订阅原创 docker-compose搭建
9.进入kafka脚本目录：/opt/kafka_2.13-2.8.1/bin，注意：对应自己安装的kafka版本，8.进入kafka容器：docker exec -it zookeeper-kafka-kafka-1 bash。6.在文件所在目录下运行：docker-compose up -d (注意：-d是后台运行)5.创建zookeeper和kafka单点的docker-compose.yml文件。4.验证：docker-compose --version。7.docker ps查看是否启动成功。
2023-10-18 18:47:09
180
原创 浏览器不能访问阿里云ECS
进入阿里云ECS服务 -> 查看公网ip (外部连接需要使用公网) -> 进入ECS实例的网络安全 -> 安全组 -> 点击快速添加。-> 点击需要添加的外网端口，或者选择全部。
2023-10-18 12:06:44
475
原创 Flink SQL 解决No ExecutorFactory found to execute the application
报错如下Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) at org.apache
2021-04-27 20:00:35
309
原创 Flink Sql 实用记录
Sink Kafka 错误1：doesn't support consuming update and delete changes which is produced by node TableSourceScan 解答：flink1.11之后引入了CDC（Change Data Capture，变动数据捕捉）阿里大神开源的，此次错误是因为Source源是mysql-cdc所以获取的数据类型为Changelog格式，所以在WITH kafka的时候需要指定format=debezium-json..
2021-04-12 17:21:20
2428
原创 kafka命令行高级篇
查看topic offset ./bin/kafka-run-class kafka.tools.GetOffsetShell --topic topicName --broker-list localhost:9092 --time -1 查看consumer group ./bin/kafka-consumer-groups --bootstrap-server localhost:9092 --new-consumer --list ...
2021-04-12 13:00:26
209
原创 FlinkSql-Mysql
flink SQL 将msyql当做数据源阿里耙耙开源的flink-mysql-conn-cdc：https://github.com/ververica/flink-cdc-connectors 原理：获取mysql增删改查所产生的日志信息binlog，将二进制binlog数据(StringDebeziumDeserializationSchema)反序列化转化成kafka-Debezium-JSON 代码示例：此程序为mysql Binlog日志的获取 package conn;impo
2021-04-10 16:17:03
1970
转载 Redis BitMap
Redis bitmap简介在redis2.0之后，新增了位图数据，bitmap实际上不是redis的一种数据结构，而是一个一个字符串结构，只是value是一个二进制数据，每一位是0或者1 redis对bitmap提供了一套命令，可以对任一进行设置和读取 SETBIT、GRTBIT SETBIT aaa 1234 0/1 GETBIT aaa 1234 --->0/1 因为bitmap的每一位只占据1bit的空间 ，所以利用这个特性我们可以把每一天作为key，value为1亿用
2021-01-19 17:54:58
105
原创 Flink递归读取目录下文件
val parameters = new Configuration// recursive.file.enumeration 开启递归获取目录下所有文件parameters.setBoolean("recursive.file.enumeration", true)
2020-12-07 15:30:07
1793
原创 Scala编码和MySQL8.0入库问题
Scala编码和MySQL8.0入库问题1、记录使用：JSONObject包:com.alibaba.fastjson.JSONObjectscala使用过程中，解决put进去的是乱序问题val json = new JSONObject(true)true为按照LinkedHashMap存储，LinkedHashMap为有序map，put时采用<findOrAddEntry>方式根据index存储，所以有序2、MySQL入库问题：Flink存储mysql8.0时会
2020-11-23 11:46:37
130
原创 位运算符与进制计算
java位运算符运算符：与（&），或（|），异或(^)，取反（~），左移（<<），右移（>>），无符号移动(>>>) 位运算是基于二进制而言，普通的加减乘除是基于十进制，十进制更符合人类逻辑，二进制更符合计算机，涉及到CPU时钟，鄙人才学浅薄，不懂 了解位运算符需要前提条件：进制之间的转换操作进制计算二进制：二进制是由0和1组成一串数字（0000001010）：逢二进一计算规则 二进制转10进制： 比较简单：从后向前计算，依次为：
2020-09-08 23:12:37
1521
原创 redis常见问题
缓存穿透缓存穿透： 在高并发下查询key不存在的数据，会穿过缓去存查询数据库。导致数据库压力过大而宕机。解决方案：对查询结果为空的情况也进行缓存，缓存时间（ttl）设置短一点，或者该key对应的数据insert了之后清理缓存。 缺点：缓存太多空值占用了更多的空间 使用布隆过滤器。在缓存之前在加一层布隆过滤器，在查询的时候先去布隆过滤器查询 key 是否存在，如果不存在就直接返回，存在再查缓存和DB。布隆过滤器原理： 当一个元素被加入集合时，将这个元素通过n次Hash函数结果映射成一.
2020-08-18 14:13:37
158
原创 Win10任务图标变白
单纯记录一下 非常恶心的任务栏程序图标变成了白色文本样，用着不舒服，多个图标找不上谁是谁 win官方给出答复方法 具体如下 win键+R进入运行 输入%localappdata%，进入\Local目录 删除localxxx.db的文件 在任务栏右击，进入任务管理器 重启windows资源管理器 ...
2020-08-14 17:24:25
221
原创 clickhouse-kakfa
新鲜的尝试最近etl写得太多了，都是使用flink从kafka经过稍微处理写入到clickhouse 看着clickhouse官网，偶然间发现了一个有趣的东西，Kafka引擎 clickhouse默认支持kafka表引擎，kafka一些参数： 必要参数：kafka_broker_list – 以逗号分隔的 brokers 列表 (localhost:9092)。kafka_topic_list – topic 列表 (my_topic)。kafka_group_name – Kafka 消
2020-08-04 20:25:58
399
原创 ClickHouse使用记录
需求统计系统数据，日均数据量：100亿 topic：16个 落库clickhouse，分布式表 支持数据采样查询：SAMPLE BY(下面详解) 预计设计随机列作为SAMP BY 对象，但是clickhouse---->20.5版本不支持，估计以后也不会支持创建分布式表 引擎：GraphiteMergeTree随机数生成器，属于MergeTree子类 使用方法：CK链接 ENGINE = GenerateRandom(random_seed, max_string_
2020-08-03 15:16:08
907
原创 Navicat连接Mysql8.0版本报错2059的解决方案
报错原因:Mysql从8.0版本开始,使用的加密规则是 caching_sha2_password,之前的加密规则为mysql...
2020-07-28 12:13:10
241
转载 FineBI
还是数据可视化工具Tableau、FineBI?不禁联想起在微软系统出现之前，程序员的电脑系统还是用的linux，只能通过各种复杂的指令来实现字符的简单可视化；而当win系统普及于世后，计算机从此突破了技术人群的限制，交互方式从编码式实现了可视化的巨大飞跃，这才孕育出了大数据时代的可视化分析。 每一次技术时代的变革和突...
2020-07-28 10:57:52
5154
1
原创 Flink-ES使用记录
<dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>6.7.2</version> </dependency> 使用flink包:org.apach...
2020-06-28 17:55:07
902
原创 redis-搭建，水平扩展，水平伸缩
redis搭建（所有命令以及操作针对于redis>5.0） 基于docker搭建redis集群模式 docker run --net host --name dmp-redis -v /etc/localtime:/etc/localtime:ro -v /home/dmp/redis/slave01/data:/data --log-driver=none -p 对外端口:内部端口-p 对外集群通讯端口(对外端口+10000):集群通讯端口(内部端口+10000) re..
2020-06-10 13:21:19
284
1
原创 Redis性能优化
首先贴出redis内存优化结论 如若你看不上，或者有更好的方案，不吝赐教 根据公司业务选择实时数据库redis 起初用户较少qps和内存占用非常可观没有感觉到危机感， 肆无忌惮的使用内存丝毫没有感觉到危险的降临，依然洋洋得意的享受着内存服务提供的舒适与快感 当用户逐渐积累达到10亿的时候，我开始慌了 qps请求过慢（要求30ms），已然达到100+，高峰期可达到上千，还实时服务个鸡儿 内存占用过高，毫无节制的使用内存，造成服务重启，内存缓冲区溢出 这样..
2020-06-08 16:00:42
206
原创 docker搭建elasticsearch
docker搭建elasticsearch很简单，拉取镜像，然后拉取相应版本的kibana镜像elasticsearch启动命令如下docker run --name elasticsearch5.6.11 -p 9200:9200 -p 9300:9300 -e “discovery.type=single-node” -v /opt/elasticsearch/config/elastic...
2019-11-18 14:39:22
114
原创 ip匹配
使用java或者scala利用正则表达式匹配ipval regex: Pattern = Pattern.compile("((2(5[0-5]|[0-4]\d))|[0-1]?\d{1,2})(\.((2(5[0-5]|[0-4]\d))|[0-1]?\d{1,2})){3}")
2019-11-08 13:59:54
154
原创 使用es遇到的坑
随手笔记而已使用es可视化界面kibana的时候遇到一个问题，在discover可视化界面中出现时间不一致的问题，在es表结构中传入的时间@timestamp，如果为字符串类型，在es解析字符串类型时间结构的时候会根据UTC时间去解析，所以这个时间比数据的本身时间快了8小时所以如果传递的是字符串类型的时间格式的话应该在字符串中指定0800时区yyyy-MM-dd’T’HH:mm:ss.SSS...
2019-11-08 13:56:05
394
原创 YARN
YARN资源管理框架 YARNHadoop2.0中的资源管理框架（系统）他的基本思想就是MRV1中JobTracker拆分成两个独立的服务进程 一个是全局的资源管理器ResourceManager（RM）和每个应用程序持有ApplicationMaster（APPMaster） 其中RM负责资源管理和分配，APPMaster负责单个应用程序的管理 JobTracker---&g...
2018-09-27 18:46:40
146
原创 Linux（三）
目录 挂载iso镜像文件 防火墙设置 虚拟机的配置 系统服务的管理 软件的安装 yum安装 本地yum源的安装配置（hadoop1） 局域网yum源（本地yum源和局域网yum源都要配，之后两个只需要局域网yum源 配置网络源 ssh免密登录设置 虚拟机的克隆操作 挂载iso镜像文件 创建一个目录作为挂载目录 mkdir ...
2018-09-15 16:14:35
122
原创 Linux（二）
磁盘和U盘的操作 du 显示目录大小 du -sh /home 显示home目录的总大小（包含home下的文件和目录的大小） -s 总结，总计 -h 人类可读 df 显示磁盘分区的使用情况 df -h [root@hadoop01 ~]# df -h Filesystem Size Used Avail Use% Mounted on ...
2018-09-12 19:14:09
168
原创 Linux（一）
不进入系统修改密码启动虚拟机，读秒的时候按e进入grub 按e进入编辑 编辑kerneal那行（第二行） 输入空格 1 然后按回车 按b重新启动进入单用户模式 passwd root 修改root用户密码 reboot重新启动，就可以使用修改后的密码登录 Linux下对文件或目录的操作 Linux的基本操作 info +命令：查看命令详情 pwd：打印当前的工作目...
2018-09-11 17:02:02
129
原创 分页查询、统计函数、外键约束
分页查询: 假分页/逻辑分页/内存分页 一次性查询出所有的数据,存放到内存中(集合),每次翻页的时候,都是从内存中取出的指定条数 特定:翻页比较快.如果数据量过大,可以回造成内存溢出 真分页/物理分页/数据库分页 每次翻页都是从数据库中截取指定的条数, 假设每页10条数据, 第一页查询0-9条 ,第二页 10-19 .... 分页:...
2018-09-08 13:59:31
181
原创 MySQL知识点、JDBC
目录 数据库概述数据库（DataBase:DB）：DML操作MySQL的自身备份JDBC1.数据库概述2.数据库（DataBase:DB）： 数据库是按照数据数据结构，存储，组织和管理数据的仓库 ps：存储和管路仓库相当于就在磁盘上操作文件数据库管理系统： 是用于专门管理数据库，是一...
2018-09-04 17:23:17
247
原创 集合总结
CollectionList（接口）List详细解析ArrayList ArrayList解析 LinkedListList集合应用public class HomeWork { @SuppressWarnings("rawtypes") public static void main(String[] args) { /*已知有一个工人Work...
2018-08-22 19:25:26
133
原创 Map、泛型
Map:Map集合是一种映射集合，Map集合中存在一种对应关系key--value键值对要求：1.key的值必须是唯一的不能重复2.value可以重复不唯一1个key只能对应一个value，但是同一个value可以对应多个keyHashMap子类：LinkedHashMap：双向链表、没有特殊方法TreeMap：底层是红黑二叉树实现，默认提供对key从小到大排序Has...
2018-08-22 19:20:46
3137
原创 List
ArrayList和LinkedList可以在LIst中实现了一些通用的方法List接口（DRY原则）接口可以看做是一种特殊的抽象父类接口同样支持多态--接口可以接受一个实现类的引用面向接口编程同理为了达到通用性，在设计方法时，方法的参数需要时一个集合，使用接口类型作为参数的数据类型这样一来就可以在方法中使用不同的集合了public static void show（List li...
2018-08-20 17:46:47
266
原创 重写与重载
Java中的 重写与重载重载： 在java中，同一个类中两个或者两个以上的方法可以共享一个名称，只要它们的参数声明不同即可，这种情况称为方法的重载。 方法的重载分为 构造方法和普通方法的重载，方法的重载是java多态性的体现之一。 例如，在JDK的java.io.PrintStream中定义了十多个同名的pringln（）方法。 public void println（int ...
2018-08-16 13:22:20
255
原创 Collection接口
List接口collection接口提供了对数据进行基本操作的方法（添加、修改、删除、）ArrayList：ArrayList方法及解析是list接口下的一个类，是一个有序的集合，带索引的对象数组，提供了随机访问数据，遍历数据的时间（随即便利get方法，for循环是最快的），迭代器最慢。他是一个非线程安全的类，做遍历是较快ArrayList应用：public static...
2018-08-10 13:40:18
289
原创 IDEA自定义背景字体设置
先来一张效果图第一步：百度搜索idea主题上面是官网，下面是内容第二步：选择喜欢的主题记住下载最好下载到桌面，看得见的地方，记住下载jar包这就是你下载的主题jar包第三步：打开idea→File→Import Settings→到达如下界面然后将你下载好的主题jar包直接拖进如果是没有的主题就会出现下面的界面第四步：安装主题选...
2018-08-10 09:34:31
1006
8
原创 文本复制比较
字节流方法：public class Lianxi5 { publicstatic void main(String[] args) throws IOException { 使用普通流一次一个字节的方法复制文件 long t1 = System.currentTimeMillis(); FileInputStream f1 = new FileI...
2018-08-08 16:59:01
228
原创 IO流总结
IO流简介流的定义：用来处理不同设备之间的数据传输input：输入：文件中→java程序中：叫输入output: 输出：java程序中→文件中，叫输出，，把内容写到文件中按流分向：字节流：字节输入：InputStream基类、、、字节输出流：OutputStream字符流：字符输入：Reader、、、字符流：WriterInputStream字节输入流方法...
2018-08-07 18:56:58
155
原创 IO--File类
File类文件和目录路径名的抽象表达形式，具有平台无关性基本分隔符//Flie类静态成员变量 //与系统有关的路径分隔符 String separator=File.pathSeparator; System.out.println(separator); //与系统有关的默认名称分隔符 separator=File.separator; System.out...
2018-08-06 21:49:39
120
原创 Object、String、toString、equals、日期打印
Object包括数字，作为所有类的父类，没有不是Object的子类的类，Object构造方法是空参的，接口不继承Objectequals方法和toString：返回值是String指示其他某个对象是否与此对象相等，方法参数是Object类型，所以可以传入任何的数据类型public class Person extends Object { private String n...
2018-08-04 17:11:58
112
原创 设计模式
单例模式简介：单例模式就是拥有单个实例，在某个系统或者平台中，对象（实例）只需要有一个实现原理：将构造方法进行私有化（因为不进行私有化时，只要进行new就会出现新的对象，而单例模式只能允许有一个对象）所以将构造方法进行封装私有化处理1）在类的内部创建对象2）对构造器进行封装私有化3）提供一个共有的方法用来获取本类对象实现单例模式的方法：饿汉模式public c...
2018-08-04 14:43:44
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人