- 博客(550)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Flink 导航
Flink , 运行框架 , DataStream , 窗口 , 时间语义 , 处理函数, 状态管理 , 容错机制 , Flink SQL
2023-06-05 22:47:31
242
原创 Hadoop 导航
注意点 ：Bug :StandbyException): Operation category WRITE is not supported in state standby. 解决方案QuorumException: Got too many exceptions to achieve quorum size 2/3 解决方案Operation category READ is not supported in state standby 解决方案FileNotFoundException: java.i
2023-04-16 19:02:17
497
原创 Kakfa 导航
Kafka 分区策略 压缩算法 消息不丢失 拦截器 TCP管理 幂等 消费者 位移主题 重平衡 位移提交 CommitFailedException 多线程消费者 消费进度 副本机制 请求处理 重平衡 高水位 Kafka控制器 主题管理 动态配置 消费组位移
2023-03-02 19:04:37
207
原创 Spark 导航
RDD DataFrame 概述 Standalone 部署 配置项, 进程模型 开发原则 特征工程 Spark UI DAG Join 模型训练 调度系统 SQL优化机制 [Pipeline] Shuffle Catalyst 内存管理 Tungsten 内存运用 AQE 广播/累加 DPP 存储系统 Join大小表 CPU Join大大表 磁盘 应用调优 网络 Spark_Hive
2023-03-02 18:22:07
273
原创 MySQL 导航
基本架构 日志系统 InnoDB 刷脏页 InnoDB/Memory 事务隔离 索引 全局锁 间隙锁 count 内部临时表 全表扫描 MySQL 主备一致 主从切换 提升性能 kill 不掉 缩表空间 复制表 权限 恢复数据
2022-01-05 11:48:16
865
原创 Net TCP 序列号
初始化序列号 ISN 通过算法随机生成：ISN = M + F(localhost, localport, remotehost, remoteport)
2023-07-20 20:18:38
376
原创 Net TCP 概述
TCP : 在传输层 , 保证网络包的无损坏、无间隔、非冗余、按序TCP : 面向连接、可靠、基于字节流的传输层通信协议建立 TCP 连接信息。
2023-07-20 20:12:15
323
原创 Net HTTP_1.1 优化
客户端重新发送请求时，请求头 Etag = 第一次请求的响应头部的摘要 (唯一标识), 服务器本地摘要与请求摘要对比。无损压缩: 资源压缩后, 还能恢复原样，适合: 文本文件、程序可执行文件、程序源代码。重复性 HTTP 请求 , 将请求-响应数据缓存在本地 , 下次请求直接拿本地数据。性能 : 重定向请求越多, 客户端发 HTTP 请求优越多, 网络性能就越低。合并请求的方式: 合并资源, 将多个小资源的请求合成一个大资源的请求。有损压缩: 压缩后, 只能恢复接近原样, 如: 音频、视频、图片。
2023-07-17 20:28:06
1812
原创 OS 文件空闲空间
空闲表法 : 将所有空闲空间建立一张表，表内容 : 空闲区的第一个块号 , 块数。空闲链表法 : 通过链表管理空闲空间，每个空闲块中有个指针指向下个空闲块。Linux 文件系统用位图方式 : 管理空闲空间。位图 : 用二进制位表示磁盘的盘块的使用情况。
2023-07-16 14:38:00
153
1
原创 OS 文件IO
read 请求在数据未准备好时 , 就返回，并轮询内核是否准备好数据，当数据准备好，等待内核将数据拷贝到应用程序缓冲区，read 才返回结果。read 线程会阻塞，自到内核准备好数据，并将数据从内核缓冲区拷到应用程序的缓冲区中完成，才返回。阻塞 I/O , 非阻塞 I/O , 基于非阻塞 I/O 的多路复用都是同步调用。I/O 多路复用 : 当内核数据准备好时，通过 IO 事件通知应用操作。异步 I/O : 内核数据准备好 , 数据从内核态拷贝到用户态都不等待。
2023-07-13 19:55:19
227
1
原创 OS 零拷贝
缺点 : 数据传输 , 要 CPU 全程接入 , 浪费 CPU 资源传统 I/O : 要进行 4 次用户/内核态的上下文切换 , 4 次数据拷贝。
2023-07-13 19:54:37
209
1
原创 OS 互斥/自旋锁
自旋锁 : 通过 CAS (Compare And Swap) 在用户态完成加锁/解锁。互斥锁开销成本 : 2 次线程上下文切换。
2023-07-13 19:46:53
96
1
原创 OS 多级页表
多级页表 (Multi-Level Page Table) : 解决简单分页的空间问题利用程序局部性 , 当需要时 , 才会创建二级页表将二级分页升级成多级页表 , 利用局部性 , 内存空间会更小。
2023-07-12 20:21:54
403
1
原创 JVM GC 区别
并行收集器 [吞吐量优先] : Parallel Scanvenge、Parallel Old。串行收集器 : Serial , Serial Old。并发收集器 [停顿时间优先] : CMS、G1。
2023-06-29 20:29:02
626
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人