- 博客(66)
- 收藏
- 关注
RSS订阅原创 新装idea后的常用配置
（所有为idea new project配置默认配置的都是 File -> New Projects Settings -> Settings for New Projects）
2024-03-07 10:45:10
1925
原创 Flink实战(13)：Flink Task、Sub-Task、task slot和parallelism
flink task subtask slot相关概念解释
2022-06-13 11:22:43
1065
原创 kafka运维常用命令
1. 创建topic./kafka-topics.sh --create --partitions 1 --replication-factor 2 --topic test --zookeeper zk_host:port/chroot2. 删除topic./kafka-topics.sh --delete --topic test --zookeeper zk_host:port/chroot3. 查看topic描述信息./kafka-topics.sh --describe
2022-04-28 13:53:08
2561
原创 kafka 日志清理机制详解
说到kafka的日志清理策略，就会涉及到配置项cleanup.policy，在broker server端配置项是log.cleanup.policy，在topic级别则是cleanup.policy。所以可以是全局设置，或者单独对某个topic设置，一般不会修改默认值（即delete），根据业务需求自己单独可对topic设置其他policy。log.cleanup.policy的默认值是delete，可选项有delete/compact，在0.10版本后才可以同时配置delete,compact。
2022-04-11 17:26:12
7831
1
原创 人生警示格言
1. 吾生也有涯，而知也无涯，以有涯随无涯，殆矣。该语句来自于《庄子.养生主》。释义：人的生命是有限的，而知识是无穷的。以有限的生命去追求无穷的知识，就会弄得筋疲力尽，最终可能一事无成。就是提醒人们要专注，把有限的精力用于某一领域的知识上，才能会学有所成。切不可贪广而杂。可现实中都大多被误用，总是提倡学海无涯，却没提出重要的地方就是要选好方向，一直深耕。而不是迷失在知识的海洋里，浪费有限的生命。...
2022-04-08 13:59:52
179
原创 Java注解：@see和@link
在写代码的注释时，有时需要把内容相互关联起来，方便在查看的时候，可以直接指向其他的类、属性或方法。比如@deprecated标记的类，需要指向推荐使用的新类时，该注解就很有用了。说白了，他就是可以链接指向代码，让我们的注释更清晰易懂。可以指向包、类、方法、属性。@see注解的使用方法：@see classname@see fully-qualified-classname@see fully-qualified-classname#方法名称@see fully-qualified-classnam
2022-03-22 11:09:38
4887
原创 Flink实战(9)：Flink函数系列(2)-CheckpointedFunction
讲解实现CheckpointedFunction的关键点
2022-03-07 10:40:26
3580
原创 Flink实战(8)：Flink函数系列(1)-rich function
rich function，即“富”函数，即相比一般的function来说，他提供了更多的功能。它定义了函数生命周期的一些方法，并可以获取函数运行时的上下文。
2022-03-06 00:56:23
2263
原创 spark 广播变量和累加器使用和原理
使用通常，当传递给Spark算子（比如map或reduce）函数在远程集群节点上执行时，它在函数中使用的所有变量的单独副本上工作。这些变量被复制到每台服务器上，对远程服务器上变量的任何更新都不会传播回driver程序。通常支持跨Tasks的读写共享变量性能比较低。也就是说如果在一个算子函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量，那么这种方式是做不到的。然而，Spark确实为两种常见的使用模型提供
2022-02-28 15:12:58
1933
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人