- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 kafka笔记-KafkaProducer
KafkaProducer1. 主要的成员变量KafkaThread：producer启动的时候会创建一个线程，这个线程里面有个重要的SenderSender:sender也是在producer初始化化的时候创建的,两个重要的东西KafkaClient（即NetWorkClient）,还有个重要的东西RecordAccumator发送数据的时候会调用recordAccumator.append方法，recordAccumator内部有个暂存数据的ConcurrentMap,这里主要维护了一个
2021-04-03 20:37:17
131
原创 hadoop原理巧用到异地机房双活
为什么要考虑hadoop集群异地双活？因为我们一般集群的建设基本上都是部署在同一个地方，为了保证公司业务24小时不间断服务，所以必须要考虑集群的高可用，而我们常见的高可用一般是给A集群搞个灾备集群B集群，A、B集群不会再同一个机房，A、B集群的数据同步依赖于hadoop自身提供的工具distcp，那么discp有什么缺点呢。1.长时间占用yarn资源2.一般只同步重要的部分数据（这一点其实没毛病）3.两个集群必须所有节点必须网络畅通4.天级别数据延迟，因为我们可能一天24小时都在同步...
2020-07-02 01:13:57
2205
1
原创 idea右键run一个mini-hadoop集群
仓库地址：https://github.com/changkunw/hadoop-mini-cluster这个代码是我从hadoop的源码里面扣了一部分出来，然后做了些修改，可以实现在idea里面就启动NameNode和DataNode，方便理解hadoop源码。运行，runMiniClusterExample运行之后就可以在启动一个迷你的hadoop集群了，...
2020-07-01 23:42:28
215
原创 Netty使用经验总结
不得不说的netty里面万能tcp粘包解决组合（变长协议）LengthFieldPrependerLengthFieldBasedFrameDecoder我认为netty里面提供的这两个东西，组合使用能够解决在任何场景的tcp粘包的问题，所以在用netty解决tcp粘包的时候，一定要学会这套组合拳，使用这两个东西就是说发送消息的时候，将消息的长度带上，然后根据消息的长度来进行拆包。（这两...
2020-04-21 16:37:56
643
原创 hadoop client获取Active NameNode 小窍门
获取NameNode的方法Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(configuration);DistributedFileSystem dfs = (DistributedFileSystem) fileSystem;DFSClient client...
2020-03-31 11:20:12
1088
原创 yarn的两种ContainerExecutor
yarn里面的资源分配器给了两种，分别是：DefaultContainerExecutor和LinuxContainerExecutor，这两个都继承ContainerExecutor区别DefaultContainerExecutor不会做cpu的分配，只做内存的分配LinuxContainerExecutor可以做cpu的分配，即采用这种资源分配器才会有提交到yarn的任务才会有c...
2020-03-18 16:20:07
608
原创 Dbvisualizer连接大数据带Kerberos的hive
工具MIT Kerberos : https://web.mit.edu/kerberos/kfw-4.1/kfw-4.1.htmlDBVisualizer ：https://www.dbvis.com/download/10.0 根据自己需要选择是否需要带jdk的安装软件软件安装默认下一步，没有什么需要注意的本地环境变量配置krb5.ini ： 可以从集群中拷贝一个，放到c:\...
2019-07-09 17:20:51
1707
2
翻译 java最佳实践
java 最佳实践Java 是在世界各地最流行的编程语言之一, 但是看起来没人喜欢使用它。而 Java 事实上还算是一门不错的语言，随着 Java 8 最近的问世，我决定编制一个库，实践和工具的清单，汇集 Java 的一些最佳实践。作者博客.目录风格 结构构建器模式Immutable Object GenerationExceptions依赖注入避免空值默认不可变更避免大量的工具类
2015-12-11 14:25:04
931
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人