- 博客(15)
- 收藏
- 关注
RSS订阅原创 Hbase
文章目录概述基本概念基本架构数据模型数据读写流程写流程读流程文件合并概述Hbase官网相关代码基于hdfs的开源、分布式、非关系K-V 数据库数十亿行 X 数百万列，进行随机、实时读/写访问通过时间戳控制版本，返回最新版本数据读流程比写流程慢数据没有类型，都以** byte[ ] **存储数据自动分片基本概念Hbasemysqlnamespace （命名空间）库table：创建表时，只需要指定列族即可，列可以动态增加表列族-列列
2021-07-20 15:16:09
528
1
原创 kafka重复消费问题分析和解决
文章目录名词解释kafka 队列分区topic 队列 与 partition 分区优势kafka 消费者组Consumer 消费者 与 ConsumerGroup 消费者组消费者 与 分区kafka 重平衡重平衡 RebalanceRebalance触发时机Rebalance 过程Rebalance Generation具体流程不同场景问题避免重复消费函数幂等性避免频繁的重平衡ConsumerRebalanceListener相关文章名词解释名词解释Producer消息的生成者
2021-07-19 10:54:28
3142
原创 Hive Spark引擎
Spark on yarn官方文档下载spark-hadoop注意对应版本修改配置文件spark-env.shexport SPARK_DIST_CLASSPATH=$(hadoop classpath)export HADOOP_HOME=/opt/hadoop-3.2.1export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoopexport YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoopHive on Spark
2021-06-02 15:18:18
262
原创 Hadoop
文章目录概述组成部分HDFSMap ReduceYarn优缺点优缺配置HDFS组成部分NameNode 一主DataNode 多从Secondary NameNode概述命令Map Reduce概述组成部分Map阶段InputFormat常用类型MapperShuffle阶段Partitioner 分区WritableComparable 排序Combiner 合并GroupingComparator 分组Reduce阶段命令序列化Yarn组成部分ResourceManager 集群一个NodeManage
2021-04-07 16:40:25
108
原创 JVM 概述
文章目录结构方法区堆 heapJava栈 stack本地方法栈程序计数器GC类加载常用参数JMM结构方法区堆 heapJava栈 stack本地方法栈程序计数器GC类加载加载class文件常用参数JMMJMM定义了Java 虚拟机(JVM)在计算机内存(RAM)中的工作方式...
2021-03-03 18:06:32
159
1
原创 Mysql
文章目录常见存储引擎InnoDBMyISAM事务特性 ACID隔离级别概念解释READ UNCOMMITTEDREAD COMMITTEDREPEATABLE READSERIALIZABLE锁行锁表锁锁之间关系InnoDB加锁索引索引的本质参考文章常见存储引擎InnoDB默认的存储引擎支持事务、行锁、外键MyISAM不支持事务插入和查询效率高事务特性 ACID原子性Atomicity：一个事务中操作，要么全部成功，要么全部失败一致性Consistency：应用系统从一个正确
2021-02-24 11:18:33
65
原创 Java 容器
文章目录概念数组Collection 集合List 序列AbstractListArrayListVectorStack LIFO栈AbstractSequentialListLinkedListSet 不可重复集合AbstractSetTreeSetHashSetLinkedHashSetQueue FIFO队列Deque 双端队列ArrayDequeMap 映射TreeMapHashMapLinkedHashMapHashtableEnumMapSpliterator 和 Iterator概念FI
2021-02-23 10:49:26
166
1
原创 Java 锁和计数器
文章目录基础概念锁分类锁与不锁悲观锁乐观锁CAS问题阻塞与不阻塞非自旋锁自旋锁适应性自旋锁插队与不插队公平锁非公平锁共享与不共享排他锁共享锁重入与不重入可重入锁不可重入锁synchronized 的四种状态无锁偏向锁偏向锁的撤销轻量级锁重量级锁升级流程java.util.concurrent.lock中的锁LockReentrantLockReadWriteLockReentrantReadWriteLockStampedLockjava.util.concurrent.atomic中的原子类参考资料基础
2021-02-20 11:48:52
953
4
原创 Java 多线程
文章目录线程RunnableThreadCallable线程池ThreadPoolExecutor基本状态提交任务基本流程rejectedExecutionHandler 拒绝策略ScheduledThreadPoolExecutorForkJoinPoolExecutor线程线程是轻量级子进程，是最小的处理单元线程只能启动一次，第二次会IllegalThreadStateExceptionstart()而不是run()Runnable实现Runnable实现run()方法Thre
2021-02-18 16:47:19
300
6
原创 Spring AOP
文章目录AOP实现方式预编译运行时动态代理AOP通过预编译方式和运行时动态代理实现在不修改源代码的情况下，给程序统一添加功能的技术将日志记录，性能统计，安全控制，事务处理，异常处理等代码从业务逻辑代码中划分出来允许你把遍布应用各处的功能分离出来形成可重用组件实现方式预编译运行时动态代理JDK代理CGLIB动态代理...
2021-01-21 09:52:41
65
原创 Spring Beans
文章目录springAOP实现方式预编译运行时动态代理IOCIOC与DI@Bean作用域 @Scope延迟加载 @Lazyspring mvc主要组件请求处理流程spring 事务spring bootspringAOP通过预编译方式和运行时动态代理实现在不修改源代码的情况下，给程序统一添加功能的技术将日志记录，性能统计，安全控制，事务处理，异常处理等代码从业务逻辑代码中划分出来允许你把遍布应用各处的功能分离出来形成可重用组件实现方式预编译运行时动态代理JDK代理CGLIB动态代理
2021-01-20 14:02:50
167
原创 Spring MVC
文章目录主要组件DispatcherServlet 组件请求处理流程主要组件HttpServletBean 是spring对HttpServlet简单扩展包含多环境的操作FrameworkServlet 实现了ApplicationContextAware，所以包含了上下文WebApplicationContextDispatcherServlet HTTP请求处理程序/控制器的中央调度程序，有自身的组件处理请求DispatcherServlet 组件组件描述Handl
2021-01-19 14:43:29
83
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人