古川熊灰-CSDN博客

原创 HDFS入门

HDFSnamenode的作用主要负责命名空间和文件数据块的地址映射。整个集群的大小受限于namenode的内存大小。存储元数据信息其包含一个文件的添加时间，大小，权限，块列表（大于【默认128M】的文件会被切割成多个块），以及每个块的备份信息。该元数据信息保存在内存中。fsimage和edits提供数据持久化namenode文件操作处理文件存放请求，确定文件块以及副本的具体存放位置。但是真正的数据文件不经过namenode，而是客户端根据namenode返回的datanode信息

2021-08-19 15:16:43 214

原创记录一次行锁问题解决

记录一次行锁问题解决问题出现使用idea来debug程序，结果sql执行超时，并且报出以下问题。 Lock wait timeout exceeded; try restarting transaction 等待锁超时，尝试关闭事务从此处得知，数据库被锁了解决问题首先查到出问题的sqlupdate delivery_plan set status = ?, start_time = NOW() where id = ? and deleted = 0在navicat中执行验证

2021-06-22 11:44:40 330

原创 kafka基本概念详解

文章目录kakfa消息队列为什么要使用消息队列消息队列的两种实现模式Kafka是一个分布式的、可分区的、可复制的消息系统。客户端和服务端通过TCP协议通信。zookeeper在kafka的作用：概念详解：topic,broker,partition之间的关系leader选举规则消费者组分区作用数据存放分区确定原则事务级别工作流程生产写入步骤（ack为all时）ack机制存储存储策略zookeeper存储信息消费APIkakfa消息队列为什么要使用消息队列通常的消息传输，生产者和消费者之间需要同步，

2020-09-16 14:48:44 334

原创 kafka基本执行命令

启动zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties &启动kafkabin/kafka-server-start.sh config/server.properties &停止kafkabin/kafka-server-stop.sh停止zookeeperbin/zookeeper-server-stop.sh创建Topic：bin/kafka-topics.sh --c

2020-09-16 14:46:12 143

原创 kafka分片扩展迁移

kafka正常工作时会保留大量的数据文件，因此，在进行partitions迁移之前，先修改${KAFKA_HOME}/config/server.properties文件中的log.retention.hours属性值，建议设置为1，具体值视具体情况而定。然后重启kafka集群，运行一段时间后kafka保留的数据文件便会有效降低。创建一个json文件(如topics-to-move.json)，定义需要改变的topic，如下所示： {"topics": [{"topic": "jn..

2020-09-16 14:45:23 483

原创 Java开发工程师2020面试题

[https://howtodoinjava.com/]一、Java 基础1. JDK 和 JRE 有什么区别？JDK：Java Development Kit 的简称，java 开发工具包，提供了 java 的开发环境和运行环境。JRE：Java Runtime Environment 的简称，java 运行环境，为 java 的运行提供了所需环境。具体来说 JDK 其实包含了 JRE，同时还包含了编译 java 源码的编译器 javac，还包含了很多 java 程序调试和分析的工具。简单

2020-09-16 14:34:26 620

原创 SpringMVC基础知识

SpringMVC底层是servlet特点轻量级基于springMVCModel：数据模型层，连接数据库，控制数据持久化View：视图层，用于前端展示Controller：控制层，用于接收请求调用后端服务进行业务处理DispatchServlet适配器模式用于进行调度，处理请求分发，将不同的请求分发到不同的servlet。spring-mvc配置文件正式环境中使用注解只需配置视图解析器，开启drivern即可配置处理器映射器常用：BeanNameUrlHandl

2020-09-16 14:31:52 79

原创反射，注解与Spring

SpringSpring的启动过程调用ContextLoader的初始化方法创建webApplicationContext上下文环境加载Spring配置文件中的Bean对象【refresh方法】将webApplicationContext放入ServletContext【java web全局变量】反射Reflection反射机制允许程序执行期间获取类的任何内部信息。反射的作用在运行时可以知道任意一个类的所有属性，方法，并可以改变他的属性，应用在各种框架反射的原理java是一

2020-09-16 14:26:06 433

原创 SpringBoot基础以及部分整合（swagger,数据库等...）（待完善）

SpringBoot什么是微服务微服务和以往有什么区别为什么SpringBoot适合做微服务框架SpringBoot或者微服务的不足springBoot启动过程springBoot如何进行自动装配和自定义配置首先有几个注解@configuration:声明一个配置类@ConfigurationProperties：用于将xxx.yml配置文件中的对象与xxxproperties类进行对应，相当于@value逐一进行注入@EnableConfigurationProperties：该注解

2020-09-16 11:39:51 249

原创 JanusGraph基础知识

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jdJySC87-1600226271272)(https://janusgraph.org/img/janusgraph.png)]文章目录JanusGraph什么是图数据库什么是Janusgraph，JanusGraph能干什么优势架构信息Vertex【顶点】Edge【边/关系】property【属性】schema【数据模型】JanusGraph怎么用安装启动服务两种连接和使用janusGraph方式API基础操作遍历操作h

2020-09-16 11:22:30 2005

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

古川熊灰的博客