- 博客(24)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 RoaringBitmap原理简单描述
roaringBitmap是在原始的bitmap算法的结构上进行了改进，是将一个整数划分为高16位和低16位，高16位作为一个公共key，低16位作为value，那么一个key就会对应2^16次方个整数（65536），如果需要存储的整数量大于4096时，就需要使用位图存储方式，即一个key对应了一个long[1024]的数组（bitmapContainer）这样就用1024个lon...
2020-07-14 12:18:08
2463
原创 docker-compose部署多分片多副本clickhouse本地环境
一、部署环境1.ck版本：20.4.2.92.系统：MacOS3.zookeeper版本：3.54.docker：19.03.8二、配置1.docker-compose.yamlversion: '2'services: zookeeper-ck2: image: zookeeper:3.5 restart: always hostname: zookeeper-ck2 container_name: zookeeper-ck2
2020-06-19 17:43:21
2790
1
原创 springboot 2.0.x配置多数据源
在配置多数据源前，先了解一下访问数据库的几种方式：原生jdbc、jdbcTemplate和sqlSessionFactory。1.jdbcTemplate是对原生jdbc进行深层次的封装，虽然提高了开发效率，但是需要开发者在代码中编写sql，用起来很不方便，且不好维护。 2.sqlSessionFactory则是mybatis框架封装的单个数据库的内存映射，（它是安全的）开发者可以通过创...
2019-02-19 10:49:29
447
原创 多场景下的maven打包方式
pom.xml中添加下列插件版本一：不带依赖<build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-jar-plugin</artifactId><version&g...
2019-01-08 17:31:05
4873
原创 Homebrew之下载安装zookeeper及配置
1.brew的安装首先官网有很全的安装及使用方法，以及安装过程中遇到的问题解决。https://brew.sh/其次我也有相关记录 https://blog.csdn.net/a602519773/article/details/84553901我这里介绍我遇到的问题安装：/usr/bin/ruby -e "$(curl -fsSL https://raw.githubuser...
2018-11-26 18:20:19
1673
原创 Mac之安装软件管理工具Homebrew
1.使用 /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"命令进行安装实例：wangMacBook-Pro:~ wang$ /usr/bin/ruby -e "$(curl -fsSLhttps://raw.githubusercontent....
2018-11-26 18:08:25
916
原创 Sqoop之java API导入导出数据
折腾了一下午终于成功了，这里做一下总结 项目依赖：<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> <scope
2018-11-15 09:18:46
3565
4
原创 Sqoop之环境部署及shell命令学习
1.下载tar包，并解压到指定目录tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz -C /opt/2.配置环境变量export SQOOP_HOME=/opt/sqoop-1.99.7-bin-hadoop200export PATH=$SQOOP_HOME/bin:$PATHeexport SQOOP_SERVER_EXTRA_LIB=...
2018-11-15 09:10:56
395
原创 常见排序算法
排序算法： 快速排序 O(nlogn) 堆排序 O(nlogn) 归并排序 O(nlogn) 冒泡排序 O(n^2) 选择排序 O(n^2) 插入排序 O(n^2) 希尔排序 1.快速排序：快速排序原理就是先找一个基准值，将小于基准值的值放在左端，...
2018-10-13 10:27:19
177
原创 jvm内存结构
Java虚拟机 Java虚拟机运行时数据区域被分为五个区域：堆(Heap)、栈(Stack)、本地方法栈(Native Stack)、方法区(Method Area)、程序计数器(Program Count Register)。·方法区（线程共享） 类信息、构造函数、对象类型信息和普通方法的字节码内容、常量池和静态变量存储在该位置，方法区和堆一样都是运行时内存区域线程共...
2018-09-08 14:35:38
7117
原创 java垃圾回收机制及其回收算法
GC垃圾回收： jvm按照对象的生命周期，将内存按“代”划分（将堆划分为多个地址池）：新生代、老年代和持久代（jdk1.8后移除持久代）； 在JVM中程序(PC)计数器、JAVA栈、本地方法栈3个区域随线程而生、随线程而灭，因此这几个区域的内存分配和回收都具备确定性，就不需要过多考虑回收的问题，因为方法结束或者线程结束时，内存自然就跟随着回收了。而堆和方法区则不一样，这部分内存...
2018-09-08 14:29:10
8094
原创 java中hashcode和equals方法的重写
在java集合中，我们知道有hashSet、hashMap这两种由散列表构成的集合，这两种集合在add()或者是put()时，虚拟机会先查看添加的元素哈希值是否相等，如果不等，虚拟机则会开辟出一个新的内存空间给这个元素。如果相等的话，虚拟机会继续使用equals()方法比较，如果还是相等那么虚拟机就认为这个元素已经存在，否则会将该元素添加到散列表中。 那么在我们...
2018-09-03 20:59:30
386
原创 linux 安装本地yum源或局域网源
1.将光盘镜像文件挂载到一个目录下(即构建了一个软件仓库)mount -t iso9660 /dev/sr0 /media/yum2.进入cd /etc/yum.repos.d/到目录下3.创建一个以.repo为后缀的xxx.repo文件用来为客户端指定yum仓库的位置并将该目录下的其他后缀为repo的文件修改成以.bak结尾的文件(或者删除)内容为：[yum源]nam...
2018-08-21 16:22:40
1274
原创 zookeeper学习及集群搭建
zookeeper简介：是什么？zookeeper是分布式协调服务，目的是为分布式应用提供协调服务。干什么的？主从协调（hadoop、hbase等均使用该服务）服务器上下线 统一配置服务 分布式共享锁 统一名称服务怎么运作的？zookeeper也是一个分布式程序，由多个节点组成，节点又分为leader和follower（还有一种系节点成为O...
2018-08-21 16:14:35
2598
1
原创 浅谈hadoop脑裂问题
1.什么是脑裂：脑裂是Hadoop2.X版本后出现的全新问题，从字面意思我们可以理解为“大脑分裂”；我们想一下，当一个正常人，突然出现有了两个大脑，而且这两个大脑都有自己的意识，对于这个人来说肯定是灾难性问题。同理，在Hadoop中，为了防止单点失效问题而出现了两个namenode（HA机制），这两个namenode正常情况下是起到一个失效，另一个代替的作用，但在实际运行过程中很有可能出现两个...
2018-07-21 11:57:47
3951
1
原创 shell编程实现免密登陆以及软件自动安装和配置
之前我写过ssh自动化免密登陆，然而在大数据集群搭建过程中每个节点需要安装许多软件并且需要配置相关文件，所以现在我们实现一个自动安装软件脚本。代码：（安装软件使用局域网yum源我之前写过：https://blog.csdn.net/a602519773/article/details/81909730）这里我编写了两个shell脚本：ssh_copy和install.sh脚本1：ssh...
2018-06-09 23:28:04
1166
原创 shell编程入门
shell中的变量：系统变量和用户自定义变量（linux使用set命令查看所有变量）自定义变量：格式：变量名=值初始化变量时，可以使用双引号对空格脱意x=“hello world”使用$加变量名的方式调用一个变量>>>$xhello world使用单引号将所有特殊字符进行脱意，所以在单引号的变量中不可以引用变量>>>a='...
2018-06-09 23:26:31
186
原创 ssh远程无密登陆
SSH:远程登陆的安全外壳协议它有两种身份验证机制：用户名和密码验证密钥验证远程无密登陆过程：（服务器A想远程登陆服务器B）服务器A创建一对密钥对：公钥和私钥公钥用来表明服务器身份私钥用来验证服务器身份将服务器A的公钥发送给服务器B，表明自己身份服务器B将服务器A的公钥保存到一个文件中（./ssh/authorized_key）当服务器A要远程登陆服务器B时，服务器B会产生一个随机字符串和服务器A...
2018-05-30 18:44:54
180
原创 Oracle 11g安装及安装问题
1.安装包下载：（需要注册oracle账号）http://www.oracle.com/technetwork/database/enterprise-edition/downloads/112010-win64soft-094461.html2.安装过程：讲下载好的两个压缩包，解压到一个database文件夹3.运行setup.exe详细的安装过程我没记录，无非是ne...
2018-05-21 13:48:48
626
原创 linux目录结构
目录结构：1./-根目录：只有root用户在该目录下有写权限2./bin-存储linux常见的命令 如：ls ping cat tar cp 等命令3./sbin-与/bin一样是用来存储常见命令的，但在sbin中的命令是由管理员使用 如：iptables、reboot、fdisk、ifconfig等命令4./etc-存储系统的配置文件5./dev-软硬件设备文件（”linux万物皆文件“）6./...
2018-05-18 18:19:32
120
原创 hbase集群启动出现regionserver挂掉或未启动的原因总结
1.regionserver挂掉我遇到的是Master rejected startup because clock is out of syn这样的错误原因是每个节点的系统时间不一致导致的，所以使用date -s 命令修改系统时间来解决2.regionserver未启动因为我的hadoop使用了HA机制，所以我遇了集群未找到的错误，解决方法是将hadoop的两个配置文件复制到hbase/conf...
2018-05-18 17:52:15
6000
原创 hadoop中FsImage与Editslog合并解析
FsImage和Editslog分别是什么 ？Editslog ：保存了所有对hdfs中文件的操作信息 FsImage：是内存元数据在本地磁盘的映射，用于维护管理文件系统树，即元数据(metadata)在hdfs中主要是通过两个数据结构FsImage和EditsLog来实现metadata的更新。在某次启动hdfs时，会从FSImage文件中读取当前HDFS文件的metadata，之后对H...
2018-05-18 17:46:43
6265
2
原创 shell编程之自动化启动与关闭zookeeper集群
首先新建文件zkstart.sh写入内容：#!/bin/bashecho “启动zookeeper集群…”for m in server1 server2 server3(若干个zk集群节点名)dossh $m “/zookeeper路径/bin/zkServer.sh start”done 加上执行权限：chmod a+rwx zkstart.sh在运行这个脚本之...
2018-05-18 17:39:11
302
原创 shell编程之自动化ssh无密登陆
实现无密登陆的过程：在执行完ssh-keygen生成密钥，生成之后会在用户的根目录生成一个 “.ssh”的文件夹文件夹中包含了： authorized_keys:存放远程免密登录的公钥,主要通过这个文件记录多台机器的公钥 id_rsa : 生成的私钥文件 id_rsa.pub ： 生成的公钥文件 know_hosts : 已知的主机公钥清单然后将远程服务器（即要远程登陆的服务器）的公钥（id_rs...
2018-05-18 17:34:57
513
clickhouse2.tar.gz
2020-06-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人