浪子huang

原创 clickhouse实践案例

用户留存用户登陆表CREATE TABLE IF NOT EXISTS login_log( user_id INT , log_time TIMESTAMP ) engine=MergeTree() order by user_id;数据INSERT INTO login_log VALUES(1101,'2021-01-21 22:00:00'),(1101,'2021-01-20 22:00:00'),(1101,'2021-01-19 22:00:00'),

原创 clickhouse副本和分片

title: clickhouse副本和分片date: 2021-02-20 16:48:02categories: 数据库tags: clickHouse副本和分片是在很多分布式系统中都有，首先简单来看看他们的概念。副本：数据结构相同，数据相同（数据层面的备份冗余）分片：数据结构相同，数据不同。（数据量层面水平切分）集群是副本和分片的基础，它将ClickHouse的服务拓扑由单节点延伸到多个节点，但它并不像Hadoop 生态的某些系统那样，要求所有节点组成一个单一的大集群。ClickH.

原创 clickhouse集群安装

1 准备1.1 机器192.168.90.41 16G 4C192.168.90.42 16G 4C1.2 检查cpu指令集官方预构建的二进制文件通常针对x86_64进行编译，并利用SSE 4.2指令集。grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"要在不支持SSE 4.2或AArch64，PowerPC64LE架构的处理器上运行Click

原创 clickHouse快速入门

clickHouse快速入门发展历程简介2016年俄罗斯Yandex（类似本土的百度）公司，开源的一款olap数据库，它的前身是公司内部的一款在线流量分析产品Yandex.Metrica。时间轴历程olap架构Yandex.Metrica形态Mysql时期ROLAP固定报告自主研发MetrageMLOAP固定报告OLAPServerHOLAP（Metrage+OLAPServer）自助报告ClickHouseROLAP自助报告可以看到C

原创 对象拷贝

在说对象拷贝问题之前，我们先看看JVM内存模型，看看对象是怎么在内存里存在的。对象实例实在堆内存里，它的引用（指针）在被使用时候，被栈里的user所持有。这也可以说明，我们平时在开发时候，对于对象属性修改时候，对应的对象都会变化。概述深拷贝对应的反面是浅拷贝，先做个统一的大白话定义：浅拷贝：增加了一个指针，指向已存在的内存地址（原对象地址）深拷贝：增加了一个指针，指向新的内存地址（新对象地址）拷贝类型：基本类型（boolean、byte、char、int、short、float、long、

原创 git分环境配置提交用户信息

现在大部分公司使用git作为版本控制工具，有没有过在github上提交一个commit时候，发现提交记录信息是公司的，????太不专业了！其实git可以针对不同的文件夹配置提交用户信息，下面是我自己的配置：全局配置文件（～/.gitconfig）[alias] co = checkout ci = commit br = branch st = status# 默认的用户和邮箱[user] name = astilt email = astilt

原创 postgresql简单使用

在pg里面有schema的概念。这里我们可以简单理解下：database（仓库）–> schema（房间）–>对象（表、视图、触发器）安装docker exec -it greenplum psql -h 127.0.0.1 -p 5432：5432 -U postgres拉取镜像并运行：docker run -it --name greenplum -p 5432:5432 -d kevinmtrowbridge/greenplumdb_singlenode进入到容器内：docke

原创 Java日志体系

日志Java体系日志很多，一直没有整理，乱乱的。好，我们先来看看日志框架组件以及大致处理流程：Loggers：Logger负责捕捉事件并将其发送给合适的AppenderAppenders：也称为Handlers，负责从Logger中取出日志消息，并使用Layout来格式化消息，然后将消息发送出去，比如发送到控制台、文件或其他日志收集系统。Layouts：也称为Formatters，负责对日志事件进中的数据进行转换和格式化。Filters：过滤器，根据需要定制哪些信息会被记录，哪些信息会被放过。

原创 shiro

能做什么？Apache Shiro™ is a powerful and easy-to-use Java security framework that performs authentication, authorization, cryptography, and session management. With Shiro’s easy-to-understand API, you can quickly and easily secure any application – from the s

原创 Mybatis

Mybatis官网地址快速开始Xml 方式<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd"><configuration> <environments default="developmen

原创 spring装配

spring从一定层面上讲是Bean容器，那么它是怎么实现Bean的装配，这块对于理解springBoot自动装配有很大帮助。这里说的装配，我指的是基于注解/代码的方式，毕竟现在开发都是注解先行，至于xml方式就不讨论了。方式模式注解 @Component 等（Spring2.5+）配置类 @Configuration 与 @Bean （Spring3.0+）模块装配 @EnableXXX 与 @Import （Spring3.1+）模式注解使用它在我们日常开发中很常见，@Component

原创 Elasticsearch查询

ES查询文档：https://www.elastic.co/guide/en/elasticsearch/reference/6.8/search-aggregations-metrics-weight-avg-aggregation.html数据准备 @Test public void createIndex() throws Exception { // 1.准备关于索引的setting Settings.Builder settings = Sett.

原创 Elasticsearch客户端

maven 依赖 <!--elasticsearch--> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>6.8.10</version> </d

原创 Elasticsearch简介

介绍特点ES 是基于Lucence编写的开源分布式搜索引擎，它有以下几个特点lucence：底层搜索引擎分布式：横向可扩展能力全文检索：将一段词语进行分词，并将分出的词语统一的放在一个分词库中，再搜索时，根据关键字取分词库中检索，找到匹配的内容（倒排索引）。概念ES使用倒排索引来检索数数据。类比：书本（index）–>小说｜散文｜杂志（type）–>书里面的一行一行内容（document）–> 字｜词组｜句子（filed）Index索引：es里面使用的倒排索引来

原创 hive安装

Hive上一篇安装了hadoop，这次我们来使用hive操作haddop。环境macOS Catalina 10.15.6JDK 1.8.0_261homebrew安装brew install hive配置环境变量echo export HIVE_HOME=/usr/local/Cellar/hive/3.1.2_1 >> ~/.zshrcexport PATH=$HIVE_HOME/bin:$PATHhive-site.xml没有就：mv hive

原创 haddop安装

环境macOS Catalina 10.15.6JDK 1.8.0_261homebrew安装ssh locahost（免密码登陆）ssh-keygen -t rsa -P "you-email"cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysssh localhost安装brew install hadoop配置所有的配置均在： /usr/local/Cellar/hadoop/3.3.0/libexec

原创 Python多版本管理

前言在日常的开发中，我们经常需要在多版本的python之间切换，手动修改bash文件比较麻烦，pyenv应运而生。安装安装homebrew/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"安装pyenvbrew install pyenv设置环境变量我是用的oh-my-zsh，所以编辑 .zshrc文件。1、vim ~/.zsh

原创 Java单元测试

在阿里巴巴Java开发手册，对于单元测试有如下描述，我大致抽象了下：错误意识那是测试同学干的事情，单元测试代码是多余的！汽车的整体功能与各单元部件的测试正常与否是强相关？（认知需转变）单元测试代码不需要维护！一年半载后，那么单元测试几乎处于废弃状态。（跟随业务维护）单元测试与线上故障没有辩证关系！好的单元测试能够最大限度地规避线上故障（做比没做要好）AIR 原则单元测试在线上运行时候，感觉像空气（air）一样并不存在，但是在质量保证上却又十分关键。A：Automatic（测试框架通常

原创 nginx

简介Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点（俄文：Рамблер）开发的，第一个公开版本0.1.0发布于2004年10月4日Nginx 安装docker-compose安装➜ ~ mkdir docker_nginx && cd docker_nginx➜ ~ vim docker-compose.yml//

原创 Mysql的索引

1、B-Tree 索引Mysql的大部分存储引擎都支持这种索引类型，它是一个平衡树（任何一个叶子结点最短路径长度都相等）。我们经常使用的Innodb 是经过改良的B-Tree，通常叫做B+Tree。B-Tree 结构[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oNV9f4Om-1585405704906)(http://assets.processon....

原创 Kerberos

Kerberos1、 几个概念KDC：秘钥分发中心Realm：kerberos管理的领域标识Principal：用户/服务 向kdc注册时候的身份，形式为，主名称/实例名@领域名 * 主名称：可以是用户名/服务名字 * 实例名：可以是用户组/主机ip（host）2、KDCKey Distribute Center。Database（zhangsan/su...

原创 Presto

Presto1、简介Hadoop提供了大数据存储和计算一套解决方案，完美地解决了大数据的存储和计算问题。但是Hadoop提供的Map-Reduce计算框架，适用于大数据量的离线和批量计算，它关注的吞吐量不是计算效率，在大数据量快速实时Ad-Hoc查询计算上表现很不友好。继Hive后，facebook公司在2012年开始开发Presto，与2013年正式开源，给Ad-Hoc查询带来了一股清凉的春...

原创 presto+alluxio查询性能分析

Alluxio+Presto 查询1、 总述主机cpu内存磁盘p1(master)16 core64GB100GBP28 core32GB100GBP28 core32GB100GB之前我基于TPC-DS 做了很多轮测试，数据量也分布了几个维度，从结果行看性能提升并不明显，只是单表查询上略有提升，多表基本无变化。结果懒得贴上去了，具体...

原创 alluxio简单使用

Alluxio本文是基于alluxio官网和自己实践整理。Alluxio版本：1.8.1CDH 1.15.21、介绍以内存为中心的分布式虚拟存储系统。Alluxio在上层计算框架和底层存储系统之间架起了桥梁，应用层只需要访问Alluxio即可以访问底层对接了的任意存储系统的数据。作者是李浩源，中国人，所以官网 也提供了中文的文档。[外链图片转存失败,源站可能有防盗链机制,建议将...

原创 Redis常见应用

1、分布式锁分布式锁本质上要实现的目标就是在 Redis 里面占一个“茅坑”，当别的进程也要来占时，发现已经有人蹲在那里了，就只好放弃或者稍后再试。A、几种方式setnx (set if not exit)127.0.0.1:6379> setnx lock true(integer) 1127.0.0.1:6379> del lock(integer) 112...

原创 JVM

一、运行时内存模型Java虚拟机的内存空间分为五个部分，分别是： 程序计数器 ：记录的是当前线程正在执行的那一条字节码指令的地址Java虚拟机栈 ：描述Java方法运行过程的内存模型，方法执行/返回OR异常，对应一个栈帧入栈出栈本地方法栈 ：Native方法执行时的运行模型，实现由具体语言决定堆 ：对象都存储区域，GC在这里最频繁方法区/元数据区域（JDK8+）:存放类信息、常量、静态变量、即时编...

原创 事务123

事务在平常开发会经常遇到，介于有些同学对事务的理解还不是很透彻，在此稍作总结下1.什么是事务把一堆事情绑在一起做，都成功了才算完成，否则就恢复之前的样子。2.事务的特性ACID（核心为C，即一致性，其他三个均是为一致性服务的）原子性：事务是数据库的逻辑工作单位，事务中包含的各操作要么都做，要么都不做 。一致性：事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态。比如，当数据库只包含成...

原创 多线程

前言:目前大部分操作系统都是以线程为CPU调度和分派基本单位。多线程在日常程序中运用的还是比较多的，潜在的我们web容器帮我们在http层面可以同时处理多个请求，这些可能多我们是无感的。平常的开发中，我们需要结合业务场景来合理运用多线程，例如大文件的IO操作，大量消息发送，都可以运用多线程来处理，充分利用多核CPU性能。本文主要介绍2个方面：1:创建线程几种方式，包含Java8方式（建议使用，...

原创 抢红包

抢红包一、需求总述：红包池金额1W/天，每天10点到0点可抢，每天红包总数为10W个，红包数额【1-100】（单位分），每天单个人可以自己单独领红包有且只有一次，朋友可以帮领，即A-&gt;B,B-&gt;A,互领机会每天有且只有一次。方案一：A.表结构1.红包总额表 Idamountbalance主键总金额剩余金额2.红包明细表 IduserIdmoneyavterotherIdotherMon...

原创 Java异常

     一个程序猿代码质量的好坏不是看你使用了什么样的设计模式，多么高深的技术点，常常对于程序中异常的处理，可以很好的反应你是不是个老手。Java是面向对象的语言，对于程序中可能会出现的“意外”，肯定也是会有一个意外对象来告知，关于异常常涉及到三个类Throwable Exception Error 类 Throwable位于这一类层次的最顶层，只有它的后代才可以做为一个例外被抛弃 java.l...

原创 ehcache缓存

ehcahe介绍1.使用在applicationContext.xml里面加 &lt;bean id="ehCacheManager" class="org.springframework.cache.ehcache.EhCacheManagerFactoryBean"&gt; &lt;property name="configLocation" value="classpath:...

原创 spring定时器

原创 ACID

事务定义：用户定义的一个数据库操作序列,这些操作要么全做要么全不做,是一个不可分割的工作单位。例如,在关系数据库中,一个事务可以是一条SQL语句、一组SQL语句或整个程序。 事务ACID特性。ACID就是：原子性(Atomicity )、一致性( Consistency )、隔离性或独立性( Isolation)和持久性(Durabilily)。事务的开始与结束可以由用户显式控制。如果用户没有...

原创 日常用的一些命令，包括linux，git

总结下自己平常常用的linux命令1.ssh登陆服务器ssh [email protected]免密码查看ssh目录,没有创建sshkeycd ~/.ssh    若没有：ssh-keygen -t rsa (连续三次回车,即在本地生成了私钥(id_rsa) 与公钥 (id_rsa.pub),不设置密码)copy本地公钥到服务器  scp ~/.ssh/id_rs

原创 B+/-树

B+/-Tree原理B-Tree介绍B-Tree是一种多路搜索树（并不是二叉的）：       1.定义任意非叶子结点最多只有M个儿子；且M>2；       2.根结点的儿子数为[2, M]；       3.除根结点以外的非叶子结点的儿子数为[M/2, M]；       4.每个结点存放至少M/2-1（取上整）和至多M-1个关键字；（至少2个关键字）      

原创 回顾2016，展望2017

2016年整体来说是个还凑合的一年。1.通过锻炼体重减轻了15斤2.待遇较2015提升了不少3.和大学女友复合了，感觉挺幸福4. 技术上有了一个提升 细节分析：原先我最重时候应该有162斤，目前体重维持140-145 左右，通过跑步确实健康了不少，待遇方面比较2015涨了约莫40%，还算满意。今年10月份和大学时候的女朋友复合了，彼此都很了解对方，愿得一人心，白首不分离...

原创 线程里面几个状态和方法简介

线程的几种状态                            Object：wait() notify()---synchronize代码块里使用Thread：sleep() interrupt()----不限制wait()是在等待时候释放了对象锁的，并且它在过程中若要被唤醒使用notify()方法，notify()方法是不会释放对象锁的，直到synchronize

原创 关于map的一些遍历方法

HashMap是我们日常中经常用法的集合类，它的遍历方法主要分为以下几类：public class TestMap {    public static void main(String[] args) {        Map map = new HashMap        map.put(1, 11);map.put(2, 22);map.put(3, 33);map.put

原创 使用cmd运行java注意的一些问题

1.编码不对：我们的JDK一般都是国际版，在使用cmd编译程序的时候默认获取OS的编码，即GBK，若我们的程序源码是使用utf8的，则在编译的时候会报错。解决办法：javac -encoding utf82.java文件在不同路径下（直接src下/src的某个包下）a.不在任何的包下cd 你的java文件路径----->javac 文件名.java ------> ja

原创 Jdk8安装后，再降低版本不生效解决办法

问题：JDK1.8安装完后，如果设置环境变量Path为其它JDK也不起作用，在命令行java -version显示依然是1.8。原因：这是因为安装完1.8后，并创建在C:\ProgramData\Oracle\Java\javapath这个目录中，安装程序会自动将这个路径设置到环境变量的系统属性Path中，所以如果我们新设置的路径没有放在它的前面，就会出现不起作用的情况。 解决办法：删除p