- 博客(30)
- 收藏
- 关注
原创 Nacos 学习笔记
问题1:Nacos 和 Eureka的区别?问题2:Nacos 和 Zookeeper 的区别?1、注册中心:实际就是存放服务的地址信息,能够实现动态感知。常见的是Zookeeper、Eureka、Consul、Nacos、Redis等。实现原理:被调服务(生产者)在项目启动的时候主动将信息(服务名称,地址等)注册到注册中心;主调服务(消费者)从注册中心获取被调服务的信息;主调服务对被调服务进行负载均衡,选择一个地址在本地进行接口调用。2、负载均衡器本地负载均衡器我们的消费者从注册中心
2021-05-23 23:16:22 827 1
原创 数据分析简单介绍
Model 1工作模块日、周、月报日报各种数据源整理,了解业务现状培养数据敏感性,比如数据波动数据波动的解析,提醒业务变更周报版本迭代分析短期分析趋势为其他PPT背书月报月报的数据来源大多参考日报和周报业务梳理形成指导建议,尤其是对后续迭代的指导目标评估及战略知道临时数据背景:一般有2种。第一,管理层需要;第二:业务执行人员需要。针对管理层需要,注意以下几点:1、了解背景;2、核对再核对,确定准确性且只能上报一次;3、简单明了;4、反思到思考。针对业务
2021-03-30 22:46:41 232
原创 Apache Kudu 学习
Apache Kudu 学习一、背景二、kudu架构一、背景HDFS:吞吐能力极强,但是随机读写能力差,适合进行批处理数据分析HBase:随机读写能力极强,但是吞吐能力差,适合做随机分析处理。kudu:它是一个介入HDFS 和 Hbase之间的存储引擎。可以同时提供低延迟的随机读写和高效的数据分析能力。此外,kudu支持水平扩展,并且与 Impala 和 Spark 等当前流行的大数据查询和分析工具结合紧密。二、kudu架构与HDFS 和 HBase类似,kudu 使用单个的 Master
2021-03-29 21:04:13 204
原创 redis学习(一)
一、NoSql 四大分类KV键值对新浪:Redis美团:Redis + Tair阿里、百度:Redis + memecache文档型数据库(bson格式,类似json 格式)MongoDBMongoDB是一个基于分布式文件存储的数据库,c++编写,主要用来处理大量的文档。MongoDB是一个介于关系型数据库和非关系型数据库之间的产品。MongoDB是非关系型数据库中功能最丰富,最像关系型数据库。列存储数据库HBase分布式文件系统图关系数据库
2020-08-09 16:44:24 237
原创 elasticsearch-java-restful-api常见问题
1、java-restful-api查询所有索引名(_cat/index?v)ClusterHealthRequest request = new ClusterHealthRequest();ClusterHealthResponse response = myRestClient.cluster().health(request, RequestOptions.DEFAULT);Set<String> indices = response.getIndices().keySet();
2020-07-03 10:09:45 209
原创 改善Java程序的151个建议
建议1:不要在常量和变量中出现易混淆的字母1、包名全小写,类名首字母大写,常量全部大写并用下划线分隔,变量才有驼峰命名法2、举例(long类型数值后面小写l 和大写L的影响)public class TestDemo { public static void main(String[] args) { long i = 1l; // long i = ...
2019-11-07 21:01:24 237
原创 (一)flume的介绍和简单案例
一、flume 介绍1、定义flume 是 cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。flume 基于流式框架,灵活简单。如:2、架构组成(1)agentagent 是 一个 JVM 进程,它以事件的形式将数据从源头送到目的地。agent有三个组成部分:source、channel、sink。(2)sourcesource是负责接收数...
2019-10-27 22:32:39 278
原创 (三)使用logstash-input-kafka消费信息并根据topic写入不同的es索引
一、logstash-input-kafka介绍[Logstash 参考指南(Kafka输入插件)二、举例分析:利用 decorate_events 参数,将 kafka的元信息(如:topic,group,offset等)全部输出,根据不同的topic即可输出到不同的es索引。input{ kafka{ bootstrap_servers => ["55.0.10.19:90...
2019-10-23 15:43:37 3914
原创 (九)elasticsearch之分组去重(collapse)
一、背景介绍问题一:如何对elasticsearch的检索结果进行去重统计计数。类似mysql 的 select count(*) from a group by b。问题二:如何对elasticsearch的检索结果去重后显示。类似mysql 的select distint(“name”) from a group by b。二、分析问题一: 统计计数需要借助elasticsearc...
2019-10-21 18:22:17 9253 1
原创 (三)elasticsearch之分词介绍
一、介绍1、分词是指将文本转换成一系列单词(term or token)的过程,也可以叫做文本分析,在es里面称为 analysis。2、分词会在如下2个时间使用:创建或更新文档时,会对相应的文档进行分词处理查询时,会对查询语句进行分词3、索引时分词(创建或更新文档)是通过配置 mapping 中每个字段的 analyzer 属性实现的。不指定分词时,默认使用 standard。如:...
2019-10-15 11:44:17 1097
原创 (二)elasticsearch之入门介绍
一、Document1、相当于JSON Object,由字段(Field)组成,常见数据类型如下:字符串:text、keyword数值型:long、integer、short、byte、double、float、half_float、scaled_float布尔型:boolean日期型:date二进制:binary范围类型:integer_range、float_range、lon...
2019-10-14 20:16:37 153
原创 (二)logstash之插件的简单介绍
一、codec1、简介codec plugin 作用于input 和output plugin,负责将数据在原始与logstash event之间切换,常见的 codec如下:plain 读取原始数据dots 将内容简化为点进行输出rubydebug 将 logstash event 按照ruby 格式输出,方便调试line 处理带有换行符的内容json 处理json 格式的内容...
2019-09-17 20:51:47 269
原创 (0)学习 elk 参考的博文,感谢各位大佬的分享
如题,再次感谢大佬们的分享。分布式集群| Elasticsearch权威指南(中文版)elasticsearch-guideelastic search解决关系型数据库问题配置高性能Elasticsearch集群logstash-input-jdbc同步mysql数据到elasticsearchlogstash同步父子文档elasticsearch-jdbc实现MySQL同步到Ela...
2019-09-14 09:19:36 278
原创 (一)logstash和beats的简单介绍
一、logstash的一些名词介绍Pipelineinput-filter-output 的 3个阶段的处理流程。队列管理。插件生命周期管理。Logstash Event他是logstash内部流转的数据的表现形式。原始数据在input 阶段被转换成 Event,在 output阶段 event 被转换成目标格式数据。在配置文件中可以对 Event 中的属性进行增删改查。...
2019-09-09 21:14:26 2395
原创 (八)elasticsearch之聚合分析的简单介绍
一、聚合分析的简单介绍聚合分析,英文为 Aggregation,是es 除搜索功能外提供的针对es数据做统计分析的功能。es聚合分析功能丰富,提供 Bucket、Metric、Pipeline等多种分析方式,可以满足大部分的分析需求;实时性高,所有的计算结果是即时返回的,而Hadoop 等大数据系统一般都是 T+1 级别的。语法如下:GET testindex/_search{ ...
2019-09-03 15:23:03 459
原创 otter全量同步
原理:使用canel读取了源库的retl_buffer操作binlog来进行实现的,所以在使用此功能时,channel必须处于工作状态。步骤一:在otter配置otter同步的库/表。配置好channel—>pipeline—>映射关系列表,canal步骤二:执行以下sql/*供 otter 使用, otter 需要对 retl.* 的读写权限,以及对业务表的读写权限1. ...
2019-09-01 10:41:00 6522 4
原创 (七)elasticsearch之排序和分页问题
1、elasticsearch 对 text 类型进行排序排序的过程实质是对字段原始内容排序的过程,这个过程中倒排索引无法发挥作用,需要用到正排索引,也就是通过文档id 和字段可以快速得到字段原始内容。es对此提供了2中实现方式:fielddata默认禁用;doc values 默认启用,除了text 类型。fielddata 和 doc values对比如下:对比fie...
2019-08-27 20:56:04 2526
原创 (六)elasticsearch之常见问题和原理(实在不知道起啥名了)
1、elasticsearch之脑裂问题(一)背景分析:脑裂问题(split-brain),是分布式系统中的经典网络问题。比如集群有3个节点(node1,node2,node3)。如果此时由于网络问题,node1无法和node2,node3访问,则node2和node3会重新选举master,然后更新cluster state;而node1自己组成集群后,也会更新cluster stat...
2019-08-27 19:35:16 195
原创 (五)elasticsearch之查询(Query DSL)
elasticsearch之查询(Query DSL)一、字段类查询字段类查询主要包含以下2类:全文匹配:针对text 类型的字段进行全文检索,会对查询语句先进行分词处理,如match、match_phrase等query类型单词匹配:不会对查询语句进行分词处理,直接去匹配字段的倒排索引,如term、terms、range等query 类型补:match、match_phase、te...
2019-08-23 18:39:29 714
原创 (四)elasticsearch之mapping详解和数据类型
elasticsearch之mapping详解和数据类型一、mapping介绍类似数据库中的表结构定义,主要作用如下:定义 index 下的字段名(Field name)定义字段的类型,比如 数值型,字符串型,布尔型等定义倒排索引的相关配置,比如是的索引、是否记录position 等二、常用mapping 相关api1、获取索引 mapping请求:GET XXX-INDE...
2019-08-22 13:06:26 957
原创 python3读取csv文件并操作数据写出csv
无他,纪念自己写的第一个python代码。背景:csv文件有30000行,11列,需要对其每一个单元格内容进行操作(在数据前后加引号,如A—>“A”),最后将处理后的数据写出到csv文件。分析:如果数据量较少,比如30行10列,excel自带功能即可完成此操作,具体操作如下:关键在于理解EXCEL中(&) 运算符的用法。即:使用与号 (&) 运算符以将多个单元格中的文...
2019-08-13 19:25:45 1774
原创 接口幂等性介绍与应用
接口幂等性介绍与应用场景与问题假设有两个线程A和B,现假设线程A走到了开始事务和提交事务中间的流程,线程B还在判断手机号是否存在的流程,因为Mysql的默认事务隔离级别是repeatable-read,因此线程B不会读取到线程A还未提交的数据。因此B线程判断手机号是否存在的结果为false,所以流程可以继续往下走,又因为主键是生成的UUID,不重复,所以出现了一个手机号注册了两个账号的情况,...
2019-08-02 09:00:52 233
转载 领域驱动设计---Domain Driver Design
https://www.cnblogs.com/baihmpgy/p/10259264.html
2019-07-28 16:16:49 298
转载 mysql查询优化
数据库查询优化Innodb存储引擎支持以下几种常见的索引:B+树索引全文索引哈希索引Innodb存储引擎支持的哈希索引是自适应的,Innodb存储引擎会根据表的使用情况自动生成哈希索引,不能认为干预是否生成哈希索引。mysql 创建索引和删除索引方法索引的创建可以在CREATE TABLE语句中进行,也可以单独用CREATE INDEX或ALTER TABLE来给表增加索引...
2019-07-26 18:27:02 115
转载 logstash 离线安装插件和打包
【Logstash离线安装插件】https://blog.csdn.net/abcd1101/article/details/82970810【logstash快速安装插件并打离线包(不改动永远别想装上)】https://blog.csdn.net/evandeng2009/article/details/78036054...
2019-01-20 16:14:56 719
原创 elasticsearch 增删改查 ---长期更新
1、单字段 多个搜索值 的 模糊查询使用 bool 的 should 去查询。{ "query": { "bool": { "must": [ { "bool": { "should": [ { "wildcard": {
2018-11-04 17:18:09 155
原创 elasticsearch 6.x 关于 join 类型的 一些问题记录(长期更新)
背景:随着es 版本的不断向前演进,在es 6.x 版本中,已经开始有意识地,主动的去弱化 type 这个概念。原因简单来说就是,es 底层存储时,相同 type的数据会存储在一起,但类比到数据库中的表,我们知道,不同数据库的同样名称的表的数据是不存储在一起的;所以type 对于 es 删除来说有害无利。为解决此问题,es 决定在 6.x 版本中 弱化之,在 7.x 版本中 会彻底删除 type...
2018-10-13 10:53:55 2864
原创 elasticsearch join 关系的一些代码示例---增加篇
package com.ustcinfo.ishare.esCURD;import com.ustcinfo.ishare.utils.Blog;import com.ustcinfo.ishare.utils.ClassFieldsCollector;import org.elasticsearch.action.admin.indices.exists.indices.IndicesEx...
2018-09-26 19:47:33 1211
原创 Java 8 新特性 及 常见 面试题
Java 8 新特性简介:1. 代码更少(增加了新语法:Lambda 表达式)2. 强大的 Stream API(集合数据的操作)3. 最大化的减少空指针 异常:Optional 类 的使用4. 接口的新特性5. 注解的新特性6. 集合的底层 源码实现7. 新日期时间的 api题一:抽象类 和 接口的 异同?抽象类:含有 abstract 修饰符的 class 就算 抽象类;它...
2018-09-22 21:34:44 21755 1
原创 mysql 数据库 开启 binary log 记录
由于项目需要,现有需求,将 mysql 数据库中的 数据同步到 elasticsearch中,我们的方案如下:使用 canal 做数据同步;所以需要开启 mysql 的 binary log。第一步,找到 my.ini 文件,一般在 mysql安装 目录下面,即 安装 mysql 配置环境变量的路径地址。如果没有,可自行新建,基本内容如下: [mysql] #设置mysql客户端默认...
2018-09-21 16:09:38 479
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人