thunder࿐-CSDN博客

原创 Spark-优化解析

文章目录小笔记spark的监控工具Spark的数据倾斜第1章Spark性能优化1.1调优基本原则1.1.1基本概念和原则1.1.2性能监控方式1.1.2.1 Sp...

2020-06-01 11:38:46 1030 1

原创 Spark-内核解析

文章目录小笔记spark通信架构spark脚本spark Standalone启动流程spark应用提交流程spark shuffle过程Spark内存管理与分配...

2020-06-01 11:22:20 772

原创 Elasticsearch 写入原理详解|refresh|translog|flush|merge |commit point

1、refresh操作：buffer快满时或到一定的时间，默认一秒钟，会将buffer的数据生成为新的segment文件（os cache之中），只要buffer中的数据被refresh到OS cache之中，就代表这个数据可以被搜索到了。当然可以通过restful api 和Java api实现refresh，官网提示：尽管刷新是比提交轻量很多的操作，它还是会有性能开销。当写...

2020-03-30 15:04:18 1517

转载为什么阿里巴巴禁止在 foreach 循环里进行元素的 remove/add 操作

为什么阿里巴巴禁止在 foreach 循环里进行元素的 remove/add 操作Hollis程序员小灰今天本文转载自公众号 Hollis在阿里巴巴Java开发手册中，有这样一条规定：但是手册中并没有给出具体原因，本文就来深入分析一下该规定背后的思考。1foreach循环foreach循环（Foreach loop）是计算机编程语言中的一种控制...

2019-03-20 11:15:11 256

转载 CentOS7.2 搭建Elasticsearch6.x集群

2019-01-22 16:42:39 450

转载 Centos用yum方式安装nodejs和npm

原文地址：http://blog.csdn.net/xiao_jun_0820/article/details/50838185要通过 yum 来安装 nodejs 和 npm 需要先给 yum 添加 epel 源##添加 epel 源64位:rpm -ivh http://download.fedoraproject.org/pub/epel/6/x86_64/epel-r...

2019-01-21 14:48:12 819

转载 ElasticSearch 6.5.4 安装问题及解决办法

这两天安装ElasticSearch遇到了一点问题，hosts绑定127.0.0.1能正常启动，修改成192.168.1.11后，启动报了各种错误。ES版本：5.4.1环境：虚拟机linux版本：centos6.9本机：win10网上找了一些解决方案，各种尝试之后终于能正常启动了，总结如下：1）max file descriptors [4096] for elasticsear...

2019-01-19 10:54:40 941

原创 idea 插件汇总

Maven Helperdatabase-navigatorJRebellombok-pluginAceJumpfree-mybatis-pluginignoremarkdownstatistic

2018-11-26 18:28:24 245

原创 Elasticsearch java API (27)集群管理

集群管理编辑访问集群Java API,您需要调用 cluster()方法从一个 AdminClient:ClusterAdminClient clusterAdminClient = client.admin().cluster();在本指南中,我们将使用 client.admin().cluster().集群的健康编辑

2016-07-04 14:45:46 2368

原创 Elasticsearch java API (26) Indices 指标管理

脚本语言编辑API允许一个设置索引脚本的语言与之交互。如果一个人没有提供默认将使用脚本语言。指标管理编辑访问指标Java API,您需要调用 indices()方法从一个 AdminClient:IndicesAdminClient indicesAdminClient = client.admin().indices();

2016-07-04 14:35:27 6252

原创 Elasticsearch java API (25)查询 DSL Span(跨度)查询

跨度查询编辑跨度��询是低级位置查询提供专家控制的秩序和接近指定的条款。这些通常是用于实现特定查询法律文件或专利。跨度查询不能混合(除了non-span查询 span_multi查询)。这组查询:span_term 查询的等效 term查询但与其他跨度查询使用。span_multi 查询包装 term, range, prefix, wildcard

2016-07-04 14:28:13 3674

原创 Elasticsearch java API (24)查询 DSL Specialized(专业)查询

专业查询编辑这组包含查询不适应其他组:more_like_this 查询这个查询发现文档类似于指定的文本,文档或文档的集合。template 查询的 template查询接受一个胡子模板(内联,索引,或者从一个文件),和一个映射的参数,结合了两个查询以生成最终的执行。script 查询这个查询允许脚本作为一个过滤器。也看到了 function_score查询.

2016-07-04 14:23:28 1139

原创 Elasticsearch java API (23)查询 DSL Geo查询

地理查询编辑Elasticsearch支持两种类型的地理数据: geo_point纬度/经度对字段的支持,和 geo_shape领域,支持点、线、圆、多边形、多等。这组查询:geo_shape 查询发现文档与几何图型相交,包含,或与指定的geo-shape不相交。geo_bounding_box 查询发现文档与geo-points落入指定的矩形。geo_di

2016-07-04 14:06:56 8153 2

原创 Elasticsearch java API (22)查询 DSL Joining查询

加入查询编辑执行完整的sql风格像Elasticsearch连接在一个分布式系统是非常昂贵的。相反,Elasticsearch提供两种形式的加入是为了规模水平。nested 查询文档可能包含字段的类型 nested。这些字段是用来索引数组的对象,其中每个对象可以查询( nested查询)作为一个独立的文档。has_child和 has_parent 查询两个文档类型

2016-07-04 14:03:31 1482

原创 Elasticsearch java API (21)查询 DSL 复合查询

复合查询编辑复合查询包裹其他化合物或叶查询,要么把他们的结果和成绩,改变他们的行为,或者从查询过滤上下文切换。这组查询:constant_score 查询查询这包裹另一个查询,但在过滤器上下文中执行它。所有匹配的文档给出相同的“不变” _score.bool 查询默认的查询组合多个叶子或复合查询子句, must, should, must_not,或 fil

2016-06-30 15:11:22 6511

原创 Elasticsearch java API (21)查询 DSL 项级别查询

项级别查询编辑而全文查询将分析查询字符串在执行之前, term-level查询操作存储在反向索引的确切条款。这些查询通常是用于结构化数据,如数字、日期和枚举,而不是完整的文本字段。或者,他们允许你工艺低级查询,上述分析过程。这组查询:term 查询找到的文件包含指定的字段中指定的。terms 查询找到文件,包含任何的确切条款中指定的字段指定。rang

2016-06-30 15:00:52 2787

原创 Elasticsearch java API (20)查询 DSL

匹配所有查询编辑看到匹配所有查询配所有查询

2016-06-30 14:52:21 1886

原创 Elasticsearch java API (19)Percolate API

渗透API编辑过滤器允许一个注册查询索引,然后发送 percolate请求包括医生,回到文档的查询匹配的组注册查询。阅读的主要渗透在阅读本指南之前文档。//This is the query we're registering in the percolatorQueryBuilder qb = termQuery("content", "amazing");//

2016-06-30 14:48:40 1092

原创 Elasticsearch java API (18)Aggregations 聚合 Bucket

桶聚合编辑全球聚合编辑下面是如何使用 Global Aggregation 与Java API。准备聚合请求编辑这里有一个例子关于如何创建聚合的要求:AggregationBuilders .global("agg") .subAggregation(AggregationBuilder

2016-06-30 14:20:01 19096 1

原创 Elasticsearch java API (17)Aggregations 聚合函数

指标聚合编辑分钟聚合编辑下面是如何使用 Min Aggregation 与Java API。准备聚合请求编辑这里有一个例子关于如何创建聚合的要求:MetricsAggregationBuilder aggregation = AggregationBuilders

2016-06-30 11:58:31 33286 3

原创 Elasticsearch java API (16)Aggregations 构建聚合

构建聚合编辑的解释聚合指南,您可以定义子聚合在一个聚合。一个聚合指标聚合或一桶聚合。例如,这是一个3水平组成的聚合:聚合条件(桶)日期直方图聚合(桶)平均聚合(公制)SearchResponse sr = node.client().prepareSearch() .addAggregation( Aggr

2016-06-30 11:55:40 1300

原创 Elasticsearch java API (15)Count API

操作线程编辑计数API允许设置一个线程模型时将执行的操作的实际执行API在同一个节点上执行(执行API碎片分配在同一台服务器上)。有三个线程modes.The NO_THREADS模式意味着计数操作将调用线程上执行。的 SINGLE_THREAD模式意味着计数操作将一个不同的线程上执行所有当地的碎片。的 THREAD_PER_SHARD模式意味着计数操作将一个不同的线程

2016-06-30 11:54:07 3517

原创 Elasticsearch java API (14)Search API Terminate After 终止后

终止后编辑文件的最大数量为每个碎片收集,到达查询执行将提前终止。如果设置,您将能够检查操作是否被要求提前终止 isTerminatedEarly()在 SearchResponseonject:SearchResponse sr = client.prepareSearch(INDEX) .setTerminateAfter(1000) .get

2016-06-30 11:50:10 1997

原创 Elasticsearch java API (13)Search API 使用聚合

使用聚合编辑下面的代码显示了如何添加两个聚合在你的搜索:SearchResponse sr = node.client().prepareSearch() .setQuery(QueryBuilders.matchAllQuery()) .addAggregation( AggregationBuilders.terms("agg

2016-06-30 11:46:59 2042

原创 Elasticsearch java API (12)Search API MultiSearch API

MultiSearch API编辑看到MultiSearch API查询文档SearchRequestBuilder srb1 = node.client() .prepareSearch().setQuery(QueryBuilders.queryStringQuery("elasticsearch")).setSize(1);SearchRequestBu

2016-06-30 11:45:15 1585

原创 Elasticsearch java API (11)Search API scrolls

在Java中使用 scrollsedit读了scroll documentation 先!import static org.elasticsearch.index.query.QueryBuilders.*;QueryBuilder qb = termQuery("multi", "test");SearchResponse scrollResp = cl

2016-06-30 11:39:10 972

原创 java 用redis如何处理电商平台，秒杀、抢购超卖

一、刚来公司时间不长，看到公司原来的同事写了这样一段代码，下面贴出来：1、这是在一个方法调用下面代码的部分： if (!this.checkSoldCountByRedisDate(key, limitCount, buyCount, endDate)) {// 标注10： throw new ServiceException("您购买的商品【" + commodityTitle

2016-06-29 14:34:19 56384 13

原创 Elasticsearch java API (10)批量处理 API

使用批量处理器编辑的 BulkProcessor类提供了一个简单接口自动冲洗批量操作基于请求的数量或大小,或者在给定的时期。使用它,首先创建一个 BulkProcessor实例:import org.elasticsearch.action.bulk.BackoffPolicy;import org.elasticsearch.action.bulk.BulkProc

2016-06-24 17:51:44 10732 6

原创 Elasticsearch java API (11)Bulk API

大部分API编辑大部分API允许一个指数和删除几个文件在一个单一的请求。这是一个示例用法:

2016-06-24 17:47:56 1700

原创 Elasticsearch java API (10)Multi Get API

Multi Get API编辑多让API允许基于他们得到的文档列表 index, type和 id:MultiGetResponse multiGetItemResponses = client.prepareMultiGet() .add("twitter", "tweet", "1") .add("twitter", "tweet",

2016-06-24 16:48:34 1092

原创 Elasticsearch java API (9)更新的API

更新的API编辑你可以创建一个 UpdateRequest并将其发送到客户端UpdateRequest updateRequest = new UpdateRequest();updateRequest.index("index");updateRequest.type("type");updateRequest.id("1");updateRequest.doc(

2016-06-24 16:38:16 3564

原创 Elasticsearch java API (8)删除API

删除API编辑删除API允许删除类型从特定指数基于JSON文档id。下面的例子删除JSON文档的索引称为twitter,在一种称为tweet,id为价值1:DeleteResponse response = client.prepareDelete("twitter", "tweet", "1").get();在删除操作的更多信息,查看删除API文档。

2016-06-24 16:34:23 1360

原创 Elasticsearch java API (7)GET API

GET API编辑On this page操作线程get API允许获得类型从指数基于JSON文档id。下面的例子得到一个JSON文档的索引称为twitter,在一种称为tweet,id为价值1:GetResponse response = client.prepareGet("twitter", "tweet", "1").get();

2016-06-24 16:31:41 1310 1

原创 Elasticsearch java API (6) index API

连接客户端客户节点编辑你可以开始在本地客户机节点然后简单地创建一个 TransportClient在您的应用程序连接到这个客户机节点。这样,客户机节点能够加载任何你所需要的插件(例如思考发现插件)。索引API编辑指数API允许一个索引类型的JSON文档转换为一个特定的索引和搜索。生成JSON文档编辑

2016-06-24 16:22:26 2306 1

原创 Elasticsearch java API (5)Transport Client

Transport ClienteditJava API: 5.0.0-alpha32.3 (current)2.22.12.01.71.61.51.41.30.90PrefaceMaven RepositoryDealing with JAR dependency conflictsEmbedding jar w

2016-06-24 16:10:33 6199

原创 Elasticsearch java API (4)部署在JBoss EAP6模块

部署在JBoss EAP6模块编辑Elasticsearch和Lucene类需要在同一个JBoss模块。你应该定义一个 module.xml文件是这样的:

2016-06-24 16:08:00 932

原创 Elasticsearch java API (3)

处理JAR依赖冲突编辑如果你想使用Elasticsearch在您的Java应用程序中,您可能必须解决版本冲突与第三方如番石榴和Joda的依赖性。比如,也许Elasticsearch使用Joda 2.8,而代码使用Joda 2.1。你有两个选择:最简单的解决办法是升级。新模块的版本可能会有固定的老错误。你背后的进一步下降,难度将会升级。当然,有可能是您

2016-06-24 15:49:07 1075

原创 Elasticsearch java API (2)

Maven存储库编辑Elasticsearch是托管在Maven中央.例如,您可以定义的最新版本 pom.xml文件: org.elasticsearch elasticsearch ${es.version}

2016-06-24 15:40:22 788

原创 ElasticSearch java API (1)

前言编辑本节描述elasticsearch提供的Java API。执行所有elasticsearch操作使用客户端对象。所有操作在本质上是完全异步的(或接受一个侦听器,返回一个未来)。此外,客户端上的操作可能会积累和执行散装.请注意,所有的API是通过Java API公开(实际上,内部使用Java API来执行)。

2016-06-24 15:38:53 897

ext-2.2.zip下载 oozie中使用

rabbitmq server的linux版

空空如也