_正在学技术的胖子-CSDN博客

转载剖析 Elasticsearch 集群系列第三篇近实时搜索、深层分页问题和搜索相关性权衡之道

最近在学习ES，发现《剖析 Elasticsearch 集群系列》文章写得挺好，转载过来记录下。原文：https://www.infoq.cn/article/anatomy-of-an-elasticsearch-cluster-part03/剖析 Elasticsearch 集群系列涵盖了当今最流行的分布式搜索引擎 Elasticsearch 的底层架构和原型实例。本文是这个系列的第三...

2020-02-02 04:33:25 361 7

转载剖析 Elasticsearch 集群系列第二篇分布式的三个 C、translog 和 Lucene 段

最近在学习ES，发现《剖析 Elasticsearch 集群系列》文章写得挺好，转载过来记录下。原文：https://www.infoq.cn/article/anatomy-of-an-elasticsearch-cluster-part02/剖析 Elasticsearch 集群系列涵盖了当今最流行的分布式搜索引擎 Elasticsearch 的底层架构和原型实例。本文是这个...

2020-02-02 04:30:59 320 1

转载剖析 Elasticsearch 集群系列第一篇 Elasticsearch 的存储模型和读写操作

最近在学习ES，发现《剖析 Elasticsearch 集群系列》文章写得挺好，转载过来记录下。原文：https://www.infoq.cn/article/analysis-of-elasticsearch-cluster-part01/剖析 Elasticsearch 集群系列涵盖了当今最流行的分布式搜索引擎 Elasticsearch 的底层架构和原型实例。本文是这个系列...

2020-02-02 04:24:16 386

转载如何使用jstack分析线程状态

看到一篇jstack小白教程，写得比较简单易懂，原文：如何使用jstack分析线程状态背景记得前段时间，同事说他们测试环境的服务器cpu使用率一直处于100%，本地又没有什么接口调用，为什么会这样？cpu使用率居高不下，自然是有某些线程一直占用着cpu资源，那又如何查看占用cpu较高的线程？当然一个正常的程序员不会写出上述代码，这里只是为了让一个线程占用较高的cpu资源。top...

2019-11-17 23:21:05 758

转载 jmeter https证书处理

jmete 压测中，难免有https，这些需要证书。本文章主要介绍证书的获取、处理、配置到jmeter中。1. 谷歌浏览器打开网站，点击地址栏的锁（表示https），选择 “证书”---“详细信息”---“复制到文件”，选择cer类型，保存到文件，例如百度首页，我保存为baidu.cer2. 执行命令： keytool -import -alias "baidu.store" -...

2019-09-07 08:26:14 1470

原创图解LinkedHashMap

LinkedHashMap,总的来说，LinkedHashMap底层是使用HashMap+LinkedList实现的。用HashMap维护数据，用LinkedList来维护数据插入的顺序。一、特点总结：1、LinkedHashMap的结构是数组+链表（+红黑树）+双向链表。双向链表是用来维护元素的顺序的。HashMap的元素是无序的，LinkedHashMap的元素是有序的...

2019-09-02 22:16:03 2192 3

原创 Spark 的架构原理

本文旨在记录自己所学的大数据知识。本文素材来源于李智慧老师的《从0开始学大数据》，李老师讲的大数据课程既有教相关知识的，也有教我们如何学习，如何思考的，讲的非常好。 Spark 也遵循移动计算比移动数据更划算这一大数据计算基本原则相关概念：计算阶段，依赖关系，DAG,Spark应用，任务集合一、Spark的计算阶段1、Spark计算本质上也是Map和reduce组成...

2018-12-08 18:56:23 585

原创四 Spark应用提交与调试总结

一、Spark提交应用程序步骤1、进入Spark安装目录/bin，调用spark-submit脚本2、在脚本后面指定参数1、--class 指定应用主类2、--master 指定应用运行模式，有local、local[n]、spark://集群url:port、Mesos、Yarn-client、Yarn-cluster3、【可选】可以指定 --deploy-mode为clie...

2018-12-04 08:36:08 361 1

原创三 Spark应用提交流程

前置概念：一、Master 和Worker 分别用于分配资源和管理资源。从资源维度来看，一个程序运行分为两个阶段。1、阶段1，先在Master上注册程序，让Master给程序分配资源，分配完之后。2、阶段2，程序就在Worker上用这些资源。二、Driver和Executor是对于应用程序（App，即jar包）来说的。如果用的是Yarn或是Mesos这些资源管理框架时...

2018-12-04 08:34:37 396

原创二 spark产生背景

大数据处理，一开始只有MapReduce。但hadoop MapReduce对迭代式计算、交互式计算支持不友好。但是有迭代式计算和交互式计算的需求，spark是基于这两个需求开发出来的。spark完美支持：迭代式计算、交互式计算。...

2018-12-04 08:31:27 609

原创一Spark是什么

Spark是什么？ 1、All in One。上层受益。上层的所有组件都是基于底层的Spark Core的，那么上层的所有应用都可以中底层中获益，比如我的底层速度加快了，那么上层应用的速度也会随着加快。2、Spark集成了sql、streaming、mklib、GraphX。大大减少了运维成本。3、Spark sql、streaming、mklib、GraphX都是基于底层的...

2018-12-04 08:28:23 439

原创 Hadoop起源以及Google三篇论文介绍

什么是大数据？大数据核心的问题有： 1、海量数据如何存储？ 2、海量数据如何计算？大数据解决了以上两个问题。举两个例子： 1、大型电商网站的商品推荐，海量的历史的售卖数据如何存储？如何从海量的历史售卖数据中计算出盈利最大化的数据推荐给用户？ 2、天气预报，海量的天气数据如何存储？如何从海量的历史数据中计算预测出未来的天气？传统数据处理过程与大数...

2018-08-29 07:55:59 17723 2

转载 Apowersoft 2.7.8 Mac破解版

Apowersoft 2.7.8 Mac破解版http://www.sdifen.com/apowersoft278.html

2018-08-28 12:17:43 1696

原创 springboot启动环境变量profile maven打包profile内部原理

springboot启动处理步骤： 1、不接配置中心的情况下，启动的时候springboot默认会加载bootstrap.yml 以及 bootstrap-profile。profile。{profile}。 {profile}在bootstrap.yml中 spring.profiles.active: dev 指定。另外说一下，加载顺序如下： bootstrap.yml 》 ...

2018-04-24 20:18:28 10694 1

原创 spring boot 过滤器、拦截器的区别与使用

拦截器与过滤器的区别：1、过滤器和拦截器触发时机不一样，过滤器是在请求进入容器后，但请求进入servlet之前进行预处理的。请求结束返回也是，是在servlet处理完后，返回给前端之前。如下图： 2、拦截器可以获取IOC容器中的各个bean，而过滤器就不行，因为拦截器是spring提供并管理的，spring的功能可以被拦截器使用，在拦截器里注入一个service，可以调用业务逻辑...

2018-04-18 19:27:31 57077 7

转载 Redis-sentinel哨兵模式

转自：http://blog.csdn.net/donggang1992/article/details/50981341这哥总结得很形象。一、sentinel介绍Redis Sentinel Sentinel(哨兵)是用于监控redis集群中Master状态的工具，其已经被集成在redis2.4+的版本中Sentinel作用： 1)：Maste

2018-01-08 19:37:11 436

转载浅谈我对DDD领域驱动设计的理解

转自 https://www.cnblogs.com/netfocus/p/5548025.html这哥对这个问题解释得非常透彻，借此自己也学习一下。从遇到问题开始当人们要做一个软件系统时，一般总是因为遇到了什么问题，然后希望通过一个软件系统来解决。比如，我是一家企业，然后我觉得我现在线下销售自己的产品还不够，我希望能够在线上也能销售自己的产品。所以，自

2017-11-29 09:25:46 19078 2

原创使用JSON-WEB-TOKENS方式认证用户登录

JWT产生缘由：传统的把token存在session中太消耗服务端的资源，特别是在用户量大的时候，这是一笔不少的资源开销。为了解决这个问题，JWT就产生了。使用JWT可以把token分散用户自己的客户端上，从而减少服务端的开销。JWT是什么？JWT是json web token.它定义了一种简洁的、安全的、用户通讯双方通讯的数据格式。JWT的组成，由3部分组成：①、He

2017-09-08 18:32:00 868 1

转载 Java中的深拷贝和浅拷贝

1．浅拷贝与深拷贝概念(1)浅拷贝（浅克隆）浅拷贝又叫浅复制，将对象中的所有字段复制到新的对象（副本）中。其中，值类型字段(Java中8中原始类型)的值被复制到副本中后，在副本中的修改不会影响到源对象对应的值。而引用类型的字段被复制到副本中的还是引用类型的引用，而不是引用的对象，在副本中对引用类型的字段值做修改会影响到源对象本身。浅拷贝简单归纳就是只复制一个对象，对象内部

2017-08-09 18:43:49 322

原创 logger.error完整打印错误堆栈信息

有时候logger.error不能完全地打印出网站的错误堆栈信息，只能打印这个错误是一个什么错误。为什么？看Logger.error源码public void error(String msg, Throwable t);public void error(String msg); 如果只传一个参数e进去，那么e就被认为是String类型(会自动调toString()

2017-07-31 11:32:47 44003 1

原创导出导入xml的实现

项目中需要用到导出xml和导入xml功能，故终结一下自己所做的：用到的技术XMLUtil为XML工具类：public class XMLUtil { private final static org.slf4j.Logger logger = LoggerFactory.getLogger(XMLUtil.class); private XMLUtil() {

2017-07-14 14:47:53 5303 7

原创 dwz选择带回功能dialog不能翻页解决方法

有几个地方需要注意：1、span>显示span> selectclass="combox"name="numPerPage"onchange="dialogPageBreak({numPerPage:this.value})">这是控制显示多少条的 2、divclass="pagination"targetType="dialog" totalCount

2017-07-13 15:18:16 864

转载 spring+springMVC中使用@Transcational方式管理事务的配置方法

springMVC 中，事务通常都在service层控制，当然controller层也可以用事务，只要配置配对，但通常不建议直接在controller层配事务，controller的作用是管理参数以及做一些简单的逻辑，业务都放在service层会比较规范。所以这里只讨论service层的事务配置问题。以下是转载自这里的文章：http://www.cnblogs.com/flying607/p

2017-07-01 11:25:20 6845

转载一个经典例子让你彻彻底底理解java回调机制

转帖请注明本文出自xiaanming的博客（http://blog.csdn.net/xiaanming/article/details/17483273），请尊重他人的辛勤劳动成果，谢谢以前不理解什么叫回调，天天听人家说加一个回调方法啥的，心里想我草，什么叫回调方法啊？然后自己就在网上找啊找啊找，找了很多也不是很明白，现在知道了，所谓回调：就是A类中调用B类中的某个方法C，然后B类中

2017-05-08 18:12:25 252

转载也许，这样理解HTTPS更容易

原文：http://blog.jobbole.com/110354/这位哥讲解得通俗易懂，不容易，辛苦了。摘要：本文尝试一步步还原HTTPS的设计过程，以理解为什么HTTPS最终会是这副模样。但是这并不代表HTTPS的真实设计过程。在阅读本文时，你可以尝试放下已有的对HTTPS的理解，这样更利于“还原”过程。我们先不了聊HTTP，HTTPS，我们先从一个聊天

2017-03-01 19:19:24 377 1

原创 jboss7 数据源密码加密

参考：http://stackoverflow.com/questions/10520997/jboss-as-7-1-datasource-how-to-encrypt-password/10542809#10542809以及：http://minstrel.iteye.com/blog/1547168应用场景：没加密前jboss数据源是明文密文，不安全。jboss版

2017-01-22 15:31:26 5072 1

转载详解java类的生命周期

出自：http://blog.csdn.net/zhengzhb/article/details/7517213谢谢这位哥们写出这么详细的java类的生命周期。非常有用。引言最近有位细心的朋友在阅读笔者的文章时，对Java类的生命周期问题有一些疑惑，笔者打开百度搜了一下相关的问题，看到网上的资料很少有把这个问题讲明白的，主要是因为目前国内java方面

2017-01-13 09:57:22 289

转载 Java内部类的作用

转载自：http://andy136566.iteye.com/blog/1061951/推荐一、定义放在一个类的内部的类我们就叫内部类。二、作用1.内部类可以很好的实现隐藏一般的非内部类，是不允许有 private 与protected权限的，但内部类可以2．内部类拥有外围类的所有元素的访问权限3.可是实现多重继承

2017-01-10 18:07:51 249

转载 Thread的run（）与start（）的区别

转自：http://blog.csdn.net/xuxurui007/article/details/7685076Java的线程是通过java.lang.Thread类来实现的。VM启动时会有一个由主方法所定义的线程。可以通过创建Thread的实例来创建新的线程。每个线程都是通过某个特定Thread对象所对应的方法run（）来完成其操作的，方法run()称为线程体。通过调用T

2016-12-28 15:25:37 384

原创 MyEclipse远程debug jboss7

前言：JBOSS7具有独立模式(standalone)和域模式(domain)两种运行方式。独立模式(standalone)是单机器单进程方式，配置布署简单，适用于一般单服务器项目。域模式(domain)是多机器多进程方式，配置稍复杂，适用于大型分布式项目。如果要集群布署项目，最简单的方式就是使用域模式(domain)。（引用自;http://blog.csdn.net/xixixi99

2016-12-09 11:02:14 1145

转载 Spring、Spring MVC、Struts2、、优缺点整理

Spring 及其优点大部分项目都少不了spring的身影，为什么大家对他如此青睐，而且对他的追捧丝毫没有减退之势呢Spring是什么：Spring是一个轻量级的DI和AOP容器框架。说它轻量级有一大部分原因是相对与EJB的（虽然本人从没有接触过EJB的应用），重要的是，Spring是非侵入式的，基于spring开发的应用一般不依

2016-11-10 10:59:12 489

原创 jboss缓存清理

场景：修改了jsp文件，touch了该项目，但是页面加载出来还是上一个版本的。导致这个问题的原因是touch项目之后jboss没有重新编译我修改的文件，导致缓存里面还是上一个版本的文件。理论上只要touch 文件，那么jboss就会动态编辑这个文件，放到jboss的缓存里。为何jboss没有清掉我修改的文件的缓存，原因不详。此时需要手动清楚jboss缓存。进入：/usr/l

2016-11-04 16:34:15 2646

转载 SpringMVC表单防止重复提交

利用SpringMVC的注解加拦截器完成。实现如下：1、首先创建注解token：@Target(ElementType.METHOD)@Retention(RetentionPolicy.RUNTIME)public @interface Token { boolean save() default false ; boo

2016-11-02 11:44:34 860

转载 Window.clearTimeout() 方法取消由 setTimeout() 方法设置的 timeout

clearTimeout()方法的参数必须是由setTimeout()返回的ID值。例子：菜鸟教程(runoob.com) var c=0;var t;var timer_is_on=0;function timedCount(){ document.getElementById('txt').value=c; c=c+1; t=setTimeou

2016-10-24 09:50:22 6699

原创 java配合js在前台获取jsessionid

浏览器与服务器之间的每一个回话都有一个session,session id 是位置标志，在java环境中，这个session的 id 就叫做jsessionid。可以直接中session中获取，比如String jsessionid = request.getSession.getId();开启一段新的回话时，服务器会把jsessionid传到浏览器，浏览器存在cookie中，

2016-10-19 14:27:48 35937 1

原创 js post传递中文参数到java后台出现乱码

项目中遇到传递中文参数的问题，这个问题可以利用编码、解码解决。方案：两次编码，一次解码。编码：var params = encodeURI(encodeURI("中文"));把中文编码成由英文数字以及支付组成的一串code.java端解码：//params 就是“中文” params = java.net.URLDecoder.decode(params ,

2016-09-13 09:56:43 5506

转载 CronTrigger

CronTriggerCronTriggers往往比SimpleTrigger更有用，如果您需要基于日历的概念，而非SimpleTrigger完全指定的时间间隔，复发的发射工作的时间表。CronTrigger，你可以指定触发的时间表如“每星期五中午”，或“每个工作日9:30时”，甚至“每5分钟一班9:00和10:00逢星期一上午，星期三星期五“。即便如此，SimpleTrigger

2016-09-08 15:00:04 349

转载数组与arrayList相互转换

string[] 和 arraylist互转及问题解决1，String 数组转成 listString[] s={"1","2","3","5","6"};List listA = Arrays.asList(s);String 数组在转成 list后，直接对该list进行操作，会出异常，例如：publicstaticvoid main(Strin

2016-09-02 17:28:00 417

转载 linux内存中buffer和 cached的比较

经常遇到一些刚接触Linux的新手会问内存占用怎么那么多？在Linux中经常发现空闲内存很少，似乎所有的内存都被系统占用了，表面感觉是内存不够用了，其实不然。这是Linux内存管理的一个优秀特性，在这方面，区别于Windows的内存管理。主要特点是，无论物理内存有多大，Linux 都将其充份利用，将一些程序调用过的硬盘数据读入内存，利用内存读写的高速特性来提高Linux系统的数据访问性能。

2016-08-17 13:54:31 6179

转载虚拟内存

什么是虚拟内存　　虚拟内存是用硬盘空间做内存来弥补计算机RAM空间的缺乏。当实际RAM满时（实际上，在RAM满之前），虚拟内存就在硬盘上创建了。当物理内存用完后，虚拟内存管理器选择最近没有用过的，低优先级的内存部分写到交换文件上。这个过程对应用是隐藏的，应用把虚拟内存和实际内存看作是一样的。技术细节：对于英特尔 IA-32 处理器（包括 386、奔腾等）而言，用户应用程序（进程）访问内存时其

2016-08-17 13:53:03 399

空空如也

空空如也