u010011737的专栏

原创 《高效能人士的七个习惯》--习惯一：积极主动 读后感

作者引用了美国作家弗格森（Marilyn Ferguson）的一段话：“谁也无法说服他人改变，因为我们每个人都守着一扇只能从内开启的改变之门，不论动之以情或晓之以理，我们都不能替别人开门。”

原创 敏捷开发（笔记）

原创 敏捷实践指南 -生命周期选择

生命周期选择1、预测型生命周期。这是一种更为传统的方法，提前进行大量的计划工作，然后一次性执行；执行是一个连续的过程。2、迭代型生命周期。这种允许对未完成的工作进行反馈，从而改进和修改工作。3、增量型生命周期。这种方法向客户提供各个已完成的。可能立即使用可交付成果。4、敏捷型生命周期。这种方法既有迭代，也有增量、便于完善工作，频繁交付。方法 需求 活动 交付 目标 预测型 固定 整个项目仅执行一次 一次交付 管理成本 迭代型

原创 项目沟通会

项目沟通会议包含部分（仅供参考）一、项目的目标1、当前的现状。根据项目当前的现状，阐述项目的原始阶段相关特点（第一阶段）、目前系统所处的阶段相关特点（第二阶段）2、当前面临的问题项目系统目前存在的问题。比如设备老旧、系统能力扩展受限、系统单点、服务是否云化等等3、项目的目标针对系统目前的问题，我们要实现的目标是什么。比如：系统解耦、设备更换、集群部署、机房容灾，部分功能云化实现私有云和公有云相结合等等。项目的整体思路1、系统架构从系统的架构层面描述系统重构后整体的架构

原创 《敏捷宣言》

一、《敏捷宣言》四大价值观1、个体以及互动而不是过程和工具2、可用的软件而不是完成的文档3、客户合作而不是合同谈判4、应对变更而不是遵循计划二、《敏捷宣言》十二大原则1、我们的最高目标是，通过尽早持续交付有价值的软件来满足客户的需求。2、欢迎对需求提出变更，即使在项目开发后期也不例外。敏捷过程善于利用需求变更，帮助客户获得竞争优势3、要经常交付可用的软件，周期从几周到几个月不等，且越短越好。4、项目实施过程中，业务人员与开发人员必须始终通力协作。5、要善于激励项目人员

原创 Spring Cloud Config研究详解

简介在分布式系统中，每一个功能模块都能拆分成一个独立的服务，一次请求的完成，可能会调用很多个服务协调来完成，为了方便服务配置文件统一管理，更易于部署、维护，所以就需要分布式配置中心组件了，在spring cloud中，有分布式配置中心组件spring cloud config，它支持配置文件放在在配置服务的内存中，也支持放在远程Git仓库里。引入spring cloud config后，我们的...

原创 redis 应用场景

字符串键-计数器第一个如图的阅读量或者收藏或者点赞通过字符串的2个API可以实现set key 0 //set readcount::{帖子id} 0 设置阅读键incrby key 1//incrby readcount::{帖子id} 每阅读一次get key //get readcount::{帖子id} 获取阅读量如图：Hash结...

原创 索引深度理解以及B+Tree的探究

索引是什么索引是为了加速对表中数据行的检索而创建的一种分散存储的数据结构工作机制在关系型数据中是硬盘级的索引，索引id 对应的磁盘的地址，通过磁盘地址找到相关的数据为什么用B+Tree我们看一下二叉查找树看一下二叉树，通过二分查找，可以减少一些查找，它的算法复杂度是log2(N),但是存在一定的问题，如果树的都大或者都小，那就成了链表式的，查找的效率就很低了，...

原创 Spark理论分析

Spark简介什么是Spark?Spark 是基于内存计算的通用大规模数据处理框架Spark已经融入了Hadoop生态系统，可支持的作业类型和应用场景比MapReduce更为广泛，并且具备了MapReduce所有的高容错性和高伸缩性特点。为什么会诞生Spark并不是所有的问题都可以简单的分解成Map和Reduce两步模型处理Mapreduce 缺点延迟高： 不适合交...

原创 推荐算法-皮尔逊相关系数的相似度

探索相似性度量 基于用的推荐程序的一个重要的部分是用户相似度（UserSimilarity）实现。基于用户的推荐非常依赖这个组件。如果对用户的相似性缺乏可靠有效的定义，这类推荐方法是没有意义的。这也适用于用户的推荐的“近亲”------基于物品的推荐程序，它同样依赖相似性。基于皮尔逊相关系数的相似度皮尔逊相关系数是一个介于-1和1之间的数，它度量 两个一一对应数列之间的线性相关程度。...

原创 垃圾回收算法

垃圾回收算法由于垃圾回收算法的实现涉及大量的程序细节，而且各个平台的虚拟机操作内存的方法又各不相同，因此本届不打算过多的讨论算法的实现，只是介绍几种算法的思想及发展过程。标记-清除标记-清除（Mark-sweep）算法，分为“”标记”和“清除”两个阶段首先标记所有需要回收的对象，比如：有一个计数器，对象如果有地方引计算器就加1，当引用失效计算器就减去1，标记为0对象表示不可能再被使...

原创 jvm运行时数据区详解

运行时数据区程序计数器程序计数器指的是当前线程正在执行的字节码指令地址（行号），java中最小的执行单位是线程，因为虚拟机的是多线程的，每个线程是抢夺cpu时间片，程序计数器就是存储这些指令去做什么，比如循环，跳转，异常处理等等需要依赖它每个线程都有属于自己的程序计数器，而且互不影响，独立存储。Java虚拟机栈栈-是数据结构-存储数据存储什么数据？存储当前线程的运行...

原创 elastaicsearch和solr的优缺点

对比搜索引擎的优缺点，也是项目架构中技术选型判断之一，我简单的列出了两者之间的一部分优缺点，供参考

原创 elastaicsearch demo 模糊查询，分页

本文对elastaicsearch5.x版本的出现的精准，模糊，分页等查询demo，提供工具以供参考。一、引用pom.xml<dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifa...

原创 maven 根据不同的地方选择不同的配置profile

第一 场景是这样的，现在做的产品要部署到很多省份，但不同的身份相关的配置文件比如oracle,redis,nosql 等等每个地方部署服务器都不一样，打包的时候，不想来回的更换文件 ，maven<profile>标签解决这个。第二 pom.xml配置增加如下：<profiles> <profile> <id>tj</id...

原创 websocket中断

     项目中用到实时展示一些ddos攻击.cdn劫持，网页防篡改的信息，考虑到用发布订阅，再用websocket 展示，页面发了一点信息出现中断，发现问题是 发布订阅的量很大，以至于查询数据库的时间很长时间数据量达到上百万条，最后解决的方案：然后找到一遍重连心跳机制，另外就是对不需要关注的信息，过滤掉，只需要实时展示关注的信息，让关注的数据量没那么大。参考文章https://www.cnblo...

原创 spark 写数据到elasticsearch

pom.xml文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven...

原创 idea 搭建websevice 服务端

首先下载axis1.4的依赖包：axis-bin-1_4.tar.gz   搭建工程步骤一、如图此过程 点击ok 多了下图的文件如上图不能发现在HelloWorld的在server-config.wsdd 添加 <service name="HelloWorld" provider="java:RPC"> <parameter name="allowedMethods"...

原创 模拟spark中streaming的JavaKafkaWordCount案列

一、首先找到spark-1.6.1-bin-hadoop2.6.tgz 的JavaKafkaWordCount    位置具体在spark-1.6.1-bin-hadoop2.6\examples\src\main\java\org\apache\spark\examples\streaming\JavaKafkaWordCount打开可以看到/* * Licensed to the Apach...

原创 MapReduce执行过程

   俗话说的好：“好记性不如烂笔头”  开发了很长时间，突然对MapReduce的处理过程中详细的步骤和细节内容忘的差不错，只记得大概是什么样的，突然问道弄得思路不清晰，真是。    本文只对MapReduce 执行过程做分析，例如：两个文件 test1.txt   test2.txt  ;    test1.txt 中的内容为 :      Hello World     Bye   Worl...

转载 Java的三种代理模式

1.代理模式代理(Proxy)是一种设计模式,提供了对目标对象另外的访问方式;即通过代理对象访问目标对象.这样做的好处是:可以在目标对象实现的基础上,增强额外的功能操作,即扩展目标对象的功能.这里使用到编程中的一个思想:不要随意去修改别人已经写好的代码或者方法,如果需改修改,可以通过代理的方式来扩展该方法举个例子来说明代理的作用:假设我们想邀请一位明星,那么并不是直接连接明星,而是联系明星的经纪人...

原创 scala 读取jar 包外部文件

最近在做scala 由于涉及到jar包里的配置常量，经常变动，如果写在jar里还得重新打包、编译比较麻烦，所以采用了读取jar包外的配置文件代码如下：package com.ultrapower.scala.fileimport java.io.{BufferedInputStream, File, FileInputStream}import java.util.Properties

原创 elastaicsearch用java RestHighLevelClient 方式（三）

maven 的pom.xml如下<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/

转载 elastaicsearch用java RestHighLevelClient 方式（二）

Elasticsearch6.0及其head插件安装1.下载并解压elasticsearch2.修改elasticsearch.yml文件# 集群的名字 cluster.name: my-application# 节点名字 node.name: node-1 # 数据存储目录（多个路径用逗号分隔） path.data: /home/wjy/es/data

原创 elastaicsearch用java RestHighLevelClient 方式（一）

根据官网序言中提及的，在7.0 取消TransportClient 方式，将采用 rest方式，项目用到的如果版本升级需要采用rest 形式了We plan on deprecating the TransportClient in Elasticsearch 7.0 and removing it completely in 8.0. Instead, you should be u

原创 Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest m

Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes解决办法：zip -d spark_scala_demo.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF

原创 com.google.gson.JsonSyntaxException 日期错误

最近在遇到查询Elasticsearch 是用到Gson 序列化对象是出现 解析异常。      为了避免使用Gson时遇到locale影响Date格式的问题，使用GsonBuilder来创建Gson对象，在创建过程中调用GsonBuilder.setDateFormat(String)指定一个固定的格式即可 Gson gson = new GsonBuilder() .setDateF

转载 MySQL 高性能存储引擎：TokuDB初探

MySQL 高性能存储引擎：TokuDB初探在安装MariaDB的时候了解到代替InnoDB的TokuDB，看简介非常的棒，这里对ToduDB做一个初步的整理，使用后再做更多的分享。什么是TokuDB？在MySQL最流行的支持全事务的引擎为INNODB。其特点是数据本身是用B-TREE来组织，数据本身即是庞大的根据主键聚簇的B-TREE索引。 所以在这点上，写入速度就会

转载 IntelliJ IDEA 快捷键说明大全（中英对照、带图示详解）

因为觉得网络上的 idea 快捷键不够详尽，所以特别编写了此篇文章，方便大家使用 idea O(∩_∩)O~其中的英文说明来自于 idea 的官网资料，中文说明主要来自于自己的领会和理解，英文说明只是作为参考。重要的快捷键会附带图示，进行详细的说明。每一部分会先列出所有的快捷键说明表，如果有不清楚的地方，再看后续的图示详解。1 编辑【Editing】快捷

原创 jdk1.8 date日期的处理(二)

结合jdk1.8 date日期的处理(一) 和其它博客和官网 整理一下代码仅做参考package date;import org.junit.Test;import java.time.*;import java.time.format.DateTimeFormatter;import java.time.format.DateTimeParseException;impor

原创 jdk1.8 date日期的处理(一)

针对jdk1.8以前date 线程不安全，和日期计算复杂，1.8 对日期做了特殊处理1) java.util.Date月份从0开始，一月是0，十二月是11，变态吧！java.time.LocalDate月份和星期都改成了enum，就不可能再用错了。 public enumMonth implementsTemporalAccessor,TemporalAdjuster

原创 ActiveMQ 出现FixedBackOff 异常一直出现无限制的连接导致资源占用异常

2017-10-16 09:45:33,809 ERROR [org.springframework.jms.listener.DefaultMessageListenerContainer] - Could not refresh JMS Connection for destination 'topic://SOMC_OKH_TOPIC' - retrying using FixedBackO

原创 十大管理思维导图

《系统集成项目管理师》已经顺利考过，但觉得虽然考过里面的知识还是很多的需要潜心的学习和实践领悟，对自己不满足于现状，继续踏上更高的学习任务，最近在学习《信息系统项目管理师》十大知识领域看到的思维导图很不错分享一下。   、

原创 springMVC+MQ 消息队列整合（二）

1、pom.xml依赖的jar          org.apache.activemq activemq-spring 5.14.5 org.springframework spring-jms ${spring.

原创 springMVC+MQ 消息队列整合（一）

一、搭建MQ服务器        1、官网下载apache-activemq-5.14.5-bin.tar.gz。        2、在linux 服务器上执行命令解压： tar -xf apache-activemq-5.14.5-bin.tar.gz     3、到 bin目录下执行命令./activemq start     4、进入后台管理页面看是否安装成功  访问 h

原创 深谈多并发计数器CountDownLatch（二）

从（一）可以知道CountDownLatch是如何用的。接下来看一下原理实现 countDownLatch.await()await() 方法是线程挂起，什么时候开始唤醒呢。用什么方法唤醒呢？看看jdk1.8是如何实现的。 countDownLatch.countDown(); /** * Decrements the count of the latch, rele

原创 深谈多并发计数器CountDownLatch（一）

概述         CountDownLatch是JAVA提供在java.util.concurrent包下的一个工具辅助类，也可以把它看成是一个计数器，其内部维护着一个count计数，只不过对这个计数器的操作都是原子操作，同时只能有一个线程去操作这个计数器，CountDownLatch通过构造函数传入一个初始计数值，调用者可以通过调用CounDownLatch对象的cutDown()方法，

原创 org.elasticsearch.transport.ReceiveTimeoutTransportException:

failed to get local cluster state for {#transport#-1}{GgJ8b9kQQjeoD4qdfacXRQ}{192.168.186.30}{192.168.186.30:9300}, disconnecting...org.elasticsearch.transport.ReceiveTimeoutTransportException: [][1

原创 Elasticsearch2.x java Client 升级到Elasticsearch 5.x

Elasticsearch2.3.3 因产品需要升级到Elasticsearch5.4.0   客户端的链接方式和引用的jar 发生变化。 org.elasticsearch elasticsearch 5.4.0 org.elasticsear

原创 Elasticsearch 插件head 端增加一条记录和增加一个字段

增加字段在head端    http://192.168.170.69:9200/          PUT/索引/_mapping/类型{   "goods": {                   //goods 是类型       "properties": {           "china_title": {      //增加的字段