24koby

原创 Redis---第十章 集群

Redis Cluster是Redis的分布式解决方案，在3.0版本正式推出，有效地解决了Redis分布式方面的需求。当遇到单机内存、并发、流量等瓶颈时，可以采用Cluster架构方案达到负载均衡的目的。之前，Redis分布式方案一般有两种： 客户端分区方案，优点是分区逻辑可控，缺点是需要自己处理数据路由、高可用、故障转移等问题。 代理方案，优点是简化客户端分布式逻辑和升级维护便利，缺点是加重架构部署复杂度和性能损耗。 现在官方为我们提供了专有的集群方案：Redis Cluste.

原创 Redis---第七章 阻塞

Redis是典型的单线程架构，所有的读写操作都是在一条主线程中完成的。当Redis用于高并发场景时，这条线程就变成了它的生命线。如果出现阻塞，哪怕是很短时间，对于我们的应用来说都是噩梦。导致阻塞问题的场景大致分为内在原因和外在原因：内在原因包括：不合理地使用API或数据结构、CPU饱和、持久化阻塞等。 外在原因包括：CPU竞争、内存交换、网络问题等。1 发现阻塞当Redis阻塞...

原创 Redis---第11章 缓存设计

缓存能够有效地加速应用的读写速度，同时也可以降低后端负载，对日常应用的开发至关重要。但是将缓存加入应用架构后也会带来一些问题，本章将针对这些问题介绍缓存使用技巧和设计方案，包含如下内容：缓存的收益和成本分析。 缓存更新策略的选择和使用场景。 缓存粒度控制方法。 穿透问题优化。 无底洞问题优化。 雪崩问题优化。 热点key重建优化。 1缓存的收益和成本 图11-...

原创 Rocket4.7.0安装问题

Rocket4.7.0需要jdk1.8,maven其次：安装后，需要修改runbroker.sh,runserver.sh中vim bin/runserver.sh　（调整nameserver启动的内存，不调整此文件，可能导致无法启动。） JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn512m -XX:MetaspaceSiz...

原创 springcloud2.1.10版本---- 四 Feign(声明式服务调用)

Feign是一个声明式的伪Http客户端，它使得写Http客户端变得更简单。使用Feign，只需要创建一个接口并注解。它具有可插拔的注解特性，可使用Feign 注解和JAX-RS注解。Feign支持可插拔的编码器和解码器。Feign默认集成了Ribbon，并和Eureka结合，默认实现了负载均衡的效果。简而言之：Feign 采用的是基于接口的注解 Feign 整合了ribbon，具有负载...

原创 springcloud2.1.10版本---- 三 Hystrix(断路器)

在微服务架构中，当某个服务不可用时，其他服务调用故障的服务时会导致线程挂起，当有大量的请求去请求故障的服务时，此时会有大量线程挂起，导致其他服务可能崩溃，所以引入Hystrix(断路器)。通过断路器的故障监控，向调用方返回一个错误响应，而不是一个长时间的等待，这样就不会使得线程因调用故障服务被长时间占用不释放，避免了故障在分布式系统中的蔓延。这里依然采用上一节的代码，然后引入Hystrix模块...

原创 SpringCloud2.1.10版本--- 二 Ribbon入门

Ribbon是一个基于Http和Tcp的客户端负载均衡工具，它可以让我们轻松地将面向服务的REST请求模板请求自动转换成客户端负载均衡的服务调用。这里依然采用这一节的代码。这是链接Ribbon实例的简单应用（provider+consumer），上节中已经做了ribbon的使用，本节只介绍ribbon的一些api的使用。在consumer端需要添加ribbon依赖。<depen...

原创 springcloud2.1.10版本----一 Spring Cloud Eureka--Provider与Consumer端

一 Eureka的Provider和Consumer端的项目的创建选择next配置需要的选项后，next选择web模块和Eureka Discovey Client模块，Consumer端还需要增加Ribbon模块。consumer端需要增加ribbon模块选择next,然后finish创建项目二 Provider端的配置1 启动类配置im...

原创 springcloud2.1.10版本----一 Spring Cloud Eureka

一、服务的注册与发现关系调用说明：服务生产者启动时，向服务注册中心注册自己提供的服务； 服务消费者启动时，在服务注册中心订阅自己所需要的服务； 注册中心返回服务提供者的地址信息个消费者； 消费者从提供者中调用服务。二、Eureka简介Eureka是Spring Cloud Netflix微服务套件中的一部分，可以与Springboot构建的微服务很容易的整合起来。Eure...

原创 spring---六 AOP

什么是AOP AOP（Aspect-OrientedProgramming，面向切面编程），可以说是OOP（Object-Oriented Programing，面向对象编程）的补充和完善。OOP引入封装、继承和多态性等概念来建立一种对象层次结构，用以模拟公共行为的一个集合。当我们需要为分散的对象引入公共行为的时候，OOP则显得无能为力。也就是说，OOP允许你定义从上到下的关系，...

原创 Springboot教程idea2018版--1 入门

springboot2.1以上需要1.8以上的jdk一 创建工程1 通过new project----->>选择spring initializer。2 选择Spring Initializer3 点击next进入下面的界面填写group ID和Artifact以及其它选项，选择next4 选择项目需要的模块这里由于第一次创建，可以直接跳过，选择...

原创 Spring---四 bean的加载

加载bean时，spring通过以下方法加载bean。XmlBeanFactory xmf = new XmlBeanFactory(new ClassPathResource("beanFactory.xml")); Object bean = xmf.getBean("");下面是getBean()方法的源码：@Override public Object getBean...

原创 spring--三 自定义标签解析

当完成配置文件到Document的转换并提取对应的root后，将开始所有元素的解析，在这一过程中便开始了默认标签与自定义标签两种格式的区分，函数如下：protected void parseBeanDefinitions(Element root, BeanDefinitionParserDelegate delegate) { if (delegate.isDefaultNamespa...

原创 Spring---二 默认标签的解析过程

一 bean标签的解析和注册1 解析BeanDefinition<1> 创建用于属性承载的BeanDefinition<2> 解析各种属性<3> 解析子元素meta<4> 子元素lookup-method的解析<5> 解析子元素replaced-method<6>解析子元素constructo...

原创 Spring----一 bean容器的构成

目录一 beans包的层次结构二 核心类介绍1 DefaultListableBeanFactory2 XmlBeanDefinitionReader三 容器的基础XmlBeanFactory1 配置文件封装2 加载Bean四 获取XML的验证模式1 DTD和XSD的区别2 验证模式的读取五 获取Document1 EntityResolver...

原创 Redis-第九章 哨兵

redis的主从模式复制下，一旦主节点由于故障不能提供服务，需要人工将从节点晋升为主节点，同时还要通知应用方更新主节点地址，对于很多应用场景这种故障是无法接受的。redis2.8开始正式提供redis sentinel(哨兵)架构来解决这个问题。一 基本概念Redis Sentinel是Redis的高可用实现方案，在实际的生产环境中，对提高整个系统的高可用性是非常有帮助的，本节首先会回...

原创 The POM for org.apache.maven.doxia:doxia-module-markdown:jar:1.8-SNAPSHOT is missing, no dependency错

在hadoop-3.0.0-src中的pom文件中（hadoop-3.0.0-src/pom.xml）中修改org.apache.maven.doxia:doxia-module-markdown:jar:1.8-SNAPSHOT关于这个包的maven依赖，因为这个jar包没有1.8-SNAPSHOT版本，只有1.8版本，删除-SNAPSHOT即可...

原创 Redis-第六章 复制

在分布式系统中为了解决单点问题，通常会把数据复制多个副本部署到其他机器，满足故障恢复和负载均衡等需求。redis也是一样，它提供复制功能，实现相同数量的多个redis副本。它是高可用redis的基础。一 配置1 建立复制参与复制的redis实例划分为主节点(master)和从节点(slave)。默认情况下redis都是主节点。每个从节点只能有一个主节点，每个主节点可以有多个从节点。复制...

原创 Redis-第五章 持久化

Redis支持两种持久化机制RDB和AOF,持久化功能有效避免退出造成的数据丢失问题，当下次重启时利用之前持久化的文件即可实现数据恢复。一 RDB机制RDB持久化是把当前进程数据生成快照保存到硬盘的过程，触发RDB持久化过程分为手动触发和自动触发。1 触发机制手动触发分别对应save和bgsave命令。save命令：阻塞当前redis服务器，知道RDB过程完成为止，对于内存比较...

原创 第 四 章 kafka集群管理

一 集群管理1 启动broker首先启动zookeeper--------启动broker后台启动方式：（1）bin/kafka-server-start.sh -daemon <path>/server.properties（2）hup bin/kafka-server-start.sh -daemon <path>/server.properties...

原创 spark机器---聚类

import org.apache.spark.ml.Pipelineimport org.apache.spark.ml.clustering.KMeansimport org.apache.spark.ml.feature.{OneHotEncoder, StandardScaler, VectorAssembler}import org.apache.spark.sql.SparkS...

原创 spark机器学习---聚类模型

spark目前支持的聚类算法有：K均值，三层贝叶斯概率模型，二分K均值，高斯混合

原创 spark机器学习---回归算法

import org.apache.spark.ml.Pipelineimport org.apache.spark.ml.evaluation.RegressionEvaluatorimport org.apache.spark.ml.feature.{OneHotEncoderEstimator, VectorAssembler, VectorIndexer}import org.ap...

原创 spark机器学习--分类算法

数据为stumbleupon数据集：链接：https://pan.baidu.com/s/1YNoxbQqR_zntigKMUlNhhQ提取码：j7fnimport org.apache.spark.ml.{Pipeline, PipelineModel}import org.apache.spark.ml.classification._import org.apache....

原创 Redis-第三章 小功能大用处

一 慢查询许多存储系统提供慢查询日志帮助开发和运维人员定位系统存在的慢操作。慢查询日志就是系统在命令执行前后计算每条命令的执行时间，当超过预设阈值，就将这条命令的相关信息记录下来。慢查询只统计步骤3的时间，所以没有慢查询并不代表客户端没有超时问题。1 慢查询的配置参数对于慢查询，需要明确：预设阈值怎么设置？ 慢查询记录存放位置redis提供了sloglog-log...

原创 Redis-第二章API使用

一 全局命令：1 查看所有键keys *2 键总数dbsizedbsize计算键数时不会遍历所有键，而是直接获取redis内置的键总数变量，所以时间复杂度是O(1),而keys命令会遍历所有键，时间复杂度为O(n)，当redis保存了大量键时，线上环境禁止使用。3 检查键是否存在exists key存在返回1，否则04 删除键del ke...

原创 spark机器学习-七 推荐模型

协同过滤简单来说就是利用某个兴趣相投、拥有共同经验之群体的喜好来为使用户推荐其感兴趣的资讯，个人通过合作的机制给予咨询相当程度的回应并记录下来达到过滤的目的，进而帮助别人筛选。import org.apache.spark.ml.Pipelineimport org.apache.spark.ml.evaluation.RegressionEvaluatorimport org.apac...

原创 spark机器学习-mllib基础

一 MLlib简介二 MLlib架构三 数据类型四 基础统计MLlib提供了很多统计方法，是对RDD格式数据的统计，包括摘要统计、相关统计、分层统计、假设检验、随机数生成、流显著性检验、核密度估计等。1 摘要统计对于RDD[Vector]类型的列统计信息，MLlib提供了一种名为colStats()的统计方法，即摘要统计方法。调用该方法可以计算每列的最大值、最小值、均值、方...

原创 spark机器学习五----模型选择与优化

一 模型选择二 交叉验证交叉验证import org.apache.spark.ml.{Pipeline, PipelineModel}import org.apache.spark.ml.classification.{LogisticRegression, LogisticRegressionModel}import org.apache.spark.ml.evalua...

原创 spark机器学习二 pipeline工作流

import org.apache.spark.ml.classification.LogisticRegressionimport org.apache.spark.ml.linalg.Vectorsimport org.apache.spark.ml.linalg.Vectorimport org.apache.spark.ml.param.ParamMapimport org.ap...

原创 spark机器学习 一构建机器学习系统

本内容都是基于ml-100k数据集操作1 数据特征分析from pyspark.sql import SparkSessionfrom pyspark.sql import Rowimport matplotlib.pyplot as pltimport numpy as npspark = SparkSession.builder.appName("pyhton").conf...

原创 java锁

原创 第三章 Consumer开发

一 Consumer概览kafka消费者是从Kafka读取消息的应用。旧版本consumer采用scala编写，由于存在设计缺陷，在0.9.0.0版本中正式推出了采用java新版本的consumer。新旧版本对比 语言 API 主要类 新版本 Java org.apache.kafka.clients.consumer.* kafkaConsu...

原创 第1章 Apache Kafka

1.1 kafka快速入门kafka的核心功能是高性能的消息发送和高性能的消息消费。1.2 kafka安装windows下安装：下载地址：http://kafka.apache.org/quickstart#quickstart_downloadwindows下启动：先解压安装包，进入bin/windows文件夹。启动kafka：zookeeper-server-...

原创 第二章 kafka的producer开发

一 producer概念producer设计上比consumer简单，不涉及复杂组管理操作，即每个producer都是独立进行工作的，与其他producer实例之间没有关联。producer的功能就是向topic发送消息，在发送之前需要确认消息要发送的分区。确认分区：producer提供了默认的分区策略和分区器。若待发送消息指定了key，那partition会根据key哈希值选...

原创 分布式存储架构一-分布式存储概念

分布式存储系统是由大量廉价普通PC服务器通过Internet互联，对外作为一个整体提供服务的系统。它的规模大且成本低。分布式存储系统的特性：可扩展：分布式存储系统能扩展几百到几千台的规模，随着集群数量的提升，它的系统整体性能也有线性的提升； 低成本：由于分布式存储系统具有容错、负载均衡的能力，使其能构建在廉价服务器之上； 高性能：单台和整体的服务器性能优越； 易用：提供易用的对外接口...

原创 java高并发实战

目录一 走入并行世界1 并行概念1.1.1 同步和异步1.1.2 并发与并行1.1.3 临界区1.1.4 阻塞和非阻塞1.1.5 死锁、饥饿和活锁1.2 并发级别1.3 回到java：JMM1.3.1 原子性1.3.2 可见性1.3.3 有序性1.4 哪些指令不能重排：Happen-Before规则​二 JAVA并行程序基础1 .1并...

原创 java虚拟机-jvm内存回收算法篇

目录第一章 走进java1 java虚拟机发展史1.1 Sun Classic/Exact VM(jdk1.0~jdk1.2)1.2 Sun HotSpot VM2 模块化3 64位虚拟机第二章 Java内存区域与内存溢出异常2.1 概述2.2运行时数据区域2.3 Hotspot虚拟机2.3.1 对象的创建2.3.2 对象的内存区域2.3.3 对...

原创 java核心知识

1 方法重载在java语言中，要重载一个方法，除了要与原方法具有相同的简单名称之外，还要求必须拥有一个与原方法不同的特征签名，特征签名就是一个方法中各个参数在常量池的字段符号引用的集合，也就是因为返回值不会包含在特征签名中，因此java语言里面是无法仅仅依靠返回值的不同来对一个已有方法进行重载的。但是在Class文件格式中，特征签名的范围更大一些，只要描述符不是完全一致的两个方法也可以共存。也就...

原创 动态跟新shiro权限

public class MyShiroFilterFactoryBean extends ShiroFilterFactoryBean{ private static final String ROLE_STRING = "roles[${0}]"; private String fiterChainDefinitions; @Override public void setFilte...