- 博客(184)
- 收藏
- 关注
RSS订阅原创 Spring Cloud Ribbon源码解析
1 概述Spring Cloud Ribbon 可以实现客户端负载均衡，本文仅仅以Ribbon单独使用时对源码进行分析和理解，没有集成Eureka。Ribbon会针对我们在配置文件中配置的服务地址进行负载均衡的计算，得到目标地址后，进行服务的调用。接下来会针对两方面进行分析：1、为什么我们使用@LoadBalanced注解作用于RestTemplate上就可以实现负载均衡了呢？2、如何对服务地址进行解析的呢？2 版本信息 <dependency>
2022-05-09 23:28:42
831
原创 java.lang.ClassCastException: java.util.LinkedHashMap cannot be cast to xxx(实体类)
问题场景A项目调用B项目提供的接口返回一个Objec对象，然后把这个Object对象转化为实际的对象，然后再对这个对象处理时出现转化异常问题重现具体写法如下：调用B项目提供的接口Object data = feignService.getDataSourceByIds(idss).getData();强转List<DataSource> list = (List<DataSource>) data;通过这种方式进行强转并不能转化成想要的List对象，实际上list里
2020-05-22 09:28:29
7870
1
原创 使用@async 注解，导致访问RequestContextHolder获取request为空
解决方案callable包装public class ContextAwareCallable<T> implements Callable<T> { private Callable<T> task; private RequestAttributes context; public ContextAwareCallable(Callable<T> task, RequestAttributes context) {
2020-05-22 09:25:18
3423
原创 Spring boot 集成Redis客户端Lettuce，导致服务线程数不断增加
概述最近在部署web 项目时突然发现项目服务停止，经过排查得知服务启动后线程数在不断增加，从而导致集群资源不够，服务停止。环境Spring boot:2.1.6Redis:4.0.8jdk:1.8<groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-d...
2020-01-06 22:04:53
8348
2
原创 Nginx从入门到实战
0 概述最近在进行项目开发，用到了Nginx做代理，访问前端静态资源，以前也只是听过，没有系统的学习，最近有时间进行了学习，做了一些简单的总结，以及学习案例。1 Nginx 简介1 什么是NignxNginx是一个高性能的Http和反向代理服务器，特点是占用内存少，并发性能力强，专门为性能优化而开发，经受高负载的考验。2 反向代理Nginx不仅可以做反向代理，实现负载均衡，还能做正向代...
2019-10-23 22:59:41
388
转载 Redis实现分布式锁
https://blog.csdn.net/kongmin_123/article/details/82080962#commentBox
2019-10-11 23:06:04
172
原创 kafka java api对比springboot整合kafka以及常用命令
概述最近在使用kafka,需要往kafka中发送消息以及消费,这里就复习下kafka api的基本使用情况环境 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</ar...
2019-09-30 15:59:24
1040
原创 SparkStreaming消费kafka中的数据保存到HBase中简单demo
package cn.zhangyuimport cn.zhangyu.HbaseStreaming.createTableimport cn.zhangyu.utils.JsonUitlsimport org.apache.hadoop.hbase.client.{ConnectionFactory, Put, Table}import org.apache.hadoop.hbase.u...
2019-09-30 11:18:51
1896
2
原创 spring boot 项目在启动时调用接口
1.环境目前开发的项目使用的spring boot(2.1.4.RELEASE)+ssm2. 需求现在有一个数据处理任务的接口,在spring boot项目启动后,可以手动的去启动任务,但是这样比较麻烦,每次项目重新运行都要去通过swagger调用数据处理的接口.所以 现在想在项目启动后就是调用该方法3. 解决思路当然spring给我们提供了方法:在SpringBoot中，有两种接口方式...
2019-09-26 18:57:24
3649
1
原创 shell 脚本常用命令
#读取当前文件目录path=$(cd `dirname $0`;pwd)#修改hosts文件hostname_1=`sed '/^hostname_1=/!d;s/.*=//' $path/tag-server.config`ip_1=`sed '/^ip_1=/!d;s/.*=//' $path/tag-server.config`hostname_2=`sed '/^hostna...
2019-09-07 10:06:26
396
原创 ES常用语法
概述最近在使用es进行存储数据，可以说对es有了一个简单的了解，但是也遇到了很多问题。es mapping字段选择的问题，查询语法如何使用等等。。这里就先介绍下es的一些简单常用的查询语法，方便平时复习和查询。ES常用语法1. 集群管理：快速检查集群的健康状况es提供了一套api,叫做cat api 可以查看es中的各种数据GET / _cat/health?v如何让快速了解集...
2019-08-27 23:17:22
7465
1
原创 Hbase的基本结构以及常用命令
概述最近在进行一些数据处理的工作，用到了Hbase进行数据存储，以前也看过一点Hbase，但是在这里进行一些总结，方便以后复习，而且很多命令经常忘记，方便查看什么是HbaseHBase(Hadoop Database)是一个开源的、面向列（Column-Oriented），适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。...
2019-08-26 22:45:37
436
原创 Linux服务器上同时部署多个Tomcat
1 多个tomcat部署在服务器—一个项目对应一个tomcat2maven 打包命令mvn clean install -Dmaven.test.skip=truemvn -s “D:\Maven\apache-maven-3.3.9\conf\settings-2.xml” clean install -Dmaven.test.skip=true -e3如何打war 包4mybatis...
2019-08-18 15:28:44
384
原创 java8新特性---StreamApi
package cn.zhangyu;import org.junit.Test;import java.util.*;import java.util.stream.Collectors;import java.util.stream.Stream;/*一、Stream API 的操作步骤：创建 Stream中间操作(Transform) lazy...
2019-07-20 14:07:20
235
原创 java8新特性-方法引用和构造器引用
package cn.zhangyu;import org.junit.Test;import java.io.PrintStream;import java.util.;import java.util.function.;/*一、方法引用：若 Lambda 体中的功能，已经有方法提供了实现，可以使用方法引用 （可以将方法引用理解为 Lambda 表达式的另外一种表现...
2019-07-20 11:50:35
172
原创 Java8内置函数式接口的学习即意义
import org.junit.Test;import java.util.ArrayList;import java.util.Arrays;import java.util.List;import java.util.function.Consumer;import java.util.function.Function;import java.util.function.Pr...
2019-07-20 11:31:55
297
原创 java8 新特性--lambda表达式进阶学习
1 概述上一篇中我们对lambda表达式有了初步的认识，下面我们继续介绍什么是lambda表达式。并从真是例子出发进行学习。2 什么是lambda表达式Lambda 表达式的基础语法：Java8中引入了一个新的操作符 “->” 该操作符称为箭头操作符或 Lambda 操作符，箭头操作符将 Lambda 表达式拆分成两部分：左侧：Lambda 表达式的参数列表右侧：Lambda ...
2019-07-14 14:53:44
364
原创 java8 新特性--lambda表达式入门学习
1 概述最近在使用java做一些数据处理,发现使用java8新特性很好用,看着也很高大上,下面进行学习下.2 初体验2.1 需求:按照字符长长度进行排序原来的方式:Comparator() --> 匿名内部类 @Test public void compareLength1(){ Comparator<String> comparato...
2019-07-14 09:19:40
215
原创 阿里JSONObject 常用方法介绍
概述最近在进行数据解析的工作,遇到了Json和对象之间的转化等问题,使用了com.alibaba.fastjson.JSONObject阿里的解析工具进行了处理,这里记录下一些常用的方法.环境<dependencies> <dependency> <groupId>com.alibaba</groupId> <...
2019-07-08 21:43:28
4004
原创 Impala中常用的窗口函数
概述最近在写一些需求，用到了impala中的窗口函数，在这里记录下常用的窗口函数。后续也会把这些sql通过spark sql集成执行spark任务，去定时调度。后面我会首先介绍一些窗口函数，然后再结合具体的应用进行进一步理解。常用窗口函数1. UUID（）作用：返回 通用唯一标识符，128位值，编码为字符串，其中十六进制数字组由短划线分隔。返回类型： STRING版本需求： Impa...
2019-06-13 11:41:09
3825
原创 Jackson中objectMapper的使用详解
环境<dependency> <groupId>org.codehaus.jackson</groupId> <artifactId>jackson-mapper-asl</artifactId> <version>1.9.13</version> </depen...
2019-06-10 19:57:13
6439
1
转载 Postgresql 创建表设置自动递增的三种方法
概述Postgresql 有以下三种方法设置主键递增的方式，下面来看下相同点和不同点。方法1:1. create table test_a ( id serial, name character varying(128),constraint pk_test_a_id primary key( id)); NOTICE: CREATE TABLE will create ...
2019-06-10 17:27:52
4824
原创 Spark提交任务出现的错误：scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
概述操作：spark 操作kudu时编写代码打成package使用spark-submit提交任务使用spark-submit 提交任务时出现如下错误:Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object; ...
2019-06-10 14:57:31
1855
原创 Hive中扩展GIS函数
参考博客：https://www.jianshu.com/p/bb956bb4f996应用场景目前，Hive表中存在需要把经纬度转化为距离，和一些其他相关的计算函数，但是在hive中并没有集成这些函数。当然我们可以自定义UDF函数，但是现在提供一个更加简单的方法，通过源码编译的方式，集成GIS函数。环境<profile> <id>hadoop-2.7&l...
2019-05-20 17:48:14
1078
原创 Impala入门详解
最近在学习Impala就去官网学习了下,写成博客方便查找,必然我们要贴出官网了:官网使用手册Sql窗口函数基本操作impala-shell1 概述Apache Impala是Apache Hadoop的开源原生分析数据库;Impala于2017年11月15日从Apache孵化成顶级项目。在以前称为“Cloudera Impala”的文档中，现在的官方名称是“Apache Imp...
2019-05-10 19:08:01
959
原创 Elasticsearch基本的Java Api 增删查改操作
1概述最近在学习ES做了如下整理,这里安装就不说了,百度都有.这篇文章先介绍创建maven项目使用java api操作ES,后面会使用SpringBoot去集成ES,简单说下ES到底是什么?Elasticsearc是基于lucene实现,隐藏复杂性,提供了简单易用的restful-api接口 java api接口(还有其他语言)它是一个实时分布式搜索引擎.它用于全文搜素,结构化对比和分析....
2019-05-08 19:39:21
603
原创 Java Calendar详解及常用场景
1概述本文环境JDK1.8Java Calendar是java.util.Calendar包下的常用类，项目中经常会对时间进行处理，获取时间啊或者判断是否在某个时间范围内等。我们从源码中看看Calendar：public abstract class Calendar implements Serializable, Cloneable, Comparable<Calendar>...
2019-04-28 22:19:05
1856
原创 Spark操作kudu(Scala)
1概述Kudu官网最近在学习Kudu今天就把学到的一些基本操作记录下,使用Spark操作Kudu实现表的创建,查询(RDD和Spark SQL方式)修改以及删除1 环境 <properties> <scala.version>2.11.8</scala.version> <spark.version>2.2.0</spa...
2019-04-18 17:24:35
2374
1
原创 Kudu与Spark 集成
1.环境 <properties> <scala.version>2.11.8</scala.version> <spark.version>2.2.0</spark.version> <kudu.version>1.5.0</kudu.version> </properties...
2019-04-17 16:18:52
2465
原创 ZooKeeper基础知识及实战操作
1 ZooKeeper数据结构ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。很显然zookeeper集群自身维护了一套数据结构。这个存储结构是一个树形结构，其上的每一个节点，我们称之为"znode"，每一个znode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。2 Zookeeper节点类型Znode...
2019-03-10 14:59:26
245
原创 ZooKeeper入门及安装
1 概述官网地址Zookeeper是一个开源的分布式的，是Hadoop的分布式协调服务。Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模...
2019-03-09 12:38:01
218
原创 Shell脚本基本操作
1 概述Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。Shell是解释执行的脚本语言，在Shell中可以调用Linux系统命令。2 shell脚本执行方式echo命令，是一个输出命令。假如我们现在输出helloworld 可以进行如下操作：echo "helloworld"我们就通过一个最简单的shell脚本老看看有哪些执行方式：创建一个hello.shvi ...
2019-03-04 20:37:32
470
原创 SpringBoot整合MyBatis注解版和配置版
1 环境pom.xml &lt;!-- https://mvnrepository.com/artifact/com.alibaba/druid --&gt; &lt;dependency&gt; &lt;groupId&gt;com.alibaba&lt;/groupId&gt; &lt;artifactId&
2018-11-28 18:39:44
1907
原创 SpringBoot整合Druid并配置数据源监控
1 导入依赖 &amp;lt;!-- https://mvnrepository.com/artifact/com.alibaba/druid --&amp;gt; &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;com.alibaba&amp;lt;/groupId&amp;gt; &
2018-11-27 17:33:22
1093
原创 docker 安装MySQL中文乱码问题
1 启动MySQLdocker run -p 3306:3306 --name mysql04 -e MYSQL_ROOT_PASSWORD=123456 -d mysql2 进入容器[root@zhangyu sbin]# docker exec -it mysql04 /bin/bashmysql04指定的–name3 进入mysqlroot@e34aba02c0c3:/# m...
2018-11-27 16:48:09
4396
4
原创 SpringBoot通过JDBC方式访问数据库
1 环境准备数据库使用MySQL，我们先创建一个springboot项目再导入MySQL驱动：&amp;amp;lt;dependency&amp;amp;gt; &amp;amp;lt;groupId&amp;amp;gt;org.springframework.boot&amp;amp;lt;/groupId&amp;amp;gt; &amp;amp;lt;artifactId
2018-11-27 15:51:11
1988
原创 虚拟机上安装docker以及常用命令
1 简介Docker是一个开源的应用容器引擎；是一个轻量级容器技术；Docker支持将软件编译成一个镜像；然后在镜像中各种软件做好配置，将镜像发布出去，其他使用者可以直接使用这个镜像；运行中的这个镜像称为容器，容器启动是非常快速的。2 核心概念docker主机(Host)：安装了Docker程序的机器（Docker直接安装在操作系统之上）；docker客户端(Client)：连接doc...
2018-11-22 11:29:52
2450
原创 查看 Centos 7的IP并设置为静态IP
环境[root@localhost ~]# uname -r3.10.0-862.el7.x86_64net模式查看ip首先我们登录操作系统 用户名root 密码 123456然后我们输入ip查询命名 ip addr (ifconfig这个命令已经不能用了)：可以看出 ens33 没有 inet 这个属性，那么就没法通过IP地址连接虚拟机。接着来查看ens33网...
2018-11-22 11:01:43
1599
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人