zjh_746140129-CSDN博客

原创大数据入门环境搭建整理、大数据入门系列教程合集、大数据生态圈技术整理汇总、大数据常见错误合集、大数据的离线和实时数据处理流程分析

本篇文章主要整理了笔者学习大数据时整理的一些文章，文章是从环境搭建到整个大数据生态圈的常用技术整理，环境希望可以帮助到刚学习大数据到童鞋，大家在学习过程中有问题可以随时评论回复！大数据生态圈涉及技术：Hadoop、MapReduce、HDFS、Hive、Hbase、Spark、Scala、Python、Kafka、Flume、Sqoop、Zookeeper大数据生态圈技术图： ...

2018-11-25 15:46:05 1325 5

原创 Spring Boot2.0系列教程合集、Spring Cloud系列教程合集、Spring Boot常见错误合集、Spring Cloud常见错误合集

以下内容结合实际项目和工作经验整理的Spring Boot和Spring Cloud学习教程和一些常见错误，希望能帮助到刚学习到童鞋，学习过程遇到问题评论回复，第一时间会回复！ Spring Boot2.0系列教程合集1、Spring Boot2.0系列教程之idea下新建一个Spring Boot项目（一）2、Spring Boot2.0系列教程之 web初体验（二）3、Sp...

2018-11-25 14:53:29 1410

原创 Linux下yum方式安装mysql 以及卸载mysql

1.安装rpm包直接使用yum -y install 命令安装mysql是无法安装mysql的高级版本，需要先安装带有可用的mysql5系列社区版资源的rpm包，输入如下命令进行安装命令：rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm2.查看mysql可用版本然后使用如下命令查看mysql的可用版...

2018-01-09 21:25:25 36642 7

原创 SpringCloud 2021版本教程：使用nacos作为注册中心和配置中心（2021版本+Boot2.7.6）

整合Spring Cloud 2021版本、Spring Boot 2.7.6、Nacos 1.4.0、Feign，学习了Nacos作为服务注册中心和配置中心的使用，使用Feign作为服务发现与服务调用的使用。

2022-12-20 22:00:00 2592

原创 Please set spring.main.web-application-type=reactive or remove spring-boot-starter-web dependency

Spring Boot整合GateWay网关提示组件冲突解决，Please set spring.main.web-application-type=reactive or remove spring-boot-starter-web dependency

2022-12-20 21:45:00 1635 1

原创 java.lang.IllegalArgumentException: Param ‘serviceName‘ is illegal, serviceName is blank 报错解决

Spring Cloud整合nacos报错找不到serviceName解决，java.lang.IllegalArgumentException: Param ‘serviceName‘ is illegal, serviceName is blank

2022-12-20 21:30:00 7594

原创 Failed to bind properties under spring.servlet.multipart.max-file-size to org.springframework.util

前言：在使用Spring Boot2.0+版本时，配置了文件上传的yml，启动时报错如图一所示完成目标：1、无法启动项目报错2、maven配置截图3、解决方案一、错误信息：Description:Failed to bind properties under ‘spring.servlet.multipart.max-file-size’ to org.springframework.util.unit.DataSize:Property: spring.servlet.multipart.

2020-11-17 19:18:20 2059

原创 idea主题设置、代码特效设置

本篇文章主要介绍在idea下配置maven、tomcat、jdk的开发环境，最后分享一下idea主题的设置、常用快捷键、工具栏、敲代码特效！！操作步骤：1、tomcat配置2、maven3、idea常用工具tool4、maven编译级别和项目JDK、资源路径等选择5、idea主题设置、代码特效设置详细步骤：一、idea主题设置1、下载主题地址：h...

2020-07-09 17:38:20 31382 7

原创 java.lang.IllegalArgumentException: Body parameter 0 was null、Spring Cloud之微服务之间相互调用接收不到参数解决方案

错误如下：微服务之间相互调用传参问题 a服务调用B服务，b 服务接收不到参数错误截图：错误信息：java.lang.IllegalArgumentException: Body parameter 0 was null at feign.Util.checkArgument(Util.java:102) ~[feign-core-9.4.0.jar:na]...

2019-05-30 09:20:55 5977

原创 Spring Cloud之微服务之间相互调用、如何让一个微服务调用另外一个微服务

在使用微服务架构中，可能遇到一些业务情况会涉及服务之间相互调用，下面通过一个简单的demo给大家演示下，演示的是oms服务需要调用ump服务。代码如下：1、oms服务提供者主要是这个注解：@EnableFeignClients("com.omsserver.*")完整代码：package com.omsserver.service;//import org.s...

2019-05-30 09:20:45 41583 2

原创 docker里安装nginx容器、同时配置多个nginx容器

本篇文章主要介绍在Linux（Centons7）下安装docker的中安装nginx容器，以下分为大概步骤和详细步骤，也会把一些遇到的坑和解决方案经验分享给大家，nginx容器安装其实就是下载启动即可，配置多个nginx需要额外修改即可。Docker的三大核心概念：镜像、容器、仓库镜像：类似虚拟机的镜像、用俗话说就是安装文件。容器：类似一个轻量级的沙箱，容器是从镜像创建应用运行实例，...

2019-04-13 18:01:42 16793 2

原创 linux安装docker、Centons7下安装docker

本篇文章主要介绍在Linux（Centons7）下安装docker，根据官网的文档操作的安装步骤，以下分为大概步骤和详细步骤，也会把一些遇到的坑和解决方案经验分享给大家。Docker的三大核心概念：镜像、容器、仓库镜像：类似虚拟机的镜像、用俗话说就是安装文件。容器：类似一个轻量级的沙箱，容器是从镜像创建应用运行实例，可以将其启动、开始、停止、删除、而这些容器都是相互隔离、互不可见的...

2019-04-13 17:40:34 2005

原创 Kafka优化总结、Kafka数据丢失解决方案、重复消费解决方案

一、Kafka优化总结翻译原文如下：https://www.infoq.com/articles/apache-kafka-best-practices-to-optimize-your-deployment1. 设置日志配置参数以使日志易于管理kafka 日志文档https://kafka.apache.org/documentation/#logkafka 压缩基础知识...

2019-03-24 18:20:27 15738 2

原创 Spring Boot项目整合ELK、Kafka

本篇文章主要介绍使用Spring Boot整合log4j，配合ELK（Elasticsearch , Logstash, Kibana）整合Kafka完成日志收集，应用场景比较多的是分布式项目，这样可以直接收集各个节点的日志到一起，便于错误日志查看和分析业务。整个流程如下：使用log4j的appender发送数据到kafka到topic，topic再发送到logstash，然后经过elas...

2019-02-24 14:51:42 2182

原创 ELK整合Kafka

本篇文章主要介绍使用ELK（Elasticsearch , Logstash, Kibana）整合Kafka完成日志收集，应用场景比较多的是分布式项目，这样可以直接收集各个节点的日志到一起，便于查看和做其他业务，下一篇文章介绍整合Spring Boot项目完成日志收集查看。环境准备：安装好ELK和Kafka简要步骤：①、修改配置文件②、启动Kafka、创建topic③、重启...

2019-02-24 14:27:12 827

原创启动elk报错 Unable to connect to Elasticsearch at http://localhost:9200

笔者安装完elk后启动，访问kibana，结果页面如下，查看日志报错，但是可以单独访问Elasticsearch。去网上查阅有说端口占用、配置文件修改不对、防火墙打开导致，搞了一天还是没解决，后来重新在一台机器重新安装又可以了，很是疑惑，于是重新按照之前的方式来一次，才发现问题出现在安装Elasticsearch时，由于我是把Elasticsearch、Logstash、Kibana分别安装的三台...

2019-02-24 13:48:25 6739

原创 ELK常见错误问题、ELK的一些坑、Unable to connect to Elasticsearch at http://localhost:9200

笔者在学习使用ELK中遇到一些坑和未解决的问题，在这里分享给大家，希望大家遇到类似问题的评论回复下解决方案。安装过程的坑：1、虚拟机安装时注意把处理器的核数调节到2以上，生产环境不用。2、安装Jdk。3、在安装elasticsearch、logstash、kibana过程中对日志文件、数据存放文件授权。4、如果分开安装elasticsearch、logstash、kibana，...

2019-01-22 21:49:59 20679 1

原创 ELK启动报错：OpenJDK 64-Bit Server VM warning

笔者在学习安装ELK时，由于是本地电脑装的虚拟机环境，可能配置不够，在启动logstash后遇到一个错误。错误信息：OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configurethe number of ...

2019-01-22 21:16:17 25609

原创 Linux安装ELK、kibana部署安装（四）

本篇文章主要介绍在Linux（Centons7）下安装ELK的elasticsearch部署安装，笔者选择了6.1版本，现在已经有6.5的新增了一些功能，推荐安装6.5，使用yum方式安装。注意，logstash至少要有1G内存才能执行在安装Logstash之前，确保已经安装了Java的运行环境简要步骤：①、wget下载kibana包②、rpm安装kibana③、修改配置文...

2019-01-15 22:35:21 4867 2

原创 Linux安装ELK、logstash部署安装（三）

本篇文章主要介绍在Linux（Centons7）下安装ELK的logstash部署安装，笔者选择了6.1版本，现在已经有6.5的新增了一些功能，推荐安装6.5，使用yum方式安装。注意，logstash至少要有1G内存才能执行在安装Logstash之前，确保已经安装了Java的运行环境简要步骤：①、wget下载logstash包②、rpm安装logstash③、设置data...

2019-01-15 21:41:12 4010

原创 Linux安装ELK、elasticsearch部署安装（二）

本篇文章主要介绍在Linux（Centons7）下安装ELK的elasticsearch部署安装，笔者选择了6.1版本，现在已经有6.5的新增了一些功能，推荐安装6.5，使用yum方式安装。注意，logstash至少要有1G内存才能执行在安装Logstash之前，确保已经安装了Java的运行环境简要步骤：①、wget下载elasticsearch包②、rpm安装elastics...

2019-01-15 20:35:23 4386 2

原创 ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍（一）

笔者接触到ELK是由于公司项目采用微服务架构，这样在部署时各个服务需要在不同机器上，而且每个服务部署好几份，这个时候日志到收集就是问题了，不能像之前那样单体应用都在一个机器，可以直接登录查看，所以就开始去了解ELK，最后用ELK+Kafka来完成日志收集处理并展现，而且ELK在大数据行业应用也很广泛。一、ELK介绍ELK Stack是软件集合Elasticsearch、Logstash、K...

2019-01-14 21:47:22 16543 6

原创 Spring boot项目整合apollo错误：for env UNKNOWN from com.ctrip.framework.apollo.internals.DefaultMetaServer

笔者在工作中遇到如下问题，随着程序功能越多，配置文件不断增加，一些功能的开关、服务器地址、接口地址、不同环境的一些配置文件不同，这些在每次发布不同环境、更新项目时都比较繁琐，后来学习微服务时接触到了Spring Cloud Config配置中心，用了一段时间发现比之前方便不少，但是还是比较繁琐和麻烦，而且功能还达不到生产级，只能小规模场景下使用，在中大规模企业场景下不建议采用。后来了解到携程Apo...

2019-01-12 16:26:57 26322 9

原创 Spring Boot项目整合Apollo配置中心（三）

笔者在工作中遇到如下问题，随着程序功能越多，配置文件不断增加，一些功能的开关、服务器地址、接口地址、不同环境的一些配置文件不同，这些在每次发布不同环境、更新项目时都比较繁琐，后来学习微服务时接触到了Spring Cloud Config配置中心，用了一段时间发现比之前方便不少，但是还是比较繁琐和麻烦，而且功能还达不到生产级，只能小规模场景下使用，在中大规模企业场景下不建议采用。后来了解到携程Apo...

2019-01-12 16:09:48 5723

原创 Linux下配置安装Apollo、Centons下配置安装Apollo（二）

笔者在工作中遇到如下问题，随着程序功能越多，配置文件不断增加，一些功能的开关、服务器地址、接口地址、不同环境的一些配置文件不同，这些在每次发布不同环境、更新项目时都比较繁琐，后来学习微服务时接触到了Spring Cloud Config配置中心，用了一段时间发现比之前方便不少，但是还是比较繁琐和麻烦，而且功能还达不到生产级，只能小规模场景下使用，在中大规模企业场景下不建议采用。后来了解到携程Apo...

2019-01-12 14:57:39 6955

原创 Apollo架构体系、Apollo运行原理、Apollo配置中心简单介绍（一）

笔者在工作中遇到如下问题，随着程序功能越多，配置文件不断增加，一些功能的开关、服务器地址、接口地址、不同环境的一些配置文件不同，这些在每次发布不同环境、更新项目时都比较繁琐，后来学习微服务时接触到了Spring Cloud Config配置中心，用了一段时间发现比之前方便不少，但是还是比较繁琐和麻烦，而且功能还达不到生产级，只能小规模场景下使用，在中大规模企业场景下不建议采用。后来了解到携程Apo...

2019-01-12 13:40:11 31394 10

原创 linux下配置maven后使用命令mvn报错NB: JAVA_HOME should point to a JDK not a JRE解决方案

笔者在之前的linux环境配置中，安装jdk使用都都是rpm和压缩包都方式安装，这次使用yum安装了一个openjdk后，再配置完maven后发现，不能使用mvn -v命令，提示JAVA_HOME should point to a JDK not a JRE错误信息。以下是错误截图和解决方案。在网上看了很多解决方案都是说配置一个jre都环境变量，后来发现其实我都是安装问题，只安装了jre没有安装...

2019-01-09 20:58:03 4860 3

原创 linux(Centons7)安装vim编辑器、linux安装wget、linux安装yum

一、安装vim编辑器1、查看原安装包 rpm -qa | grep vim2、删除已安装的vim以及其相关组件 yum remove vim vim-enhanced vim-common vim-minimal3、yum安装 yum -y install vim*安装完成二、安装wget1、安装wgetyum -y...

2019-01-09 20:33:39 3342

原创什么是分布式？什么是微服务？微服务和分布式的区别？分布式的常见问题？单体应用转微服务架构会遇到的问题？

以下问题是笔者在实际开发中遇到的问题，这些问题也都是单体应用时不会考虑到，但是分布式应用的时候就必须要考虑这些问题，解决方案和原理后续会整理更新，也希望大家积极回复讨论问题，一起学习。1、多节点部署问题、服务器监控、容灾处理2、为什么不能用synchronized？举例说明？3、举例说明分布式锁的应用场景？为什么用到？4、举例说明分布式事务应用场景？为什么用到5、服务怎么拆分？举例说明...

2018-12-11 22:34:58 1855

原创使用Sqoop1将MySQL 导入数据到 HDFS

本篇文章主要介绍使用Sqoop1将MySQL 导入数据到 HDFS。说明：1、Sqoop 与数据库进行通信，获取数据库表的元数据信息 2、Sqoop启动一个Map-Only的MapReduce作业，利用元数据信息并行将数据写入Hadoop简要步骤：①、mysql中创建数据库sqoop②、创建表dept和emp表③、插入数据④、从mysql导出数据到HDFS⑤...

2018-12-11 22:00:50 2903

原创 Sqoop 导入数据报错：No columns to generate for ClassWriter

使用Sqoop 导入数据报错信息如下：java.sql.SQLException: Streaming result set com.mysql.jdbc18/09/07 10:09:20 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.18/09/07 10:09:20 INFO tool....

2018-12-11 21:40:21 5174

原创 Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver

错误一、Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver 解决方法： 1、将mysql的驱动包拷贝到$SQOOP_HOME/lib下 2、检查sqoop的环境变量是否配置成功错误二、SQLExce...

2018-12-11 21:32:32 7768

原创 Centons7下安装配置Sqoop、Linux下安装配置Sqoop

本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Sqoop。简要步骤：①、下载Sqoop解压包②、解压Sqoop③、配置Sqoop④、配置环境变量⑤、查看是否安装成功⑥、查看数据库及数据库表详细步骤：一、Sqoop下载Sqoop官网：http://sqoop.apache.org/ ...

2018-12-11 21:21:47 685

原创 Sqoop简介及工作机制、Sqoop1和Sqoop2区别

什么是Sqoop？Sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。核心的功能有两个：1、导入、迁入2、导出、迁出导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命...

2018-12-11 21:00:41 1830

原创什么是Spring IOC、用通俗易懂的举例讲讲Spring IOC、面试被问烂的 Spring IOC

在平时面试过程中，大家被问到Spring框架时，都会被问到Spring IOC 和 AOP，让你说说他们的原理、流程、举例说明等，今天就用通俗易懂的方式给大家讲讲Spring IOC。资料来源：作者：莫那·鲁道链接：http://thinkinjava.cn 一、广义的IOC1、IOC(Inversion of Control) 控制反转，即“不用打电话过来，我们会打给...

2018-11-25 14:07:10 3076 2

原创在idea下使用java将Log4j日志实时写入Kafka（Kafka实时日志写入）

本篇文章主要介绍在windows下使用idea新建web项目将Log4j日志实时写入Kafka。简要步骤：①、新建web项目②、启动zookeeper③、启动Kafka④、创建topic⑤、启动 Kafka 消费者，运行项目，观察Kafka 消费者的控制台详细步骤：一、新建web项目代码如下：package com.demo;...

2018-11-21 21:08:09 2869

原创 Centons7下安装配置Kafka、Linux下安装配置Kafka

本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Kafka。简要步骤：①、下载Kafka解压包②、解压Kafka③、修改配置文件④、启动Kafka⑤、创建topic 详细步骤：一、Kafka下载http://archive.apache.org/dist/kafka/2.0.0/二、解压...

2018-11-18 12:51:39 908

原创 Kafka架构、Kafka核心组件、Kafka工作原理、Kafka应用场景

什么是消息系统？消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，但不担心如何共享它。分布式消息传递基于可靠消息队列的概念。消息在客户端应用程序和消息传递系统之间异步排队。有两种类型的消息模式可用 - 一种是点对点，另一种是发布 - 订阅(pub-sub)消息系统。大多数消息模式遵循 pub-sub 。一、Kafka 简介(...

2018-11-18 12:08:16 954

原创 Centons7下安装配置Flume、Linux下安装配置Flume、Flume的简单使用示例、Flume整合Kafka使用

本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Flume。目前Flume 的最新版本为1.8，笔者安装的是1.6，是Flume的一个经典版本，通常在生产环境中使用的就是这个版本，在安装Flume前，看先它的前置条件 (1).JDK1.8 (2).足够的内存 (3).足够的磁盘空间 (4).目录及文件要有读写权限简要步骤：...

2018-11-07 22:27:07 790

原创 Flume架构、Flume工作原理、Flume应用场景

一、Flume概述Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。简单来说，Flume 就是一个针对日志数据进行采集和汇总的一个工具（把日志从A地方移动到B地方）Flume 官网：http://flume.apache.org/ Flume 官方文档：http://flume.apache.org/FlumeUs...

2018-11-07 21:48:48 3502

空空如也

空空如也