拂晓Skyler-CSDN博客

原创 Flink写入数据到ElasticSearch (ElasticSearch详细使用指南及采坑记录)

一、ElasticSearchSink介绍在使用Flink进行数据的处理的时候，一个必要步骤就是需要将计算的结果进行存储或导出，Flink中这个过程称为Sink，官方我们提供了常用的几种Sink Connector，例如:Apache Kafka ElasticsearchElasticsearch 2xHadoop FileSystem…这篇就选取其中一个常用的Elast...

2018-07-19 20:12:20 40124 15

原创 Mac/Linux压力测试神器Siege详解(附安装过程)

背景描述在做Web项目或者一个服务器程序的时候，往往会遇到以下的场景，想要确定自己服务器吞吐量有多大、在服务器中需要应用线程池但不知道线程池的数量应该设置多少、对JVM相关参数进行调优验证时需要大量的请求来触发GC等等。总之，在很多场景下，为了保证我们服务更加可靠和高可用，我们需要对系统进行压力测试。而下来要介绍的就是一款在Mac及Linux平台下优秀的压力测试神器 Siege ，仅仅通过在命...

2018-03-27 20:37:15 14972 14

原创解决ElasticSearch深度分页机制中Result window is too large问题

问题描述今天在使用ElacticSearch做分页查询的时候，遇到一个奇怪的问题，分页获取前9999条数据的时候都是正常的，但每次获取第10000条数据的时候就无法获取到结果。检查自己代码中的分页逻辑也未发现什么问题，于是进行单步调试，当单步获取第10000条数据的时候捕捉到了下面的异常： Failed to execute phase [query_fetch], all shard

2018-01-12 10:39:32 22046 3

原创 Hadoop分块与分片介绍及分片和分块大小相同的原因

概念介绍分块在HDFS系统中，为了便于文件的管理和备份，引入分块概念（block）。这里的块是HDFS存储系统当中的最小单位，HDFS默认定义一个块的大小为64MB。当有文件上传到HDFS上时，若文件大小大于设置的块大小，则该文件会被切分存储为多个块，多个块可以存放在不同的DataNode上，整个过程中 HDFS系统会保证一个块存储在一个datanode上。但值得注意的是如果某文件大小没有到

2017-12-18 20:44:58 7738 5

原创分布式Zookeeper安装搭建详解

一、下载zookeeper安装包在官网中下载，对于在墙内的用户，并不推荐该方式下载速度可能比较慢推荐方式：在cloudera仓库进行下载，相较于官网下载更加稳定快速，地址http://archive.cloudera.com/cdh5/cdh/5/，选择需要版本下载tar.gz的安装包二、将安装包上传解压到服务器指定目录执行 tar -zxvf zookeeperXXX.tar.gz -C /

2017-11-26 19:46:15 16883 1

原创开启Hadoop/Yarn的日志监控功能,解决web端查看日志时的Java.lang.Exception:Unknown container问题

问题描述今天在yarn上跑一个hadoop任务时，通过yarn的web管理后台(serveraddress:8088)想查看该任务的的任务时，发现提示如下错误： Java.lang.Exception:Unknown container.Container either has not started or has already completed or doesn;t belong to t

2017-11-26 19:12:17 11782 6

原创解决Yarn启动过程中InvalidAuxServiceException问题

问题描述Hadoop集群搭建成功后，当使用yarn来启动MapReduce程序时提示以下错误 org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist 导致任务无法正常运行。解决方法查阅资料后了解到在ya

2017-11-17 11:05:14 1248 1

原创解决SSH免密登录配置成功后不生效问题

问题描述今天配置SSH免密登录时，使用 ssh-keygen 命令成功生成了公钥和私钥，并且也执行了 ssh-copy-id 机器地址将公钥添加到了服务器的authorized_keys文件中。紧接着用 service sshd restart 命令重启了SSH服务，但当执行 ssh 登录命令时仍然需要密码。解决方案一、查看系统安全日志，定位问题执行 sudo cat /var/log/sec

2017-11-12 17:38:42 103989 24

原创解决Linux下无法使用sudo命令问题

问题描述今天搭建Hadoop伪集群时在虚拟机上新创建了一个Linux系统，但当使用普通用户登录后在终端中执行sudo命令时提示以下错误： We trust you have received the usual lecture from the local System Administrator. It usually boils down to these three things:

2017-11-09 20:32:02 43754

原创 Linux下查看文件精确到秒的修改时间

今天排查一个BUG遇到一个问题，错误日志中打印的时间精确到秒，但当根据日志中的时间去找对应文件进行验证的时候，发现通过 ls -l 或者 ll 命令，都无法查看到文件精确到秒的修改时间。最后通过查阅，发现了以下两种方式可以查看文件秒级别的修改时间：方式一：ls –full-time 命令cd 到对应的文件夹，使用 ls --full-time 命令方式二：stat 文件路径stat命令除

2017-09-26 19:11:25 32064

原创 Linux/Mac实现下alias重命名命令永久生效

在Linux中为我们提供了一个很方便的重命名命令 alias ，它的作用为如果要执行命令太长又不符合用户的习惯，那么我们可以为它指定一个别名。例如：原本创建文件夹的命令为 mkdir，你可以使用 alias md=mkdir 命令将 mkdir 重命名为md ,使用 md 也可以便捷等价的创建文件夹。但alias命令默认仅针对当前终端有效，一旦开启新的终端窗口之前的alias别名便会实效。要是想

2017-09-13 09:49:28 22954 4

原创解决Git建立远程分支关联时fatal the current branch master has no upstream branch 问题

问题描述今天在使用git时，在本地新建了一个分支，按照网上搜到的方式使用 git branch --set-upstream dev origin/dev （这里的dev为本地新建的分支）命令建立本地分支与远程分支的关联，但该命令执行后并不能成功push变更到远程分支。问题解决出现上述问题，说明远程并没有感知到本地新建的这个分支，经过多种尝试后，发现一旦执行 git branch --set-ups

2017-09-12 17:39:08 38365 5

原创依赖冲突详细介绍及其解决方法

问题描述在做maven项目的过程中，不知道大家会不会遇到这样的问题，明明代码方面没有什么问题，但是在运行的时候就会报出诸如 java.lang.ClassNotFoundException 、java.lang.NoSuchMethodError、 java.lang.NoSuchFieldError 等问题。出现这种问题很大一部分可能是由于项目中产生了依赖冲突。举个简单的例子来说明下什么是依赖冲

2017-09-05 09:49:38 7412 4

原创解决hadoop启动时的dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.错误

今天在搭建玩Hadoop的环境，通过start-all.sh启动完毕后，发现只能打开localhost:8042的管理界面，而当进入localhost:50070对应的HDFS的web管理中心时，浏览器中一直提示无法连接。于是又仔细去翻看了下启动时的信息，发现提示了如下错误：Incorrect configuration: namenode address dfs.namenode.servi

2017-08-19 17:40:20 32826 22

原创将maven项目打包成可执行的jar

在有些场景下我们需要将编写的Java工程编译打包成为一个完整的jar包，如果你的项目是使用maven构建的话可以通过以下方法来完成这个打包的过程。1、添加maven打包插件。在项目的pom.xml配置文件的build标签中添加以下代码，其中 mainClass 属性需要替换成你项目执行时的主类。 <build> <plugins> <plugin>

2017-08-18 20:07:34 1554

原创 Intellij Idea 自动生成serialVersionUID的方法

serialVersionUID介绍再编程过程中当涉及到对象的传输问题时，我们会采用序列化的技术，通过序列化可以将对象的状态信息转换为可以存储或传输的形式的过程。在Java当中我们可以通过实现Serializable接口来序列化对象，而serialVersionUID就是Java序列化机制中一个不可或缺的角色，可以通过在运行时判断类的serialVersionUID来验证版本一致性。在进行反序

2017-08-18 19:37:16 11241 2

原创解决Jgit使用SSH验证方式从远程仓库克隆代码时 Unkonwhost 问题

当我们使用SSH验证方式，利用Jgit从远程仓库（例如：github）上拉取代码时，明明将本地主机的SSH 的公钥key已经添加到远程仓库的授权key列表中，但当使用SSH验证方式拉取代码程序中却一直再报Unknow host 问题，要解决该问题只需要更改本地的ssh 的配置远程仓库的相关信息并将SSH的默认验证方式关闭即可，具体的操作为，修改 ~/.ssh/config 文件（若没有该文件，便新建

2017-04-12 16:50:16 4473

原创解决BootStrap Table表格中含中文时点击导出数据无响应的问题(Uncaught INVALID_CHARACTER_ERR: DOM Exception 5)

今天在使用bootstrap table中的数据导出功能时，遇到一个奇怪的问题，在使用测试数据进行测试的时候可以正常的将表格中的数据导出到excel、txt等文件中，但当将表格应用到web项目中时，当点击导出时始终没有任何响应。讲过一番调试排查后，最终发现是由于表格数据中含有中文导致的，在网页的开发者选项中报一个 Uncaught INVALID_CHARACTER_ERR: DOM Except

2017-04-12 16:35:20 3367 2

原创多租户技术介绍

什么是多租户今天在看ElasticSearch介绍的时候，其中提到ES可以支持多租户的功能，突然联想到之前在某些软件服务提供商的介绍中也出现过这个名词，但对其一直不是很理解。经过查阅资料，将自己对租户的理解总结如下：多租户概念多租户(Multi-Tenancy)，或称为多重租赁技术，是一种软件架构技术，它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件，并且仍可确保各用户间数据的隔离

2017-03-07 23:14:49 10890 3

原创解决MySQL登录ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor)问题

问题描述今天在MAC上安装完MYSQL后，MYSQL默认给分配了一个默认密码，但当自己在终端上使用默认密码登录的时候，总会提示一个授权失败的错误：Access denied for user ‘root’@’localhost’ (using passwor)如图：解决方案既然现在没法登录到数据库中，改密码和添加用户等操作也无从谈起。好在MySQL中还提供了一种免去密码校验进入...

2017-02-26 17:17:20 382153 61

原创解决运行Java项目出现错误 error:java: 无效的源发行版: 8解决方法

今天在学习SpringBoot的时候，使用Idea配合Maven搭建了一个简单的SpringBoot的Demo但一运行的时候一直报 error:java: 无效的源发行版: 8 这个错误。经过自己的审查发现，是由于SpringBoot这个项目默认是使用JDK1.8进行编译的，而自己本地安装的JDK是1.7版本故运行编译的时候出现了这个问题。一但当编写Java项目出现这个问题的时候，只要制定m

2017-02-21 21:15:03 18378 3

原创 maven依赖scope配置项讲解

我们在使用Maven配置依赖项的时候，常常只会配置Maven的坐标以及版本信息就可以了，但我们看其他人的工程代码的时候常常会见到有个scope配置项，今天就来分别介绍下这个配置下几个类别的作用。<scope>的分类一、complie编译域，这个是Maven中scope的默认值，我们平时不写scpoe配置时默认就是使用这个值。compile表示被依赖项目需要同当前项目编译时一起进行编译，项目测试期以

2017-02-21 20:29:26 4872

原创 Linux配置静态IP，以及解决配置静态IP后无法上网的问题

在Linux系统中，网络IP默认是根据DHCP方式由网关自动进行分配，这样可能会出现不同时候连接网络时所分配的IP不一致，在我们开发过程中有的时候若需要使用Linux系统用作服务器的话，显然这种方式很不方便。下面就来介绍一下Linux系统中设置静态IP的方法：1、编辑网络配置文件cd /etc/sysconfig/network-scripts首先进入该目录，该目录存放的都是有关网络的配置文件

2017-02-11 23:35:55 37456

原创 Mac下IntelliJ IDEA快捷键大全

Mac键盘符号和修饰键说明⌘ Command⇧ Shift⌥ Option⌃ Control↩︎ Return/Enter⌫ Delete⌦ 向前删除键（Fn+Delete）↑ 上箭头↓ 下箭头← 左箭头→ 右箭头⇞ Page Up（Fn+↑）⇟ Page Down（Fn+↓）Home Fn + ←End Fn + →⇥ 右制表符（Tab键）⇤ 左制表符（Shift+Tab）⎋ Escap

2017-02-09 17:17:21 90913 5

原创 Spring源码剖析——依赖注入实现原理

引言在之前的 Spring源码剖析——核心IOC容器原理这篇文章中，已经详细介绍了在Spring当中我们配置的Bean是怎样被Spring解析和管理的，我们配置的那些Bean经过载入、解析和注册这三个过程后，在框架内部被抽象封装成BeanDefinition这种类型，最终所有的BeanDefinition交由BeanFactory当中的definitionMap统一管理起来(如果对该过

2016-08-06 09:35:00 46961 10

原创 Spring源码剖析——核心IOC容器原理

IOC介绍相信大多数人在学习Spring时 IOC 和 Bean 算得上是最常听到的两个名词，IOC在学习Spring当中出现频率如此之高必然有其原因。如果我们做一个比喻的话，把Bean说成Spring中主角的话，那么IOC便是这个主角进行演出的舞台,没有IOC作为Bean的承载，那么Bean便不会在编程中大放异彩。作为Spring核心组件的重要一员，了解其内部实现对我们编程和窥探Spring内

2016-08-05 15:06:16 17759 13

原创 SpringBean生命周期详解

在Spring中 Bean 可谓是一个核心的元素，当我们结合Spring进行编程的时候也离不开Bean，面对这样重要的一个角色，了解其生命周期和该生命周期所涉及的环节对我们更加熟练灵活地使用Bean是很有Bean必要的，下面我们就来详细分析下Bean的生命周期吧。生命周期流程图我们先通过一个流程图，对Bean的生命周期先做一个整体的认识和了解。若容器实现了流程图中涉及的接口，程序将按

2016-08-02 08:37:20 25069 3

原创 Spring框架使用ByName自动注入同名问题剖析

问题描述我们在使用Spring框架进行项目开发的时候，为了配置Bean的方便经常会使用到Spring当中的Autosire机制，Autowire根据注入规则的不同又可以分为==ByName==和==ByType==这两种机制(两者的用法和区别可以参考Spring@Autowire官方文档)。但大家在使用Autowire当中==ByName==机制的时候有没有思考过这样一个问题，当我们配

2016-07-27 08:56:34 3749 2

原创更改Nginx网站根目录以及导致的403 forbidden问题解决

一、更改根目录Nginx默认网站根目录为/usr/local/nginx/html，要将它改成/home/fuxiao/www更改方法：vi /usr/local/nginx/conf/nginx.conf将其中的 location / { root html;

2016-04-27 13:19:08 36500 5

原创 Linux防火墙的设置

一、防火墙设置重启后生效　　开启防火墙： chkconfig iptables on 　　关闭防火墙： chkconfig iptables off 2) 即时生效，重启后失效　　开启： service iptables start 　　关闭： service iptables stop 　　上述命令不仅可以用于防火墙的设置，对于Linux下的其它服务如My

2016-04-27 12:36:54 417

原创【问题解决】解决Yum安装中出现的mirrorlist.txt错误

今天在使用Yum install命令安装软件的时候一直提示下面的错误:# yum install mysqlLoaded plugins: fastestmirrorLoading mirror speeds from cached hostfileYumRepo Error: All mirror URLs are not using ftp, http[s] or file.

2016-04-27 11:53:42 24535 4

原创逆向生成MySQL数据库对应的建表与Insert语句(可完成记录的迁移与备份)

我们在项目开发中，数据库表中的有些记录需要备份或者拷贝给他人使用，而觉得备份与还原数据库的方法又比较麻烦，便可以使用Navicat这个MySQL管理工具根据当前数据库中的记录逆向生成相对应的建表与Insert语句，在目标电脑上执行生成的SQL文件，便可以间接完成数据库记录的迁移。下面来介绍具体方法：一、先选择需要迁移的数据库，鼠标单击数据库标志变绿即表示选中

2016-04-26 16:05:28 4499

原创 Mybatis逆向工程的使用方法

一、什么是MyBatis逆向工程简单的解释就是通过数据库中的单表，自动生成java代码。我们平时在使用Mabatis框架进行Web应用开发的过程中，需要根据数据库表编写对应的Pojo类和Mapper映射文件，而这个过程重复单一且浪费时间。基于此，MyBatis官方为了让开发者更加方便快捷地使用MYBatis框架而不必编写繁琐的Pojo类以及Mapper文件，提供了一个十分简

2016-04-25 17:50:36 11342

原创【问题解决】Maven搭建Web项目中org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)问

最近使用Maven配合SSM(Spring+SpringMVC+Mybatis)搭建一个Web项目，在测试三个框架是否整合成功的时候，每次发出请求调用MyBatis时都会出现下面这个错误从异常信息的提示来看是一个无效的语句绑定错误，一般出现该错误是由于MyBatis的Mapper映射的xml文件丢失或者没配置好，于是检测自己的映射文件发现自己的配置文件存在，而且xm

2016-04-25 16:11:52 6245 5

原创【问题解决】找不到或无法加载主类 com.sun.tools.javac.Main

今天在安装完JDK后，然后使用javac编译测试程序时，一直出现如下错误：开始以为自己的环境变量没有设置成功，但仔细一分析要是环境没有设置成功提示的错误应该是命令无法找到的错误，既然提示找不到或无法加载主类 com.sun.tools.javac.Main说明自己环境变量已经设置成功系统已经读取到了相应命令，问题的原因应该出在无法找到javac这个文件。于是到jdk

2016-04-25 14:36:54 24975

原创 BigDecimal用法详解

一、BigDecimal介绍 Java在java.math包中提供的API类BigDecimal，用来对超过16位有效位的数进行精确的运算。双精度浮点型变量double可以处理16位有效数。在实际应用中，需要对更大或者更小的数进行运算和处理。float和double只能用来做科学计算或者是工程计算，在商业计算中若需要精确的计算结果则要用java.math.BigDecimal

2016-04-24 11:26:04 24968 1

原创 Java实现大数运算

一、大数运算介绍大数运算，顾名思义，就是很大的数值的数进行一系列的运算。它是指由于编程语言提供的基本数值数据类型表示的数值范围有限，不能满足较大规模的高精度数值计算，因此需要利用其他方法实现高精度数值的计算，于是产生了大数运算。二、Java实现大数运算方法在BigDecimal用法详解这篇文章中给大家介绍了Java中的大数类Bi

2016-04-24 11:24:53 10138

原创 Eclipse中安装和使用Git

一、检查Eclipse中是否已经安装了Git依次打开从菜单栏中打开 Help->About Eclipse然后点击 Installation Details ，在上面的搜索框中搜索git若下面没有搜索到相应的插件则说明未安装git需要重新安装，已经安装过了在这里就不用再次安装。二、为Eclipse安装Git安装过程与安装其他插件的

2016-04-23 19:23:09 3586

原创 Mysql优化的一般步骤

一、数据库设计要合理表的设计要符合3NF，有时需要适当的逆范式1NF为属性的原子性约束，只要是关系型数据库均满足1NF。2NF对记录的唯一性约束，要求记录有唯一的标识(主键)。3NF在满足2NF的基础上，对字段冗余性的约束，任何字段不能由其他字段派生出来。没有冗余的数据库未必是好的数据库，有时为了提高运行效率适当降低范式标准。(如统计一个相册总的点击量时，增加一个点击量字段

2016-04-17 19:02:00 1856

原创并发模型编程中多进程与多进程的选择

在进行并发程序的实现时我们经常面临一个问题，到底是该选择多线程并发模型还是多线程并发模型呢？要在这两者间进行一个选择，首先需要明白两者的优缺点：多线程的优点方便高效的内存共享 – 多进程下内存共享比较不便，且会抵消掉多进程编程的好处。较轻的上下文切换开销 – 不用切换地址空间，不用更改CR3寄存器，不用清空TLB。多进程的优点更强的容错性 – 一个进

2016-04-17 18:56:05 1842