夜华_-CSDN博客

原创 kafka Exception thrown when sending a message with key='null'

关于一次部署kafka出现异常（key=’null’）的记录，环境为阿里云服务器先贴异常：org.springframework.kafka.support.LoggingProducerListener [76] - Exception thrown when sending a message with key=’null’ and payload=’2017-11-14 15:36:53|

2017-11-14 17:58:26 17280 3

原创 docker 自建证书私有 registry 搭建

docker registry 搭建，之前写过一篇博客是基于非证书registry，用于快速测试环境，今天写一个关于搭建自建证书搭建registry，以做笔记首先创建存放证书的文件夹cert，并在文件夹下生成证书，这里我用的域名是hub.mydocker.com，命令如下：mkdir certopenssl req \ -newkey rsa:4096 -nodes -sha256 -key

2017-09-29 19:53:05 699

原创 docker 安装 elasticsearch、kibana、logstash 5.6.1，带x-pack，从kafka中获取数据

前两天刚写了个博客，docker 安装 ELK，但是那次是从docker hub下载的镜像，不过看到docker hub上写着镜像已经弃用，所以我选择到docker.elastic.io下载最新的镜像尝试安装。最新的镜像内置了x-pack插件，用作安全验证。由于加上了 x-pack ，自己使用不当，整个过程也是一把辛酸一把泪啊。首先还是搭建elasticsearch，从elstic官网下载镜像，

2017-09-27 15:57:01 6129

原创 docker 搭建 ELK，logstash 从 kafka读取数据

搭建ELK做日志分析，以做记录，关于kafka以及docker的安装所以在此不做说明首先搭建elasticsearchdocker run -d elasticsearches 是有官方镜像的，所以没别的要求，这样就可以运行一个elasticsearch容器了，只是我指定了端口映射以及配置文件和数据文件数据卷，所以用的以下命令：docker run -d -p 9200:9200 -p 93

2017-09-26 14:39:27 3188 1

原创阿里云安装 docker

记录阿里云搭建docker碰到的问题阿里云搭建docker和本地有一点点区别，当安装成功后发现docker报错，如下：Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?经过 ps -aux | grep docker 发现docker进程是存在的，这时查

2017-09-20 20:06:48 4153 2

原创局域网搭建docker registry

最近在研究局域网搭建docker registry，当然在单台电脑上pull，push都很简单，也成功了，结果在局域网另外一台服务器想共享registry，pull镜像到本地却遇到了麻烦，做一个笔记docker pull s201:5000/es:5.5.1-alpine返回错误Error response from daemon: Get https://s201:5000/v2/: ht

2017-08-04 11:00:25 551

原创使用docker查看jvm状态，在docker中使用jmap，jstat

查看正在运行的容器iddocker ps这里我运行的是一个spring boot应用，docker容器id如下使用docker exec进入Docker容器，命令如下docker exec -it 29198c060396 /bin/sh运行jps，已经能看到刚才启动的spring boot应用了这时就可以使用jstat，jmap等根据进程id查看程序状态了，以下是我运行jstack查看的堆

2017-07-26 19:54:03 19346 1

原创 Ubuntu 16.10 docker安装

最近在学习docker，安装过程做下记录我采用的是下载deb文件，然后上传到服务器的安装方式，所以首先要先下载deb文件，也就是docker官网的安装指南的Install from a packageGo to https://download.docker.com/linux/ubuntu/dists/, choose your Ubuntu version, browse to pool/s

2017-07-26 19:44:23 559

原创 Ubuntu 16.10 搭建 hbase 1.2.5 完全集群

最近在学习hadoop相关知识，搭建hbase完全集群模式，做个笔记 hbase的搭建和hadoop非常类似，关于ssh的配置以及hostname之类的设置，在此略过，可以参看我的博客：Ubuntu 16.10 搭建 hadoop 2.7.3 完全集群，这里主要记录hbase搭建过程中的配置文件。从官网下载1.2.5hbase压缩包下载地址：hbase官网解压，并配置环境变量，我解压的位

2017-05-19 11:40:20 340

转载 Hadoop MapReduceV2(Yarn) 框架简介

Hadoop MapReduceV2(Yarn) 框架简介 – 原文链接原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapR

2017-05-12 20:00:32 305

原创自己写wordcount程序在hadoop上运行

已经搭建好hadoop集群环境，并已成功在hadoop上运行wordcount程序，不过这里我将wordcount程序改了改，不做单词统计，做字符统计下面是我的pom.xml<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <hadoop.version>

2017-05-12 18:13:00 785

原创 Ubuntu 16.10 搭建 hadoop 2.7.3 完全集群

Ubuntu 16.10 搭建 hadoop 2.7.3 完全集群最近在学习hadoop，在搭建完全分布式环境中的过程以及遇到的问题做一下记录。网上也有很多关于如何搭建hadoop的博客，不过大部分都是复制，粘贴。关于如何创建虚拟机，这里我不做介绍，网上有很多这方面的介绍。当然，如果你又条件，可以自己买服务器或者多台电脑玩。还有在安装之前要先安装jdk，以及设置jdk环境变量。创建hadoop用

2017-05-11 20:23:33 443

原创 Spring boot 安全启动/停止（linux for ubuntu）

Spring boot 安全启动/停止（linux for ubuntu）前言最近准备使用spring boot写一个定时任务，大家都知道spring boot的启动方式，可是放到生产环境如何安全的停止任务是个问题，带着这个问题进行资料查找。Ubuntu spring boot start/stop/restart 以下也是根据spring boot 官方介绍进行的，可是我在Ubuntu上怎么都

2017-05-05 16:21:06 6661 1

原创关于Elasticsearch使用jdbc-river同步数据每次追加的问题

关于Elasticsearch使用jdbc-river同步数据每次追加的问题

2015-04-22 11:49:42 1104 1

原创 MyEclipse 新建maven项目：错误: 找不到或无法加载主类

今天用MyEclipse新建一个maven项目，建好过后测试main方法，结果却报错，错误为找不到或无法加载主类。当然引起这种错误的原因可能有很多种，网上一搜很多哥们都遇到过，有的是环境变量设置不正确，这里我介绍我遇到这个情况的解决方法。可能是建项目太冲动了，建好就想测试测试。我引起这种情况的原因是输出目录没有指定，找到我的项目根路径查看classpath发现（我的是在第三行）：没

2015-04-15 14:49:01 4717

gif缩略图压缩处理maven项目

项目有用到图片处理技术，因为有的图片很大，需要压缩处理。之前对gif图片不做处理，最近有个需求，需要做手机端，所以gif图片太大，显然是不合适的。所以要对gif进行压缩处理，用之前的代码压缩，会出现gif图片失帧。显示出来效果大打折扣，所以经过调研，写了点关于gif图片压缩处理的代码。只包含了按照宽度等比缩放的方法，其他都差不多了。供大家指点吐槽

2015-03-24