- 博客(87)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 解决dubbo3使用protobuf序列化问题
背景dubbo3是今年新推出的革命性版本，之前使用过dubbo2，对dubbo3比较好奇，今天就初次尝鲜。本次项目架构：springboot 基础脚手架dubbo3 核心服务框架nacos 注册中心protobuf 传输协议问题按照官方文档教程编写，customer端运行时报以下错误信息：Caused by: java.lang.IllegalArgumentException: This serialization only supports google protobuf objec
2021-12-25 14:41:05
3096
3
原创 Java应用容器运行优化
前言最近公司Java应用运行在容器中出现了一个奇怪现象，宿主机内存越大，容器运行起来占用的内存就越大了。比如在宿主机8G内存的情况，一个应用容器只占几百兆大小，但是一旦运行在16G、32G内存的宿主机上，容器内存就飙升到几个G了。这明显是有问题的，这里简单介绍一下问题原因以及解决方案。问题分析刚开始看到这个问题时就想起几年前好像遇到过同样的问题，是因为容器内部的JDK无法感知到自己...
2018-08-24 08:56:52
1374
原创 traefik https配置
前言随着https的流行，现在绝大多数网站都转向了https。在kubernetes中使用traefik暴露服务，我们也可以添加上https支持，这样外部就可以通过https访问，进一步提高安全性。环境kubernetes 1.10.4traefik v1.6 k8s集群部署推荐项目：https://github.com/gjmzj/kubeaszhttps证书申请...
2018-07-31 10:53:04
6079
原创 google jib容器打包工具试用
简介Jib 是 Google 开发的可以直接构建 Java 应用的 Docker 和 OCI 镜像的类库，以 Maven 和 Gradle 插件形式提供。通过 Jib，Java 开发者可以使用他们熟悉的 Java 工具来构建容器。Jib 是一个快速而简单的容器镜像构建工具，它负责处理将应用程序打包到容器镜像中所需的所有步骤。它不需要你编写 Dockerfile 或安装 Docker，而且可...
2018-07-11 15:04:20
4608
1
原创 基于k8s 1.10集群环境Helm安装
简介Helm 是 Kubernetes 官方支持的包管理工具，可以方便地发现、共享和使用为Kubernetes构建的应用。 能够很便捷的对k8s应用进行版本管理控制。安装这里使用目前最新的版本2.9.0，可以直接通过官方地址下载。 官方下载速度较慢，这里我也上传了一个包，方面大家使用：下载地址。安装也分为两种，k8s集群启用了RBAC权限控制和没有启用权限控制。没有启用...
2018-05-07 17:16:23
3126
原创 国内k8s集群部署的几种方式
前言总所周知，由于某种原因，通过官方的方式在国内是无法顺利部署k8s集群的，这里记录下在国内部署的几种方式。部署方式目前我所了解有以下几种方式：使用kubeadmin通过离线镜像的方式，网上教程和镜像包挺多的通过厂商集成的方式如：rancher 这里推荐一篇blog：CentOS7环境安装Kubernetes四部曲直接使用类似阿里云这样的公有云平台k8s 。只要有钱，一...
2018-05-06 19:28:21
14735
原创 Jenkins基于https的k8s配置
前言之前写过一篇《基于K8s的动态Jenkins Slave构建实践》，当时用的k8s版本较低，最近将k8s版本升级1.10最新的了，并且启用了https和角色管理。突然就发现之前的jenkins配置有点问题了。 这篇主要就是来记录一下新的配置。环境Jenkins 2.107.2 Kubernetes plugin 1.6 kubernetes集群 1.10.0k8s...
2018-05-05 21:19:01
5979
1
原创 CentOS 7.x docker使用overlay2存储
编辑/etc/docker/daemon.json添加以下内容：{ "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_kernel_check=true" ]}安装依赖： yum install yum-plugin-ovl -y否则会报以下错误： May 05...
2018-05-05 18:26:28
6703
原创 Spring Boot 2.x Elasticsearch的坑
问题最近在学习ES，通过IDEA创建的Spring项目，启动一直报这个错误：NoNodeAvailableException: None of the configured nodes are availablepom.xml <parent> <groupId>org.springframework.boot</groupId>...
2018-04-27 14:42:15
3664
原创 基于k8s搭建maven nexus私服
前言环境配置nexus制作Docker镜像配置k8s PV-PVC配置k8s Deployment配置k8s Servicek8s部署访问创建 PV-PVC创建Deployment创建Service访问Nexus升级后续前言最近一段时间对k8s非常感兴趣，恨不得将所有东西都搬上去，这个周末就尝试着把家里的nexus私服给迁移上去啦。环境...
2018-04-15 10:06:20
3639
2
原创 基于K8s的动态Jenkins Slave构建实践
前言源于这篇文章分享的经验 基于 Kubernetes 的 Jenkins 构建集群实践，这里记录一下实践落地过程。环境这里Jenkins Master的安装没有采用容器镜像的方式，直接就是rpm包安装。 版本信息： Jenkins 2.107.1 Kubernetes plugin 1.4 kubernetes集群 1.5.2这里就不详细说明安装过程了。配置...
2018-03-25 10:20:32
15108
9
原创 解决k8s创建pod报错No API token found for service account "default", retry after the token is automatically
前言也是刚开始学习k8s，在创建pod的时候发现报了这个错误：Error from server (ServerTimeout): error when creating "busybox.yaml": No API token found for service account "default", retry after the token is automatically cr...
2018-03-23 21:42:34
9423
3
原创 kubernetes拉取私有仓库镜像
这里介绍通过secret配置来拉取私有仓库镜像。 如果不进行设置的话，创建RC拉取镜像时就会提示找不到镜像，报以下错误：Events: FirstSeen LastSeen Count From SubObjectPath Type Reason Message...
2018-03-16 22:49:18
8753
原创 容器使用规范
以下是公司内部整理的规范：1、环境变量命名必须匹配c标准，matching regex [A-Za-z_][A-Za-z0-9_]* ，建议环境变量统一使用大写字母。2、测试到生产应使用同一镜像。3、容器应无状态完全自理，容器间不应有启动顺序要求（应用有需求的，请容器内自行构建重试等待机制），容器启动后的所有初始化操作需要在容器内部完成，启动后使用kuberctl exec，doker...
2018-03-14 09:49:20
2097
原创 健康度异步计算方案调研
前言健康度的计算是耗时的，按照需求每分钟都需要计算一次所有应用的健康度，当应用多起来的时候就需要提高性能和扩展计算能力了。提高性能可通过开线程来处理，扩展计算能力无非是集群部署，每个节点计算一部分。这里介绍说明一下App360里面的计算方案调研。Spring Scheduler简介Spring Scheduler是Spring框架自带的定时任务处理方案，其包含TaskE
2018-01-27 20:40:07
746
原创 解决Win10家庭版无法使用TeamViewer 13
前言现在用Win 10的越来越多了，前段时间新入手了一台HP笔记本，自带的就是Win10家庭版系统。 刚开始还使用的好好的，旧版本的Teamviewer也能用，结果升级到新版本后用不了了。。问题后来网上搜索后才得知，Win10家庭版是阉割掉了远程桌面的，所以会出现莫名奇妙的错误，报错如下： 解决下载安装RDP库即可解决：https://github.com/stascorp/rdpwrap/re
2017-12-19 21:34:30
24415
原创 MySQL ssl连接错误解决
项目mysql服务器开启了ssl连接，如果通过命令行直接-uroot -p是不能连接的。 报错如下：mysql: [Warning] Using a password on the command line interface can be insecure.ERROR 2061 (HY000): Authentication plugin 'sha256_password' reported
2017-10-12 12:44:59
20760
原创 项目线上Bug处理流程
前言针对线上Release版本出现的Bug问题，我们需要有一套稍微严谨的处理流程，否则很容易忙乱掉。 下面是处理流程初稿。流程处理思维图
2017-09-24 15:41:51
8255
原创 Git项目版本管理
前言目前我们项目基本都是使用Git作为版本控制工具，Git最大的亮点就在于其分支特性，因此这里主要介绍一下项目的分支管理。 网络上也有许多的Git Flow最佳实践，但是这里我们不打算完全照搬，仅作为参考使用吧。常驻分支Release 发布分支：达到可上线发布的时候，首次从Master检出该分支，后续从Master合并过来。Master 稳定分支：经过测试人员专业测试过关了，再合并test
2017-09-24 15:29:09
1003
原创 Disconf搭建部署遇到的小问题
前言最近又跳槽到杭州的一家中型公司了，项目中用到的技术栈感觉有点乱，有很多都没用过。所以这里主要是记录一下熟悉技术栈过程中遇到的一些问题。关于Disconf的介绍和搭建部署这里就不多说了，网上类似的有很多。无法登陆如果不是将disconf设置为tomcat默认站点的话，就需要修改js源文件了，否则无法登陆和下载配置。 主要修改的地方如下： html/asserts/js/jquery-1.11
2017-07-21 09:23:01
1829
原创 HDP 2.5集成Hue
简介Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job、Hive查询等等。如果使用的是CDH平台，那么默认就已集成
2017-06-07 09:46:10
3549
1
原创 Oozie工作流之理论篇
Oozie工作流之理论篇简介Apache Oozie 是一个面向Hadoop平台的工作流引擎框架。它能够提供对Hadoop Mapreduce、Pig Jobs、Spark、Sqoop、Hive的任务调度与协调。Oozie工作流是放置在控制依赖DAG(有向无环图Direct Acyclic Graph)中的一组动作，如Hadoop的Map/Reduce作业： 对于Oozie工作流(workflow
2017-04-27 22:50:05
1491
原创 CentOS 7 编译安装Python2.6.1
编译安装步骤很简单，如下：# wget https://www.python.org/ftp/python/2.6.1/Python-2.6.1.tgz# tar zxvf Python-2.6.1.tgz# cd Python-2.6.1# ./configure --prefix=/usr/local# make && make install编译的过程中遇到以下报错信息：gcc -pt
2017-04-16 18:22:29
4096
原创 HDP 2.5集成Sqoop2
前言HDP 2.5默认只有Sqoop 1，而sqoop 1只有客户端，没有服务端，也不能通过Java Api来进行操作，所以需要集成一下Sqoop2，其实这里我们只需要启动Sqoop2的Server端即可。环境CentOS 7.xHDP 2.5JDK 1.8Sqoop1.99.7注：sqoop 1.99.7其实就是Sqoop2配置配置很简单，下载好sqoop2后，解压到一个路径，如：/us
2017-04-09 22:45:27
1476
原创 HDP错误汇总
前言上一篇《HDP 2.5安装搭建部署》主要写了一些关于安装的步骤，但不是每次都能顺利的安装成功了，不可避免总是会报很多错误，这里总结一些错误的解决方法。MySQLmysql数据库驱动找不到错误 以下命令默认以root用户运行# yum install mysql-connector-java -y# ambari-server setup --jdbc-db=mysql --jdbc-driv
2017-04-08 23:11:04
3371
原创 HDP 2.5安装搭建部署
前言HDP 全称Hortonworks Data Platform (HDP)，是Hortomworks公司提供的一个大数据平台，它整合了开源hadoop生态圈的大部分组件，能够很简单便捷的帮助我们搭建起Hadoop大数据集群环境，与此类似的还有CDH(Cloudera Hadoop)。因最近在公司搭建这个，在此记录一下。环境CentOS 7.xJDK 1.8HDP 2.5准备工作安装创建本
2017-04-07 00:58:27
13344
1
原创 CentOS 7 安装MySQL 5.7
前言我个人是比较喜欢Debian，但是由于公司都是用的CentOS的，没办法只能熟悉下CentOS了。今天安装个MySQL数据库，居然踩了好几个坑。在此记录一下。安装环境标题就是，不多说。直接安装，可以使用官方的rpm包离线安装，也可以通过yum来进行在线安装，这里我先使用的是yum的在线安装。 官方安装指引(包含仓库源地址)：https://dev.mysql.com/doc/mysql-yum
2017-04-02 19:48:22
1462
原创 使用Nginx反向代理Jenkins
备忘：location / { proxy_pass http://127.0.0.1:8080; proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwa
2017-04-02 17:32:01
2555
原创 Linux应用篇之autofs
前言在Linux系统中，mount是用来挂载文件系统的，可以在系统启动的时候挂载也可以在系统启动后挂载。对于本地固定设备，如硬盘可以使用mount挂载；而光盘、软盘、NFS、SMB等文件系统具有动态性，即需要的时候才有必要挂载。光驱和软盘我们一般知道什么时候需要挂载，但NFS和SMB共享等就不一定知道了，即我们一般不能及时知道NFS共享和SMB什么时候可以挂载。而autofs服务就提供这种功能，好像
2017-04-02 15:58:35
7046
1
原创 SpringBoot properties通用属性配置大全
前言最近在公司使用SpringBoot进行服务的开发，但是坑的是公司不能访问外网就算了，eclipse还没有这个属性提示，稍不注意就要敲错了。而且配置那么多根本就记不住啊。这里从官方文档中拷贝一份出来，方便在公司查看。# ===================================================================# COMMON SPRING BOOT P
2017-03-23 20:44:02
2398
原创 自定义Maven SpringBoot Web项目骨架
前言最近很喜欢配置一些项目骨架，发现比以前真的是方便很多了。以前每次想写个Demo都要先创建基本Maven项目，然后做一大堆的基础配置，如：jar包依赖、数据库连接配置、简单日志打印配置等等。 一次次的配置或者复制实在是太打击激情了，所以通过配置项目骨架，直接一键就可以初始化好项目，直接写代码就好，我喜欢：)对了，我之前就已经写过一篇关于自定义Maven骨架的博客：《自定义Maven Hadoop
2017-03-16 20:58:42
6656
原创 数据采集之Web端导入日志文件到Hadoop HDFS
前言接上一篇《数据采集之Web端导入DB数据到Hadoop HDFS》，这一篇简单的记录一下如何在Web端控制导入日志文件到HDFS中，主要用到的技术就是Flume了。网上大多数教程都是写的配置文件，但是现在有需求要通过web来动态自动化的进行操作，也就是说要通过Java代码的形式来实现，而不是直接修改服务器上的配置文件。所以只能想想其他其他方式了。环境OS Debian 8.7Hadoop 2
2017-03-16 00:19:32
2954
原创 数据采集之Web端导入DB数据到Hadoop HDFS
前言接上一篇数据采集之Web端上传文件到Hadoop HDFS，总共需求有3个，这篇记录如何通过Web端将MySQL表数据导入到HDFS中，主要是通过Sqoop2这个工具，之前已经写了一篇 Sqoop2 从MySQL导入数据到Hadoop HDFS，不过那个是在命令行下操作的。这回通过Java API的形式操作，其中还是有不少坑的。环境OS Debian 8.7Hadoop 2.6.5Spri
2017-03-13 22:02:43
2635
2
原创 数据采集之Web端上传文件到Hadoop HDFS
前言最近在公司接到一个任务，是关于数据采集方面的。 需求主要有3个：通过web端上传文件到HDFS;通过日志采集的方式导入到HDFS;将数据库DB的表数据导入到HDFS。正好最近都有在这方面做知识储备。正所谓养兵千日，用兵一时啊。学习到的东西只有应用到真实的环境中才有意义不是么。环境这里只做模拟环境，而不是真实的线上环境，所以也很简单，如果要使用的话还需要优化优化。OS Debian 8
2017-03-11 09:56:09
8418
2
原创 logback xml配置命名空间
添加xml命名约束，这样会有许多的代码补全和错误提示，便于配置属性。<configuration xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="http://www.padual.com/java/logback.xsd"></configuration>
2017-03-09 20:50:27
2529
1
原创 Sqoop2 从MySQL导入数据到Hadoop HDFS
前言Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational databases. Sqoop是一个在Hadoop与关系数据库之间进行高效传输大量数据的工具。也即是可进行导入
2017-03-05 21:29:09
7339
2
原创 自定义Maven Hadoop项目骨架
前言最近在学习Hadoop，每次创建项目都要复制之前项目的pom.xml通用文件，也是比较烦的。正好记得Maven可以创建自己的项目骨架的，也即是Archetype。有了项目骨架，不但pom.xml通用自动生成，还可以生成项目默认的Driver启动类等等。环境Maven 3.3.9JDK 1.8Eclipse Neon.2 Release (4.6.2)IntelliJ IDEA 2016.
2017-03-05 13:08:39
2254
1
转载 mysql5.5升级为5.7遇到错误ERROR 1054 (42S22): Unknown column 'password_last_changed' in 'mysql.user'
在ubuntu上参照官网，用apt-get安装mysql5.5。 然后升级为5.7。 在改密码时遇到问题：ERROR 1054 (42S22): Unknown column 'password_last_changed' in 'mysql.user'字段’password_last_changed’在MySQL <5.7的版本中存在, 但是在5.7，给删除了。 所以升级了mysql se
2017-03-03 19:32:55
480
原创 Hadoop 2.x Maven开发环境搭建
最近在新公司储备大数据分析相关的知识，因为后续有一些项目是需要分布式数据分析的。刚好组里的也让我先学学这方面的东西。算了，废话不多说，直接贴配置。环境maven 3.3.9hadoop 2.6.5jdk8POM一般都是本地开发，然后将jar包拷贝到hadoop服务器，执行hadoop jar这样的命令开始一个mapreduce作业的。原始的开发是将hadoop-2.6.5/share/had
2017-02-25 23:20:41
1389
原创 SpringBoot 通过AOP代理简单打印日志
前言刚加入新公司，一来项目组长就让我带3个实习生，也是鸭梨山大啊。今天在旁边看他们写代码，感觉基础的能力还是可以的，不过技术上面还是有不少欠缺的啊。 比如：项目组长让他们把Service层，每个方法都要加上日志打印，执行该方法之前的，执行之后的，还要打印方法参数值。看他们一直就那样手动的log.debug()，我也是很无奈。。当时就说了用AOP去实现很简单的，尤其是本来项目就是基于SpringBo
2017-02-22 21:10:30
3110
1
docker-credential-pass-v0.6.0-amd64
2018-07-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人