- 博客(33)
- 资源 (12)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 linux ntpdate同步网络时间
#安装时间同步同居yum install -y ntpdate#配置本地时区配置cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime#同步时间ntpdate -u ntp.api.bz#查看时间date
2020-09-13 11:50:42
156
原创 jenkinsfile语法与全局变量
jenkins 学习jenkinsfile 有两种格式 声明式和 脚本式主要学习声明式pipeline { agent any //提供代理执行流水线 environment { //设置整个流水线的环境变量 } stages { stage('步骤名') { when { //条件判断 } steps{ //步骤具体执行 } } } post{ }}agent:指定运行代理环境位置:在 pipeline 内
2020-07-01 14:54:04
11414
原创 gitLab+jenkins+sonarQube+p3c
Gitlab安装gitlab依赖yum install -y curl policycoreutils-python openssh-server git patch下载gitlab，rpm包#下载12.3.5版本(汉化包也是12.3.5，两个要一样)wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-12.3.5-ce.0.el7.x86_64.rpm#安装gitlabrpm -ivh gitlab-c
2020-07-01 14:49:09
1052
原创 Hadoop MR Shuffle
shuffle 的过程是在 MapTask 之后 reducerTask 之前的这么一段对数据处理传递的过程分区mapTask 执行数据操作后, 将输出数据存储到 环形缓冲区 中, 当环形缓冲区内数据量达到最大量(默认 100M)的 80%时, 将内部数据溢写到磁盘中存储,然后环形缓冲区再进行反向写入剩余数据; 写入磁盘时会对数据进行分区,默认分区为 0(不分区),分区数,会影响最终redu...
2020-04-05 22:56:44
177
原创 Hadoop MR 数据切片与输入格式化
切片MapReduce 执行中是以mapTask 为单位对数据进行处理,mapTask 的个数与操作数据段是由切片决定的切片是在单个文件的基础上通过一些机制设定的默认 MapReduce 使用 TextInputFormat 对数据进行读取分片, 切片大小默认为 block 大小切片过大会造成按个 mapTask 执行时间长,不能充分利用 hadoop 集群 data...
2020-04-04 23:08:38
437
原创 adoop MR mapreduce和序列化
mapreduce分三部分mapperreducerdriver仿写 wordCount/** * <h3>study-all</h3> * * <p></p> * * @Author zcz * @Date 2020-03-31 20:48 */public class WordCountMapper extends...
2020-04-01 22:17:45
124
原创 hadoop hdfs DataNode管理
与 NameNode 通信dataNode向 nameNode发送注册节点请求nameNode 将数据写入到元数据存储, 并返回节点注册成功dataNode 周期性向 nameNode 上报节点数据信息, 保证 nameNode 元数据与 dataNode 节点数据一致dataNode 每 3 秒向 nameNode 发送心跳, nameNode 返回没有执行命令的确认数...
2020-03-29 22:33:53
235
原创 spring Cloud Gateway 源码分析
老样子, 查看factories内配置如下# Auto Configureorg.springframework.boot.autoconfigure.EnableAutoConfiguration=\# 依赖包校验配置org.springframework.cloud.gateway.config.GatewayClassPathWarningAutoConfiguration,\#...
2020-03-29 15:28:39
661
原创 springCloud-ribbon 源码分析
源码阅读入口 MATE-INF/spring.factoriesorg.springframework.boot.autoconfigure.EnableAutoConfiguration=\org.springframework.cloud.netflix.ribbon.RibbonAutoConfiguration饥饿加载每个service服务调用其它服务时, 会为每个请求目标创建各...
2020-03-29 15:22:53
188
原创 spring cloud eureka 源码分析
springCloud 是基于 springBoot 实现的一套微服务工具, 它组合了很多其他中间件、工具得以实现, 阅读 spring 源码找到阅读入口, 在Resource/MATE-INF下会有 application.factories文件, 这里标记了自动配置类, 然后查看整体源码目录结构, 已确定适合自己的阅读方式]eurekaServerserver node节点同步Eure...
2020-03-29 15:20:23
250
原创 MyBatis 源码分析
sessionSqlSession: interface, 代表一个连接数据库的会话, 提供了一个默认的 DefaultSqlSessionSqlSessionFactory: interfact, 创建 SqlSessionFactory 的工厂, 提供了默认的 DefaultSqlSessionFactory创建 DefaultSqlSession, (这里使用工厂方法设计模式)...
2020-03-29 15:17:31
152
原创 hadoop hdfs NameNode 与 Secondary NameNode元数据操作
元数据生成与备份集群启动 nameNode 节点下会生成 edit 操作日志和 fsImage 元数据文件镜像 两类数据磁盘备份, 并加载到内存中客户端向 nameNode 请求对数据操作(增删改)nameNode 想 edit 操作日志文件追加操作记录(增删改)文件数据追加结束后, 将 nameNode 元数据进行修改secondary NameNode 会定期检查 nameNod...
2020-03-29 14:58:35
303
原创 hadoop hdfs 数据读写
hdfs 文件上传过程向 namenode 请求上传文件响应可以上传文件向 namenode 请求, 上传到哪几台 dataNodeNamenode 返回,指定文件上传的 datanode 节点数据通过获取到的 namenode 节点信息, 客户端向一个节点发送通信, 开通数据通信管道确认建立通道创建 FSDataOutputStream客户端开始向...
2020-03-29 11:08:18
110
原创 hadoop hdfs 开发环境
测试创建项目添加 pom 依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> ...
2020-03-28 18:06:50
129
原创 Hadoop shell 命令
hadoop 与 hdfsbin/hadoop fs Command或 bin/hdfs dfs Commandhadoop 命令包含 hdfs 命令, dfs 是 fs 的实现类FileSystem shell文件命令 -help 查看 hadoop 或 hdfs 命令的参数hdfs dfs -help rm或hadoop fs -help rm-ls: 显示...
2020-03-28 12:42:32
104
原创 Hadoop 编译64 位
准备jdk8apache-ant-1.9.14-bin.tar.gzapache-maven-3.6.3-bin.tar.gzprotobuf-2.5.0.tar.gzhadoop-2.9.2-src.tar.gz安装环境配置 jdktar -zxvf jdk -C /opt/modules/配置环境变量 省略...配置 配置 maventar -zxvf apac...
2020-03-27 22:05:48
132
原创 docker安装
更新 yum# yum update安装依赖包yum install -y yum-utils device-mapper-persistent-data lvm2设置 yum 源//中央仓库yum-config-manager --add-repo http://download.docker.com/linux/centos/docker-ce.repo或//...
2020-01-10 22:34:28
91
原创 hadoop完全高可用配置
保证普通集群可运行后, 修改配置文件高可用依赖 zookeeper 集群实现主从切换先搭建 zookeeper 集群, 详见 zookeeper 集群部署core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs:/...
2019-12-02 23:40:25
221
原创 hadoop集群搭建
准备环境: Linux(CentOS 7)jdk8安装包这里使用hadoop-2.9.2-64.tar.gz安装创建用户 groupadd hadoop #创建用户组 useradd -g hadoop hadoop #创建用户并添加用户组 passwd hadoop #修改用户密码修改用户权限vim /etc/sudoers添加hadoop用户的权...
2019-12-01 11:59:37
87
原创 nginx+fastDFS+lua+graphicMagick部署
准备安装安装FastDFS安装依赖$ yum install -y gcc gcc-c++ libevent安装libfastcommon$ tar -zxvf libfastcommonV1.0.7.gz -C /usr/local/$ cd /usr/local/libfastcommon-1.0.7$ ./make$ ./make installlib...
2019-11-29 20:49:11
196
原创 ssh无密码登录配置
生成公钥秘钥# ssh-keygen -t rsa // 生成公钥秘钥 连续三个回车# ssh-copy-id ip //输入远程密码 copy 公钥到远程服务器//进入用户根目录# ls -al //查看根目录下所有文件及文件夹 # cd .ssh //进入.ssh目录authorized_keys 文件是远程公钥的文件known_h...
2019-08-01 11:50:19
83
原创 Java SPI 简单使用与源码介绍
个人理解SPI为接口的具体实现提供一种发现机制, 比如说: 某权威机构为一类功能提供了一种标准(interface), 但自己不做具体的实现(implement), 其他各组织机构都需要按照这个标准(interface)来完成各自的相应实现(implement), 然后在应用中可以动态的获取这种标准的所有实现, 之后就是操作者可以通过自己的需求进行具体实现的调用了!纯属个人理解, 如有大神, ...
2019-03-22 11:39:30
183
原创 java 实现 redis存储定时数据失效后的事件发布订阅
存储数据, 设置数据超时时间public void sendMsg(){ stringRedisTemplate.opsForValue().set("test1", "abc"); stringRedisTemplate.expire("test1", 30, TimeUnit.SECONDS);}自定义事件监听器package com.example.demo.conf;...
2019-02-15 16:57:00
913
转载 IDEA编译 Tomcat8.5源码配置
IDEA运行Tomcat8源码我使用的tomcat源码是 tomcat8.5.19版本tomcat历史版本下载由于运行时testCookieFilter 会报错, 可以将报错处直接注释掉, 也可以在pom.xml中指定源码为java 和test处直接将test配置注释掉...
2018-10-31 17:47:02
722
原创 idea打包spring boot项目 部署到tomcat
打包类别,分为两种, jar包和war包, 需要在这里标明war包格式小在最后的build中配置package在build中配置入口主类名并且入口类继承springBootServletInitializer 重写configure方法如果是打成jar包, 选择 clean和 install 如果是war包 选择clean和package 直接进行打包!可以在编译结果目...
2018-09-25 20:42:50
3259
2
原创 vue引入 jquery
本人 web 菜到极致, 目前所做笔记都是基于应用, 原理一概不知…啊…项目主要位置: 先打开 package.json “dependencies”: { “jquery”: “^3.3.1” }, 在 dependencies中添加 jquery 然后进入项目目录执行 npm install jquery –save-dev build文件夹下的w...
2018-08-22 00:54:50
190
原创 实战笔记(一):统一返回数据格式与统一异常处理
先感慨一下:要改掉不做笔记的坏毛病呀! 先提一嘴:spring boot 配置 Filter 有两种方式,一种是编程方式(spring boot 最开始支持的方式), 另一种是注解方式(spring boot 后来又加了的一种配置方式)。 这几个月加班实在厉害, 看了点东西,却没有做笔记, 后续会补上, 并且后面会一直做笔记了,也希望看到这篇博客的搬砖新老同志们也做做笔记啊! 之前在一个自...
2018-08-20 00:29:14
2442
原创 Linux 虚拟机迁移网络问题
使用 virtual BOX 进行虚拟机复制, 又创建了两个虚拟机, 但是在 service network restart 时 出了问题 开始出了第一个问题 Bringing up interface eth0: Device eth0 does not seem to be present,delaying initialization. 网上找到一个方法 rm -rf /etc...
2018-03-26 21:14:12
469
原创 第 十四章 异步处理
Servlet 不是单例, 但在同一服务器的同一类请求中只会被创建一次. Servlet 的实例创建个数与一下条件有关: 1.是否部署在分布式环境中, 非分布式只会创建一个实例 2.是否实现SingleThreadMode 接口, 若实现, 同一 Servlet 实例同一服务器最多创建20个 3.在 web.xml中被声明的次数, 若被声明多次, 则会被多次创建实
2018-01-26 14:55:41
176
原创 第三章 JSP
一. JSP JSP是为弥补 Servlet 的缺陷而产生的 Servlet 的不足之处: 1. 在 servlet 中编写页面必须将 HTML 标签卸载 java 字符串中, Http 响应十分繁琐, 2. 所有的 HTML 都是硬编码, 任何改动都需要重新编译. 本章主演内容: 隐式对象, 三种句法元素: 指令, 脚本元素, 动作 * JSP页面实质是一个 Servlet: 第一次请求
2018-01-26 14:49:18
183
原创 第二章 session 管理
一. Url 重写 * 使用继承 HttpServlet 创建 Servlet 类, 接收 Http请求, 当需要接收 GET 请求时, 重写 doGet()方法, 接收 POST请求时,重写 doPost 方法. 如果想两种请求都支持, 重写两个方法或重写 service 方法. * 注意: 重写 doGet方法和重写 doPost方法时 不要在方法内部调用 super.doGet() 或
2018-01-26 14:39:26
110
原创 08 多态
方法绑定: 将’方法调用’与’方法体'关联的过程称为绑定。 java 中分为两种: 前期绑定 和 后期绑定 前期绑定:程序执行前的方法绑定 称为前期绑定,在 C 语言中,只有一种绑定:前期绑定。 后期绑定:程序执行中的方法绑定称为后期绑定,也叫动态绑定或运行时绑定。在程序执行中,获取当前对象的真实类型,根据真实类型关联调用的方法。 在 java 中,除了 final 和
2018-01-19 17:57:02
103
原创 1 servlet
一. javax.Servlet 包图中展示了 Javax.Servlet 包中的主要类 Servlet 技术的核心是 Servlet 接口, 这是所有 Servlet 类都要直接或间接实现的接口。Servlet 接口定义了 Servlet 与Servlet容器 之间的契约。Servlet 容器会把 Servlet 类加载到内存中, 并在 Servlet 实例中调用特定的方法。在
2018-01-19 11:52:44
409
fastdfs-client-java-1.27.zip
2019-05-25
springboot项目启动方式不正确
2019-01-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人