- 博客(57)
- 收藏
- 关注
RSS订阅原创 Ubuntu16.04下CDH 5.14.0 集群使用parcel包的方式接入KAFKA
1、查看kafka与CDH的版本对应https://docs.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka2、下载parcel包和kafka的jar包（1）centos下载el系列，我的CDH版本是5.14.0，搭建在ubuntu16.04上，所以...
2019-10-18 11:11:13
664
原创 Centos 7.x rsyslog服务器端与客户端配置进行日志转发与接收
注意1：不管服务端还是客户端，首先确保已经装了rsyslog服务并且守护进程开启了。systemctl status rsyslog.service #检查进程是否开启#如果没有装该服务，装一下yum install rsyslog注意:2：不管是服务端还是客户端，在编辑完rsyslog.conf后一定要重启rsyslog服务，才能生效。服务端进入root用户，编辑/etc...
2019-10-12 16:23:34
2928
1
原创 nginx转发配置
转发在最新版本的Nginx中，动态配置文件位置在/etc/nginx/conf.d/default.conf（CentOS 7）。1、Nginx在ip为xxx.xxx.xxx.200的服务器上2、某个web服务在xxx.xxx.xxx.201:7180的服务器上要实现nginx来转发该web服务。在Nginx的服务器上对/etc/nginx/conf.d/default.conf进行...
2019-01-02 18:17:29
1470
原创 cmder在git仓库下报错的处理办法
在git的本地仓库下用cmder的powershell进行命令行操作时，后面老跟随“警告: Missing git support, install posh-git with ‘Install-Module posh-g it’ and restart cmder.”执行以下命令安装posh-git可解决Install-Module posh-git -AllowClobber...
2019-01-02 17:28:56
2158
1
原创 Vue项目的打包上线运行（Tomcat）和SpringBoot打包
当vue项目开发测试完成需要上线的时候，先修改几处配置，然后执行npm run build命令打包。此处以打包后发布到tomcat容器中运行为例。1、修改/config/index.js文件，在module.exports中找到build子模块，找到描述Paths的属性assetsPublicPath: ‘/’,将其值改为‘./’如下：build: { // Template for ...
2019-01-02 14:52:41
4592
2
原创 CentOS 7使用yum方式安装Nginx
CentOS7 yum 安装 Nginx最新版本执行下面三个Code框中的命令即可安装。wget http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm #下载对应当前系统版本的nginx包(package)#实际上wget下载的rpm（redhat package...
2018-12-29 12:17:53
366
转载 VMware vSphere中三种磁盘规格（厚置备延迟置零\厚置备置零\Thin Provision（精简置备））的解释说明
本文转载自老管网络日志http://guanjianfeng.com/archives/1161297，如侵请联系删除。在VMware vSphere中，不管是以前的5.1版本，或者是现在的6.5版本，创建虚拟机时，在创建磁盘时，都会让选择磁盘的置备类型，如下图所示，分为：（1）厚置备延迟置零；（2）厚置备置零；（3）Thin Provision（精简置备）。在创建虚拟机时，可以选择这三...
2018-12-06 10:49:30
8159
4
原创 构建vue项目的相关命令
前提是node、webpack、vue-cli等等已经装好了，然后用如下命令进行项目构建，过程中会有提示，包括工程名、作者、是否使用路由，构建完成后是否执行npm install等等（也可以试试yarn，前提是得装了yarn，这个貌似比较快，或者选择不处理，后面自己执行isntall，在构建完成后，用cnpm isntall进行安装。npm isntall总卡住，无解。）vue init web...
2018-11-27 16:20:15
324
原创 安装Node环境与创建Vue工程
安装Node环境与创建Vue工程1.Windows安装Node从Node官网下载最新的LTS版本，是个exe文件，然后正常安装。主要的是配置（如果不想后期的各种模块都安装在C盘的话，默认是在C盘用户家目录下的AppDat\Roaming\npm目录）。如果希望后期各模块安装在Node目录下，则做如下配置。（1）在NodeJs的安装目录（如D:\Code\Node\）中，创建全局目录【node...
2018-11-22 09:11:01
360
原创 spriongboot与数据源的整合以及SQL监控
spriongboot与数据源的整合在Java中，数据源就是javax.sql.DataSource，DataSource有不同的实现。数据源包含连接池和连接池管理两个部分，习惯上也把 DataSource 称为连接池。常见的数据库连接池有Druid、BoneCP、DBCP、C3P0等。C3P0是一个开放源代码的JDBC连接池，它在lib目录中与Hibernate一起发布,包括了实现jdbc3...
2018-10-11 16:42:28
502
原创 spring-boot学习笔记
spring-boot搭建与配置1. 搭建框架maven构建的最基本框架<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> ...
2018-06-16 11:41:55
231
原创 常见hdfs操作
常见的HDFS操作命令Hadoop版本2.6.0，命令均在Hadoop-2.6.0/bin目录下操作1、创建目录命令格式：hadoop fs -mkdir [目录名]Eg.：hadoop fs -mkdir /input #在根目录下建立名为input的目录2、上传文件命令put命令从本地文件系统中复制单个或多个源路径到目标文件系统，也支持从标准输入设备中读取输入并写入目标文件系统。分为本地上传和
2018-01-22 14:27:12
460
原创 关于在Spark集群中读取本地文件抛出找不到文件异常的问题
关于在Spark集群中读取本地文件抛出找不到文件异常的问题一般情况下，我们在本地ide里写好程序，打成jar包上传到集群取运行，有时候需要读取数据文件，这个时候需要注意，如果程序中读取的是本地文件，那么，要在所有的节点都有这个数据文件，只在master中有这个数据文件时执行程序时一直报找不到文件解决方式1：让每个Worker节点的相应位置都有要读取的数据文件。解决方式2：直接将数据文件上传到hd
2018-01-22 11:23:59
1320
原创 关于在Spark集群中读取本地文件抛出找不到文件异常的问题
关于在Spark集群中读取本地文件抛出找不到文件异常的问题一般情况下，我们在本地ide里写好程序，打成jar包上传到集群取运行，有时候需要读取数据文件，这个时候需要注意，如果程序中读取的是本地文件，那么，要在所有的节点都有这个数据文件，只在master中有这个数据文件时执行程序时一直报找不到文件解决方式1：让每个Worker节点的相应位置都有要读取的数据文件。解决方式2：直接将数据文件
2018-01-22 11:23:05
3456
原创 Java内存区域
1、Java虚拟机运行时数据区线程共享的数据区：方法区、堆、执行引擎、本地库接口。 线程隔离的数据区：程序计数器、虚拟机栈、本地方法栈。2、程序计数器程序计数器（ProgramCounterRegister）是一块较小的内存空间，它可以看作是当前线程所执行的字节码的行号指示器。在虚拟机的概念模型里（仅是概念模型，各种虚拟机可能会通过一些更高效的方式去实现），字节码解释器工作时就是通过改变这个计数器
2017-07-30 15:30:42
326
原创 类装载器
类装载器1class装载验证流程1-1 加载1-2 链接1-2-1 链接 - 验证1-2-2 链接 -准备1-2-3 链接-解析1-3初始化2装载器ClassLoader2-1 什么是类装载器ClassLoader2-2 ClassLoader加载流程3 JDK中ClassLoader默认设计模式3-1 ClassLoader的重要方法3-2 分类3-3 协同工作4双亲
2017-07-27 21:33:16
404
原创 GC 参数
GC 参数1堆的回顾2串行收集器3并行收集器1 ParNew收集器新生代并行收集器2 Parallel收集器4CMS收集器1 CMS收集器概念2 CMS收集器运行过程3 CMS收集器的特点4 有关碎片5 GC 参数整理5Tomcat实例演示GC 参数1、堆的回顾 一般情况，对象刚被创建的时候，被分配到eden区，也有例外： 1、栈上分配——对象被分配到栈上，而
2017-07-26 10:47:29
438
原创 GC的算法和种类
GC的算法和种类1GC的概念2GC算法1 引用计数法2 标记-清除3 标记-压缩4 复制5 复制算法整合标记清理算法6 分代思想3可触及性1 可触及性2 根4Stop-The-World1 Stop-The-World2 GC时为什么会有全局停顿及危害GC的算法和种类1、GC的概念Garbage Collection垃圾收集，Java中，GC的对象是堆空间和永久区。2、G
2017-07-25 13:58:25
491
原创 JVM 相关知识
JVM运行机制1 JVM启动流程2 JVM基本结构21 PC寄存器22 方法区23 Java堆24 Java栈25 栈堆方法区交互3 内存模型31 volatile关键字32 几个概念4 字节码执行的两种方式编译运行与解释运行JVM运行机制1.1 JVM启动流程java *（启动类，含有main方法）命令或javaw命令来启动。启动过程如下：1、装载配置：在当前路径中寻找配置
2017-07-25 13:02:26
328
原创 关于Java中的继承，包括重写、构造器、访问权限、构造过程等知识总结
关于Java中的继承包括重写构造器访问权限构造过程等知识总结附重载相关知识1继承的概念2继承的规则3构造器4publicprotecteddefaultprivate权限5向上转型6重写override7继承的缺点附重载的相关知识重写与重载的区别关于Java中的继承，包括重写、构造器、访问权限、构造过程等知识总结，附重载相关知识1、继承的概念继承是使用已存在的类的定义作为基础建立
2017-07-14 15:09:14
748
原创 Zookeeper集群搭建
Zookeeper集群搭建下载安装配置1zoocof文件配置2zkEnvsh文件配置分发到其他节点并创建myid文件启动测试总结Zookeeper集群搭建我们下面的操作，都在hadoop用户下进行，也要保证安装目录所属和权限开放（依然是chown命令和chmod命令，参照Hadoop全分布集群搭建（3）——Hadoop安装与配置）。节点情况在Hadoop全分布集群搭建（1）——设置主
2017-05-18 17:36:22
1275
2
原创 Spark集群完全分布式安装部署
Spark集群完全分布式安装部署下载安装配置Spark1spark-envsh配置2slaves配置3profile配置复制到其他节点测试总结Spark集群完全分布式安装部署本文中所提到的Spark集群所用的系统环境是Centos6.5，共4个节点，前提是Hadoop、JDK都已经安装配置好了，操作都是在hadoop用户下进行（要保证spark安装目录的所属是hadoop用户，权限也
2017-05-18 16:24:32
3727
1
原创 Hadoop全分布集群搭建（3）——Hadoop安装与配置
Hadoop全分布集群搭建3Hadoop安装与配置安装JDK安装配置HadoopHadoop全分布集群搭建（3）——Hadoop安装与配置前期准备工作要完成： Hadoop全分布集群搭建（1）——设置主机名与域名解析 Hadoop全分布集群搭建（2）——SSH免密码登1.安装JDK安装jdk的过程这里不再赘述，先卸载原带的，然后装sun jdk，修改/etc/profile文件来更新环境变
2017-05-15 20:25:12
1033
原创 Hadoop全分布集群搭建（2）——SSH免密码登陆
Hadoop全分布集群搭建SSH免密码登陆为所有节点设立用户hadoopMaster节点免密登录生成并上传公钥Mster与Slave节点之间免密登录Hadoop全分布集群搭建——SSH免密码登陆紧接着上篇讲，设置完主机名和域名解析之后，hadoop需要通过ssh登陆到各个节点操作，一般情况下，我们为了安全，不会直接用root身份进行hadoop环境搭建，因此设立一个新的用户。按照以下步骤。1
2017-05-12 10:23:11
1125
原创 Hadoop全分布集群搭建（1）——设置主机名与域名解析
Hadoop全分布集群搭建设置主机名与域名解析1各个节点主机名修改2 设置各个节点的域名解析Hadoop全分布集群搭建——设置主机名与域名解析1.1各个节点主机名修改为了方便起见，一般我们需要修改各节点的主机名hostName，这样有助于我们区别该节点电脑的身份。默认安装后所有节点的系统内hostName都是localhost.localdomain。我们将各节点的HostName改为如下方案
2017-05-11 16:50:42
6576
原创 java中的嵌套类
java中的嵌套类成员内部类方法内部类匿名内部类静态嵌套类java中的嵌套类在一个类的内部定义另外一个类，这种类称为嵌套类（nested classes），从JDK1.1开始引入。嵌套类（nested classes）主要分为两类： 静态嵌套类：使用很少。如果一个类要被声明为static的，只有一种情况，就是静态内部类非静态嵌套类：也叫内部类（inner），又有三种类型：成员内部
2017-05-07 15:57:15
502
原创 RDD Java API 学习总结
RDD Java API 学习总结简介初始操作1 创建入口对象2 创建RDD数据集RDD操作1 转化操作2 合并操作3 获取RDD数据集中的部分或者全部元素向Spark传递函数1 Function TR2 Function T1T2R3FlatMapFunction TR针对每个元素的转化操作1Map2filter3flatMap集合操作行动操作1 reduce
2017-05-07 15:33:33
2077
1
原创 vue.js学习笔记
vuejs组件的重要选项datamethodswatch模板指令 html和bue对象的粘合剂模板指令 v-if 和 v-show模板指令v-for模板指令 v-on模板指令 v-bind小结vue.js组件的重要选项<div id="app"> {{message}}</div><script>new Vue({ el:'#app', data:{
2017-03-08 11:06:57
485
原创 Java反射
Java反射Claass类的使用Java动态加载类获取方法信息获取成员变量构造函数信息 方法反射的基本操作通过反射了解集合泛型的本质Java反射1. Claass类的使用1）在面向对象的世界里，万事万物皆对象 Java语言中，静态的成员、普通数据类型(但是他有包装类)不是对象。类也是对象，类是java.lang.Class类的实例对象。”There is a class name
2017-03-08 11:04:44
299
原创 Java中的Json
Java中Json的构建JSONObject构建json数据使用Map构建json使用JavaBean构建对象Java中Json的构建1. JSONObject构建json数据JSONObject wangxiaoer = new JSONObject();Object nullObject = null;try { wangxiaoer.put("name", "王小二");
2017-03-02 22:48:12
246
转载 Spring定时任务的几种实现
分类1 从实现技术分类2 从作业类的继承方式分类3 从任务调度的触发时机分类用法说明1 Quartz11作业类继承自特定的基类22 作业类不继承特定基类2 Spring-Task21 第一种配置文件方式22 第二种使用注解形式本文转自http://gong1208.iteye.com/blog/1773177 Spring定时任务的几种实现，作为笔记备查，如有侵权，请联系删除。
2017-02-22 11:41:37
337
原创 Windows下MongoDB安装与配置
Windows下MongoDB 32 安装配置与RoboMongo安装安装MongoDB为Windows安装MongoDB服务安装RoboMongoWindows下MongoDB 3.2 安装配置与RoboMongo安装1. 安装MongoDB首先，从官网下载MongoDB的msi安装包，注意选择合适的版本。这里我们选择比较稳定的不带SSL安全连接的3.3版本。Windows Server 2
2017-01-04 11:06:09
647
原创 多线程
概述1 进程2线程3多线程的优势线程的创建和启动1 继承Thread类创建线程类2 实现Runnable创建线程类3 使用Callable和Future创建线程创建线程的三种方式对比线程的生命周期1.概述1.1 进程进程的特征：（1）独立性：进程是系统中独立存在的实体，他可以拥有自己独立的资源，每一个进程都拥有自己私有的地址空间，在没有经过进程本身允许的情况下，一个用户进程不可
2017-01-04 10:50:29
265
原创 感知器与线性单元
感知器隐藏层：输入层和输出层之间的层叫隐藏层，隐藏层比较多（大于2）的神经网络叫做深度神经网络。感知器：神经元是神经网络的组成单元，神经元也叫感知器。一个感知器有如下组成部分：输入权值：一个感知器可以接收多个输入x，每个输入上有一个权值**w，此外还有一个偏置项**b；激活函数：f(z)；输出：感知器的输出有下面公式(1)计算：y=f(w∗x+b)y=f(w*x+b)
2016-11-07 18:31:30
2350
原创 用Mybatis自动生成代码
所需jar包配置generatorxml文件生成方法在校时的项目一般持久层框架都是用的Mybatis，最近做到一个数据属性稍多的一个项目，故查找了一下Mybatis自动生成代码的方法，现总结如下。1.所需jar包 1.Mybatis的jar包 2.数据库连接的jar包 3.生成器的jar包2.配置generator.xml文件generator.xml是我们对生成规则进行配置的
2016-11-07 17:33:36
422
原创 基于Maven整合SpringMVC、Spring和Mybatis框架
介绍pomxmlWebxml文件springMVC-dispatcherxml文件applicationContextxml文件spring-mybatisxml文件Mybatis-configxml文件jdbcproperties文件log4jproperties文件测试ControllerHellojavaServiceUserServicejavaUserDaojava
2016-11-07 11:45:38
641
原创 用Maven构建一个Web项目
新建Maven Projectdynamic web project1更改JDK2转为dynamic web project3修改发布规则前面我们已经搭建好了Maven环境，这里我们从零开始用Maven构建一个Web项目。我用的MyEclipse版本是2013，已经集成了Maven4MyEclipse插件，如果没有Maven插件，需要自己动手去装一个，网上一找一堆。。。1.新建Maven P
2016-11-07 10:51:44
467
原创 配置Maven环境
1Maven介绍2Maven的安装3Maven的配置4MyEclipse中关于Maven插件的其他配置 最近在学习SpringMVC的时候，需要用Maven管理项目，从网上搜索资料，大体总结了一下Maven环境搭建的过程，并搭建了一个SpringMVC+Spring+Mybatis的项目，Maven的东西很多，但常用的就是一个项目管理，可以不用理会包的依赖，只要配置好，Maven就可以
2016-11-05 11:45:05
678
原创 SpringMVC理论基础
1MVC简介1前端控制器2MVC概念2Spring MVC中的概念1静态概念2动态概念最近跟随慕课网学习SpringMVC框架的相关知识，并结合自己的项目经验整合了一个SpringMVC+Spring+Mybatis的框架。现将笔记于此，以备后查，欢迎讨论。1、MVC简介1.1前端控制器MVC是开发WEB应用程序的通用架构方式。 首先，用户端的请求通过http协议到达Front co
2016-11-05 11:07:04
855
原创 JavaScript进阶学习——DOM对象
DOM对象1认识DOM2getElementByName方法3getElementByTagName方法4区别getElementByIdgetElementByNamegetElementByTagName5getAttribute方法6setAttrubute方法7节点属性8访问子节点childNodes9访问子节点的第一个最后项10访问父节点parentNode11访问兄
2016-11-04 16:52:18
3627
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人