jasligea-CSDN博客

原创 jenkins构建后自动发送邮件

一、安装Email Extension Plugin插件jenkin首页---系统管理---插件管理--安装列表：二、设置Extended E-mail Notification三、设置邮件通知四、系统管理元邮箱五、检测配置邮箱信息是否正确在发送邮箱底部填写任意可接受邮件信息的地址六、jenkin配置发送邮件信息七、遇见的问题...

2019-03-22 16:01:45 2908 2

原创 hbase2.0利用协处理器（coprocessor）统计行数

一、启动协处理器在hbase集群环境中，在hbase-site.xml配置文件中添加属性信息如下：<property> <name>hbase.coprocessor.user.region.classes</name> <value>org.apache.hadoop.hbase.coprocessor.AggregateIm...

2019-03-01 17:35:03 2855 11

原创 hbase利用协处理器Coprocessor统计行数，抛出Caused by: org.apache.hadoop.hbase.ipc.CallTimeoutException

抛出异常信息如下所示：at org.apache.hadoop.hbase.client.RpcRetryingCallerImpl.callWithRetries(RpcRetryingCallerImpl.java:145) at org.apache.hadoop.hbase.client.RegionCoprocessorRpcChannel.callExecService(R...

2019-03-01 15:26:29 3684

查看日志，显示如下是信息：ERROR [Thread-13] master.HMaster: ***** ABORTING master master,16000,1548295307560: Unhandled exception. Starting shutdown. *****java.lang.IllegalStateException: The procedure WAL reli...

2019-01-28 10:09:48 1038

原创 HBase各版本与hadoop版本关系

官网说明文档：http://hbase.apache.org/book.html#configuration 下表总结了每个HBase版本支持的Hadoop版本。未出现在此表中的较旧版本被视为不受支持且可能缺少必要的功能，而较新版本未经测试但可能适用。根据HBase的版本，您应该选择最合适的Hadoop版本。使用以下图例来解释此表：Hadoop版本支持矩阵 =经过...

2019-01-24 10:36:03 2153

原创 git服务器远程定时备份

一、背景需求：本地git服务器A:192.168.251.10,远程备份服务器B:192.168.251.11，需要将服务器A中的git目录下的git工程文件定时备份到远程服务器B中。因Gitlab具有自动备份功能，但我们目前的需求，主要是针对git版本的工程文件进行备份，所有，不能使用gitlab自动备份功能。初步采用：第一步，先在本地git服务器上将文件压缩备份到本地上；...

2019-01-14 17:03:05 3793

原创 HAWQ上安装PXF插件，并访问HDFS文件数据

1、说明 HAWQ在github上的地址为：https://github.com/apache/hawq在安装pxf插件之前，可以先查看一下基础软件对应的版本信息：在hawq目录下的pxf/gradle.properties文件中因我在安装pxf之前，已经把hadoop及hawq安装完，在后期所需低版本的hdfs，需要重新指定低版本的路径（主要是jar包的路径）使用的hadoop版本为...

2018-11-10 19:39:42 1355

原创启动hbase后，出现ERROR [1532177063@qtp-573102881-2] mortbay.log: /master-status java.lang.NullPointerExcep

2018-11-07 09:28:54,771 INFO [master:16000.activeMasterManager] util.FSUtils: Waiting for dfs to exit safe mode...2018-11-07 09:29:04,783 INFO [master:16000.activeMasterManager] util.FSUtils: Wait...

2018-11-07 10:38:10 1480

原创 PID file "/usr/local/apache-hawq/hawq-data-directory/masterdd/postmaster.pid" does not exist

查看日志文件2018-10-22 16:55:09.748428 CST,,,p242818,th-1872819712,,,,0,,,seg-10000,,,,,"LOG","XX000","could not bind IPv4 socket: Address already in use (pqcomm.c:449)",,"Is another postmaster already ru...

2018-10-22 17:06:40 733

原创在centos 7.3上进行Apache HAWQ集群安装部署

一、前期准备工作1、准备三台物理机，master（192.168.251.8）,dataserver1（192.168.251.9）,dataserver2（192.168.251.10）；2、目前最新版本是2.4.0，官网下载地址：http://hawq.apache.org/源码编辑及安装Apache官方文档地址为：https://cwiki.apache.org/conflu...

2018-10-22 16:36:16 1440

原创 kafka常用命令

kafka常用命令总结如下：前提先进入到kafka目录下， cd /usr/local/kafka/bin 在执行下面各项命令1、创建主题#创建主题./kafka-topics.sh --create --zookeeper 192.168.0.1:2181 --replication-factor 2 --partitions 1 --topic test-kafka#说明1...

2018-10-16 14:28:38 163

原创 centos7中kafka集群环境搭建部署

一、前期准备1、下载kafka安装包官方下载地址：http://kafka.apache.org/downloads.htmlkafka_2.11-2.0.0.tgz 2、准备好要安装的集群环境的目标机器(3台安装centos7系统)3、将下载好的压缩包拷贝到集群机器中----可利用shell软件的rz命令进行拷贝或者使用winSCP工具4、安装JDK,可参照：ht...

2018-10-11 18:07:27 1230

原创 windows10远程连接centos7.3图像化桌面

一、准备工作1）图像化centos系统已安装；2）window10系统二、安装配置XRDP首先需要切换到root用户下；1、安装epel库1）检测系统是否已经安装epel库rpm -qa|grep epel2）安装epel库yum install epel-release在安装过程中会出现选择，直接选择Y即可3) 安装xrdpyum ...

2018-10-11 14:56:38 14840 3

原创搭建hadoop伪分布式集群环境过程中遇见的问题总结

1、网络配置问题：在centos7中配置网络环境后，本机（win10系统）与虚拟机centos7网络不通（本机可以ping通虚拟机，但是虚拟机ping不通本机）；解决方式：方式1：查看本机win10系统的防火墙是否关闭，若没有，直接关闭win10系统的防火墙即可；方式2：修改本机配置：windows防火墙-高级设置-入站规则-虚拟机监控（回显请求-ICMPv4-Ln），把这项启用即...

2018-10-11 11:35:50 3808

原创 yarn/zookeeper/solr/elasticsearch概况总结

一、Yarn简单概况Yarn为Hadoop资源管理系统；核心是将MapReduce V2 中的JobTracker分离，创建一个全局的ResourceManager和若干个针对应用程序的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。基本架构如下所示：1）Yarn构成：主要由...

2018-10-11 11:26:06 424

原创 hadoop体系框架的简单总结

一、hadoop成员简单介绍说明Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统 (HDFS)和支持MapReduce分布式计算的软件架构。 Apache Hive：是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十...

2018-10-11 10:58:11 1225

原创 Geomesa-accumulo安装部署过程及运行测试实例

一、前期准备工作：1、基础环境JDK安装配置（下载对应JDK包并进行环境变量配置），使用java -version查看如下显示，jdk环境配置成功；2、基础依赖环境Hadoop及zookeeper安装配置成功并需要启动（可参照hadoop集群环境及zookeeper环境配置说明文档）；可使用jps命令查看，hadoop及zookeeper是否启动成功可参照我相关的文档资料：...

2018-10-11 10:21:35 963 8

原创 Hbase启动过程中，提示SLF4J: Class path contains multiple SLF4J bindings.

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed i...

2018-09-30 15:47:39 1788 1

原创 hadoop\zookeeper\hbase集群重启后出现的相关问题

1、在集群上的主节点/usr/local/hadoop/bin目录下，执行./start-dfs.sh命令后，只有主节点下的namenode进行启动，分支节点中的datanode没有正常启动解决方式：1）删除hadoop目录中的tmp目录文件及log目录文件（集群中所有节点）2）在bin目录中重新格式化hadoop namenode -format3）重新启动hdfs及yarn进程...

2018-09-28 16:12:08 671

原创 centos7.3上部署Habse集群及遇到的问题

一、前期准备工作1、下载hbase安装包Hbaser官方下载地址：http://mirror.bit.edu.cn/apache/hbase/目前安装的版本为：hbase-2.0.2-bin.tar.gz2、准备好要安装的集群环境的目标机器3、将下载好的压缩包拷贝到集群机器中----可利用shell软件的rz命令进行拷贝4、安装JDK,可参照：https://blog....

2018-09-28 15:19:45 320

原创 centos7.3上部署zookeeper集群环境

一、前期准备1、下载zookeeper安装包zookeeper官方下载地址：http://www-eu.apache.org/dist/zookeeper/zookeeper-3.5.3-beta.tar.gz2、准备好要安装的集群环境的目标机器3、将下载好的压缩包拷贝到集群机器中----可利用shell软件的rz命令进行拷贝4、安装JDK,可参照：https://bl...

2018-09-27 16:37:41 625

原创 centos7.3中搭建hadoop分布式集群环境详细过程

一、准备工作1、准备3台物理机或者虚拟机；2、安装centos7系统；3、准备好相关软件包并拷贝相关软件到目标服务器上hadoop-2.9.0.tar.gzjdk-8u131-linux-x64.tar.gz二、配置网络1、设置静态网络ip1）设置静态ip的文件路径在：cd /etc/sysconfig/network-scripts/目录中2)打开对应的网...

2018-09-27 14:52:13 897 1

原创 centos7.3安装jdk1.8详细过程

1、卸载系统自带的openjdk因centos安装完之后，系统一般自带有open jdk ，所以，首先需要查看当前系统是否有自带的open jdk，如果有，需要先卸载原有的open jdk。1）查看jdk版本信息 java -version2）查看jdk对应的java相关文件 rpm -qa | grep java3)删除相关文件：rpm -e --nodepsrpm ...

2018-09-26 16:45:13 2872

原创 oracle官网上下载历史版本jdk

1、首先进行登陆oracle官网，地址：https://www.oracle.com/index.html注意，只有登陆进行才能进行下载历史版本2、在首页菜单项中，依次选择产品-java-javaSE,进入jdk下载界面3、选择自己目标jdk方向4、进入下载界面，或者直接利用地址：https://www.oracle.com/technetwork/java/javas...

2018-09-26 15:56:46 2785

原创 idea+git使用过程中git push rejected解决

idea中使用git提交本地文件到远程分支，提示git push rejected引起的原因是，本地仓库的分支代码版本与远程分支的版本不一致，导致提交失败！解决方式：1）可以先把本地修改的文件备份下来；2）为了本地与远程仓库保持一致，可以先让远程文件完全覆盖本地仓库文件；git fetch --allgit reset --hard origin/master (这里mas...

2018-09-12 14:24:02 32682

原创使用idea创建第一个SpringMVC项目

开发环境：jdk1.8.0_131Tomcat 8.5.9IntelliJ IDEA 2018.5具体实践步骤如下：1.创建Spring mvc工程2、修改web.xml文件（主要是用来启动DispatcherServlet）3、修改dispatcher-servlet.xml（主要是用来配置HandlerMapping）4、WelcomeControl...

2018-08-16 15:27:45 1987

原创搭建内部局域网的git服务器及注意事项说明

环境：服务器 centos7 + git (version2.17.0)；客户端 windows10 + git（version 2.16.3windows1）安装最新版本的git使用命令yum install -y git安装的是(centos中自带的git版本，centos7最高版本是git1.8)，可在该网址上https://github.com/git/git/rele...

2018-08-16 13:22:56 2200

xuexi_39的博客