a920259310-CSDN博客

原创 kylin2.1.0+cdh5.10.1+安装部署+官方测试例子详细教程

kylin2.1.0在cdh5.10.1详细安装教程+kylin官方数据测试

2017-09-01 13:43:45 9563 3

原创 Redis动态删除主从节点

Redis动态删除主从节点先删除从节点1.找到要删除的redis节点的ip/端口/和redisID我们这里要删除7008(主节点)/7009(从节点)7009节点信息ip:192.168.1.34,端口:7009redisID:eab2aa8fe15448bc9b9c012a36d102e740172eca如图 2.删除从节点操作2.1删除从节点命令

2017-05-19 11:42:43 5672 1

原创 Redis动态增加节点

Redis动态增加节点1.启动redis集群2.准备好待加入集群的redis实例2.1创建两个目录用来存放新的redis实例(7008,7009) 使用命令 mkdir 7008 7009 2.2 拷贝redis.conf到 7008和7009 2.3修改两个redis.conf 修改项:

2017-05-19 09:59:40 1264

转载 Spark 动态资源分配(Dynamic Resource Allocation) 解析

Spark 动态资源分配(Dynamic Resource Allocation) 解析Spark 默认采用的是资源预分配的方式。这其实也和按需做资源分配的理念是有冲突的。这篇文章会详细介绍Spark 动态资源分配原理。前言最近在使用Spark Streaming程序时，发现如下几个问题：高峰和低峰Spark Streaming每个周期要处理的数据量相差三倍以上

2017-05-17 10:20:49 849

原创第一章redis集群安装

第一章redis集群安装第一步：创建一个文件夹redis-cluster，然后在其下面分别创建6个文件夹如下：(1) mkdir -p /usr/local/redis-cluster(2) mkdir 7001 7002 7003 7004 7005 7006第二步：把之前的redis.conf配置文件分别copy到700*下，进行修改各个文件的内容，也就

2017-05-16 14:16:08 320

原创 mysql安装且开启远程登录

mysql安装且开启远程登录 1.1 查看CentOS自带mysql是否已安装。输入：sudo yum list installed | grep mysql 1.2 若有自带安装的mysql，如何卸载CentOS系统自带mysql数据库？输入：sudo yum -y remove mysql-libs.x86_6

2017-05-15 11:45:46 346

原创 linux时间同步服务NTP安装配置教程

linux的Ntp时间同步服务安装1.rpm -qa | grep ntpd >>>> 没有安装此服务 >>>yum install ntp >>> 安装完成2.修改配置 2.1 主服务器配置 vi /etc/ntp.conf 去掉这个注释,将地址改成网段地址 restri

2017-05-08 17:20:07 1054

原创 mapreduce原理全剖析map+shuffle+reducer 全部过程

1.mapreduce原理全剖析map+shuffle+reducer 全部过程 wordcount为例 1.mapper开始运行，调用InputFormat组件读取文件逻辑切片（逻辑切片不是block块，切片大小默认和block块大小相同） 2.经过inputformat组件处理后，文件以的形式进入我们自定义的mapper逻辑

2016-04-15 00:08:57 3799

原创 mapreduce&yarn的工作机制----吸星大法

1.mapreduce&yarn的工作机制----吸星大法 mapreduce与yarn的工作机制详解 1.客户端首先向yarn发送程序（mapreducer）运行的申请 2.resources manager 收到申请后会向客户端返回一个资源提交地址（hdfs://xxx.../.stagi

2016-04-14 23:37:06 587

作为一名开发人员多多少少会遇到各种问题，在众多问题中或许你也会遇到：在本地都运行的好好的，可是发布到服务器后怎么就出问题了呢？出现这种问题的原因有很多种，可到底是什么原因引起的呢？我们开发过程中通常都是通过myeclipse的debug来查找原因，总不可能在服务器上安装myeclipse来调试程序吧？那怎么办？没关系，还好有jpda（全称JavaTM Platform Debugger Archi

2016-03-17 16:20:11 428

请叫我架构师，谢谢！