rumple-CSDN博客

原创开了安全的kafka集群配置需要更改的参数

Three brokers for kafkaFirst: cat /etc/kafka1/conf/jaas.conf --check jaas.conf KafkaServer { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/etc/kafka1/conf/kafka.ke...

2018-03-08 15:35:27 1514

原创 Notepad++远程连接ssh修改linux中配置文件

去百度搜索下载这个文件将这个插件放到notepad++中的安装目录中的plugins目录中；第一步：点击这个按钮，查看右侧变化第二步：第三步：点击profile setting第四步：创建连接

2017-09-27 23:59:52 5063

原创 linux基础知识（centos）

常见命令【增删改查】【增】：目录：mkdir文件：touch vi vim【删】目录：rmdir rm文件: rm [-r -rf]【改】cp mv【查】目录：ls ll文件:一、常见命令【续】1.cp --copy //复制文件或目录重命名cp -r [需要复制的文件或目录] [目标目录]

2017-09-27 23:56:19 468

原创大型协作框架flume中avro类型的应用场景

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。系统功能编辑日志收集Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Fl

2017-09-27 23:39:01 8622 1

原创 MR的shuffer过程

图例：map个数：由任务切片spilt决定的，默认情况下一个split的大小就是block由参与任务的文件个数决定的 maxSize:由配置参数mapred.max.spilt.size确定,已经不考虑用户设定的maptask个数;minSize:inputSplit的最小值,由配置参数mapred.min.spilt.size确定,默认值为1;BlockS

2017-09-27 23:28:15 2320

原创 Hadoop Ha集群配置

为什么要配置HDFS HA?首先:HDFS集群中NameNode 如果存在单点故障。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用.而影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可

2017-09-27 23:24:18 334

原创解决hadoop集群环境datanode无法启动的问题

问题描述：在集群模式下更改节点后，启动集群发现 datanode一直启动不起来。我集群配置：有3个节点，其中第三台的datanode没有启动其他均已经正常启动，利用 master:50070 ， Live Nodes 为2，随进入pc3：ssh pc3.hadoop, 输入命令 jps ，发现只有没有DataNode。随后看日志上网查找解决方法，最后终于解决了

2017-08-29 20:20:48 1940 1

原创 Hadoop环境搭建，以及mapreduce的使用

Hadoop2.5环境搭建 1. 解压安装Hadoop 命令： $ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/配置Hadoop的JAVA支持（/etc/hadoop目录下） hadoop-env.sh mapred-env.sh yarn-env.sh在这3个文件中都配置 export JAVA_HOME=/opt/modul

2017-08-24 21:24:04 2014

1.立即执行函数(function(){//代码片段})();对的，你没有看错，很简单的一个写法，不用写windows.onload也可以立即执行的函数，这里面的function(){…}是一个匿名函数，包围它的一对括号将其转换为一个表达式，紧跟其后的一对括号调用了这个函数。立即执行函数也可以理解为立即调用一个匿名函数。立即执行函数最常见的应用场景就是：将var变量的作用域限制于你们函数内，这样可以

2017-07-20 23:33:41 199

原创 I don't know where is the sky that I can touch

有时候也曾幻想过自己坐在一辆不知开往何处的，不知何时能停下的仿佛能带领我找到爱的列车上。我并不知道自己想要表达些什么，但就是想要知道人在最累的时候，通常会幻想自己处在一个什么样的环境，才能够真正的放开一切杂念，去静下心来思考人生中的每一步棋该怎么走。Follow The Notes Upon The Journey…… The First Sight Make One's Destiny？Wh

2017-07-17 00:09:59 300

原创一个基础的多线程问题，记录学习多线程

一：创建多线程的方法： A：继承Thread类，重写run()方法； B：实现Runnable接口，重写run()方法；二：两种实现的区别： 1.在于实现和继承的区别：单继承，多实现； 2.在于资源共享的区别：继承Thread不利于资源共享（故推荐使用实现接口的方法去创建多线程）三：线程状态新生状态: 创建了线程对象可运行状态: 已经交由JVM处理运行状态: 被C

2017-06-17 16:46:33 294

原创多重for循环嵌套

for循环定义：同过一个简单的表达式，来完成多次重复性的代码功能；格式如下： for（变量初始值；变量取值范围；变量自增/自减）{ //代码块； } 一个复杂的for循环中可以嵌套多个同级的for循环，一般表现如下： for（变量初始值；变量取值范围；变量自增/自减）{ for（变量初始值；变量取值范围；变量自增/自减）{ /

2017-05-27 08:15:07 13130 6

原创 MySQL安装图解

mysql的安装图解，里面的每一个步骤都有图解，以及英文翻译。

2017-05-15 19:03:33 1105 1

原创计算机初学者需要知道的一些DOS命令

里面写了一些常用的和不常用的dos命令，需要的时候可以做一些了解。

2017-05-15 18:35:00 999

rumple的博客