——。——-CSDN博客

原创 Kafka部署跳坑记录

问题1:错误: 找不到或无法加载主类问题描述:在部署kafka后通过./kafka-server-start.sh ../config/server.properties命令启动报错，提示找不到主类，一般这种情况肯定是启动过程中的问题，多半是-cp出了问题，于是我顺着脚本找到了bin目录下的kafka-run-class.sh,在该脚本中我们发现最后通过这样一段代码来拉起kafka服务# Launch modeif [ "x$DAEMON_MODE" = "xtrue" ]; then

2020-12-08 13:19:24 339

原创如何创建一个本地yum源

首先创建一个目录，将目标文件复制到该目录中使用yum 安装createrepoyum install createrepo因为笔者这里已经安装好了所以跳过执行createrepo指令，指向目标目录这时候我们进入刚才创建的目录，会发现多出来一个repodata目录关于repodata，百度到的信息是这么说的：repodata是一个目录，里面包含了一个以 .xml结尾的文件，这个文件是y

2018-01-24 15:03:40 803

转载 HDFS配置Kerberos认证

HDFS配置Kerberos认证2014.11.04本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 hadoop 相关配置修改说明。注意：下面第一、二部分内容，摘抄自《Hadoop的kerberos的实践部署》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个

2017-08-17 13:59:48 643

转载 /etc/fstab 参数详解及如何设置开机自动挂载

某些时候当Linux系统下划分了新的分区后，需要将这些分区设置为开机自动挂载，否则，linux是无法使用新建的分区的。 /etc/fstab 文件负责配置Linux开机时自动挂载的分区。Windows的文件结构是多个并列的树状结构，最顶部的是不同的磁盘（分区），如：C，D，E，F等。Linux的文件结构是单个的树状结构。最顶部的为根目录，即/。在根目录下，分为多个子目录，包括/

2017-08-17 10:05:52 1816

原创 Rstutio黑科技Sparklyr于Ubantu系统的部署安装与调试

配置镜像源deb https://<my.favorite.cran.mirror>/bin/linux/ubuntu zesty/ or deb https://<my.favorite.cran.mirror>/bin/linux/ubuntu yakkety/ or deb https://<my.favorite.cran.mirror>/bin/linux/ubun

2017-07-10 15:13:03 1148

原创 HIVE 自定义函数之UDF/UDAF/UDTF

UDFUDF:用户自定义函数，表示以一行数据中的一列或者多列数据作为参数然后返回结果是一个值的函数，例如round()和floor(). 示例：比较两个逗号分隔的字符串是否相同。JAVA代码中一定要继承UDF类并实现evaluate()函数，在查询过程中对应的么一个用到这个函数的地方都会对这个类进行实例化，对每行输入都会调用到evaluate()函数，而且用户是可以重载evaluate方法的。

2017-04-10 02:15:09 2019

原创 Eclipse For Scala安装异常记录

在安装完成后启动时报错，打开log发现如下异常!ENTRY org.eclipse.osgi 4 0 2017-03-09 11:56:18.405 !MESSAGE Application error !STACK 1 java.lang.RuntimeException: Application “org.eclipse.ui.ide.workbench” could not be fou

2017-03-09 15:59:58 931

转载如何制作一个RPM包

1.下载安装rpm包制作工具‘rpmdevtools ’。$ sudo yum install -y rpm-build rpmdevtools 2 . 运行 rpmdev-setuptree 来生成一个 rpm 包的骨架目录$ rpmdev-setuptree 3.rpmdev-setuptree命令默认将再当前用户的根目录下创建一个RPM构建根目录结构 ~/rpmbuil

2017-02-23 16:34:10 796 1

转载 Linux系统如何挂载一个新磁盘

挂载好硬盘后使用fdisk -l 查看磁盘信息可以看到新的磁盘名为/dev/sdb,使用fdisk /dev/sdb 进行分区。输入m查看帮助，输入n进行分区，这里输入e即分为逻辑分区，按p即分为主分区，我们要将这块盘分为主分区即输入p，之后输入该主分区为第几个主分区，由于是新盘我们输入1来分第一个主分区，First Cylinder是选择该分区的起始磁盘数，这里可自定义也可不做

2016-12-22 10:31:47 1108

原创记一次断电后solr重启异常

在断电之后三个solr虚拟机关闭了，重新启动的时候solr提示500错误，并且三台主机上的节点都挂掉了，原因是其中一台主机的zookeeper没有启动。导致了那台机器的solr没有正常启动，以至于集群故障

2016-12-15 11:31:53 1616

原创 solr cloud 集群搭建

Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。工作方式文档通过Http利用XML 加到一个搜索集合中。查询该集合也是通过http收到一个XML/JSON响应来实现。它的主要特性包括：高效、灵活的缓

2016-12-14 17:08:52 946

原创在搭建工作集群前我们应该做些什么

1.配置静态ip 关于配置静态IP 2.配置hosts解析 hostname ydbmaster vi /etc/sysconfig/network vi /etc/hosts 3.关闭防火墙 iptables -P INPUT ACCEPT iptables -P FORWARD ACCEPT iptables -P OUTPUT ACCEPTiptables -Fchkcon

2016-12-14 14:15:49 706

原创 Hadoop伪分布式环境部署之Hive

Hive下载地址将下载到的Hive压缩包解压到opt/ydbsoftware/ 中 1.配置HIVE_HOME 使用vi命令编辑 etc/profile 文件，在文件末尾添加

2016-12-05 00:36:16 579

原创如何使用阿里云镜像站

在平常的工作中经常要下载一些来自国外的软件，但是由于一些未知的原因导致下载并不是那么的容易，笔者在此隆重推荐阿里云开源镜像站，接下来就介绍一下怎么在该站找到自己想要的资源。阿里云的开源镜像站地址为：http://mirrors.aliyun.com/ 点击进去首先看到的是这样的：以Hadoop的下载为例，首先，我们知道Hadoop是来自于apache孵化器基金会的项目，我们点击a

2016-12-04 23:24:25 10614

原创 Hadoop伪分布环境部署之Hadoop

将JDK与Hadoop解压到/opt/ydbsoftware 使用 tar -zxvf 解压 tar.gz文件使用 unzip 解压.zip文件 1.配置JAVA_HOME及HADOOP_HOME 关于JAVA_HOME配置 HADOOP_HOME配置使用vi命令打开/etc/profile/在文档下方添加：export HADOOP_HOME=/opt/ydbsoftware/ha

2016-12-04 17:15:25 546

原创 Maven的安装攻略

maven 的安装攻略下载Maven 下载地址解压Maven到安装目录此后该目录以｛maven_home｝替代安装jdk1.8到安装目录 1.配置JAVA_HOME 示例： C:\Program Files\Java\jdk1.8.0_80 2.配置MAVEN_HOME ,M2_HOME 示例： M2_HOME E: \apache-maven-3.

2016-12-03 21:47:32 500

原创使用Spark内嵌的Maven编译Spark

一.准备工作：安装jdk1.7+，如已安装可跳过此步，本文使用的是jdk1.7.0_17。关于jdk的安装：[ 延云工作笔记]Hadoop环境搭建之JDK的安装二.下载官方的spark源码此处使用的是spark_1.6.21)将项目解压，进入根目录。2）配置java_home变量：export JAVA_HOME=/root/jdk1.7.0_17（此处的jd

2016-10-31 11:15:11 534

原创 Linux下静态IP的配置

使用vi命令访问 /etc/sysconfig/network-scripts/ifcfg-eth0文件。获取文件信息大致如下（“#”号后面为笔者的注释，如若复制请自行删除。）：DEVICE="eth0"#网卡设备名。BOOTPROTO="static"#开机协议，此处为静态ipIPADDR=192.168.3.61#指定ip地址，此处根据自身

2016-10-23 19:35:52 726

原创搭建Hadoop环境前的准备工作

基本环境要求：操作系统：使用CentOS6.x版本（推荐使用centos6.6）。基本软件环境要求：1）yun 与 rpm 2）Python 2.6.* 3）gccJDK要求：Oracle JDK 1.8 64-bit（一）配置静态IP//链接blog url（二）基本可用性检查（1）使用ulimit -n检查同一时间可开启的文件数是否为65535

2016-10-23 19:26:52 897

原创 Hadoop环境搭建之JDK的安装

环境：jdk 1.8.0centos 6.5一.使用mkdir创建一个名为opt 的目录(目录名随意)，将jdk-8u60-linux-x64.tar.gz通过SecureCRT传到目标主机中，使用tar -zxvf解压到当前目录。二，进入jdk1.8.0_60目录，使用pwd命令获取当前目录路径，记录下来。（/opt/jdk1.8.0_60）三.使用v

2016-10-16 19:26:50 2419 1

原创常用的shell命令

Linux下常用的shell命令1）mkdir /file/file1 ：在file目录下创建一个名为file1的目录。常用属性： -p ：当上级目录不存在时将上级目录一并创建。2)rmdir /file/file1 :删除file目录下的file1目录。在删除前要确定目录为空目录，否则无法删除。常用属性： -r或-R ：递归处理，可将指定目

2016-10-16 17:46:31 405

Hello_Word___的博客