- 博客(45)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ambari非root用户安装HDP集群
ambari非root用户安装HDP集群在生产环境中是很难或者不会给与root用户进行集群的安装部署，使用普通用户来安装集群是必备的条件之一。本文档书写了详细修改权限使之普通用户也可以安装集群的具体方法。https://www.fageka.cn/i/276508035...
2020-09-18 17:24:42
504
原创 Flink各类关键数据格式读取/SQL支持
目前事件归并分为两种，一种为实时的归并，即基于Kafka内的数据进行归并和事件生成；一种是周期性的归并，即基于Hive中的数据进行数据的归并和事件生成。基于SQL归并时Spark Streaming支持的输入/输出数据如下：数据类型Flink支持情况Kafka 需要定义schemaHDFS(parquet/csv/textfile) 读取parquet需要使用Avr...
2020-05-04 14:32:19
1831
转载 linux转码utf-8
远程登录服务器用vim在终端下编辑查看文件经常会遇见各种中文乱码问题。做如下设置可基本解决vim中文乱码问题首先查看系统对中文的支持locale -a | grep zh_CN输出样例如下zh_CN.gbkzh_CN.utf8vim 只能正确识别列表中的中文编码文件，如需识别其他编码类型的中文文件，则需要做系统升级vi ~/.bash_profile
2017-08-31 10:46:05
3020
原创 nodemanager启动报错Caused by: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN
2017-08-18 10:57:40,783 INFO ipc.Server (Server.java:stop(2752)) - Stopping server on 80402017-08-18 10:57:40,785 INFO ipc.Server (Server.java:run(932)) - Stopping IPC Server listener on 80402017-
2017-08-17 11:36:13
2888
原创 PLSQL注册码，亲测，可用
注册码：Product Code：4t46t6vydkvsxekkvf3fjnpzy5wbuhphqzserial Number：601769password：xs374ca1.登录PLSQL，选择取消2.选择帮助，注册3.在弹出的注册框内填写上面的注册码，点击注册即可使用
2017-07-26 17:42:10
59775
40
转载 hue配置简介使用
转载自http://blog.csdn.net/nsrainbow/article/details/43677077声明本文基于Centos 6.x + CDH 5.xHUEHadoop也有web管理控制台，而且还很华丽，它的名字叫HUE。通过HUE可以管理Hadoop常见的组件。下面用一幅图说明HUE能管理哪些组件除了Oozie，LDAP SAML
2017-07-15 12:39:57
2873
原创 kvm虚拟机转换VMware可以使用vmkd格式
因为工作需要，转换KVM虚拟机格式给VMware使用，一点想法分享给大家首先，找到KVM虚拟机地址，然后执行cd /path/to/vm_diskqemu-img convert test_vm.img -O vmdk /tmp/test_vm.vmdk #将img格式转换为vmdk其次，新建虚拟机，然后选择使用现有虚拟环境，具体步骤如下打开
2017-07-15 12:13:20
2843
原创 hive select FAILED: RuntimeException java.io.FileNotFoundException: /etc/hive/2.4.2.0-258/0/xasecure
[root@rdsp-dn-03 ~]# hiveWARNING: Use "yarn jar" to launch YARN applications. Logging initialized using configuration in file:/etc/hive/2.4.2.0-258/0/hive-log4j.propertieshive> show databases;
2017-07-06 17:10:44
2481
1
转载 HBase原理和设计
一篇不错的介绍HBase基本原理的文章，转载自：http://www.sysdb.cn/index.php/2016/01/10/hbase_principle/ ，感谢原作者。 简介HBase —— Hadoop Database的简称，Google BigTable的另一种开源实现方式，从问世之初，就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可
2017-06-22 16:59:01
345
转载 Spark map与flatmap区别
案例说明1：步骤一：将测试数据放到hdfs上面hadoopdfs -put data1/test1.txt /tmp/test1.txt该测试数据有两行文本：步骤二：在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt步骤三：查看map函数的返回值得到map函数返回的RDD:
2017-06-21 17:34:26
1065
转载 linux 脚本实现程序自动安装
linux 脚本实现程序自动安装#!/bin/bash //设置脚本中所需命令的执行路径PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/binexport PATH // $? 是取得上面执行命令的返回值，一般正确为0，错误为1if [ "$?" != 0 ] ;
2017-06-21 09:45:00
1443
转载 centos7.2 ambari一键部署
1.安装环境说明安装前先安装好 Centos 7.2, jdk-8u91, mysql5.7.132.操作系统环境准备2.1 配置SSH免密码登录主节点里root用户登录执行如下步骤ssh-keygencd ~/.ssh/cat id_rsa.pub >>authorized_keyschmod ~/.sshchmod ~/.ssh/authoriz
2017-06-20 14:07:29
2613
原创 win10使用administrator登录却仍然没权限
在运行框 里面输入“gpedit.msc”。打开组策略编辑器，计算机配置->windows设置->安全设置->->本地策略->安全选项找到“用户账户控制：用于内置管理员账户的管理员批准模式”设置为已禁用。然后重启，就可以了。
2017-06-19 15:55:06
25210
转载 PostgreSQL安装
安装PostgreSQL源CentOS 6.x 32bitsudo rpm -Uvh http://yum.postgresql.org/9.4/redhat/rhel-6-i386/pgdg-centos94-9.4-1.noarch.rpmCentOS 6.x 64bitsudo rpm -Uvh http://yum.postgresql.org/9.4/
2017-06-14 18:20:18
345
原创 Initial setup of CentOS Linux 7 (core)
装完CentOS后，重新开机启动后显示： Initial setup of CentOS Linux 7 (core) 1) [x] Creat user 2) [!] License information (no user will be created) (license not accepted) Please make your choice from above [‘q
2017-06-14 14:29:16
357
转载 源码安装Postgresql9.5
2016-09-21 09:36:28标签：系统 数据库 database原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://lorne.blog.51cto.com/9062483/1854785Postgresql简介：PostgreSQL是一个功能强大，开源对象关系型数据库系统。它拥有超过1
2017-06-09 18:35:34
308
转载 elasticsearch 初步了解
一、简介在大数据领域，自从有了 Hadoop 以后，大家渐渐习惯收集日志到 HDFS 中，然后每天运行 MapReduce 任务做统计报表。但是，面对诸如“新上线的版本过去几分钟在各地反馈如何”,“昨天23:40左右这个投诉用户有没有异常”这种即时的开放性问题，传统的日志处理方案显得非常的笨拙和低效。复杂多变的实时数据分析需求，需要的是灵活快捷的响应处理，Elasticsearch的出现让这个问题
2017-06-08 16:31:11
432
原创 elasticsearch.bootstrap.StartupException: java.lang.IllegalArgumentException: property [elasticsearc
[2017-06-08T15:38:34,205][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]org.elasticsearch.bootstrap.StartupException: java.lang.IllegalArgumentException:
2017-06-08 15:45:02
3388
原创 elasticsearch插件安装
安装部署head第一步，安装git需要从github上面下载代码，因此先要安装gityum -y install git安装完成后，就可以直接下载代码了：git clone git://github.com/mobz/elasticsearch-head.git下载后，修改下777权限（简单粗暴），然后拷贝到es的plugins下面，参考:/ES_HOM
2017-06-08 15:27:37
347
原创 ElasticSearch5.4搭建
1.下载jdk1.8以上，解压安装（在root用户下）tar -zxvf jdk-8u131-linux-x64.tar.gz解压后如下--jdk1.8.0_131配置环境变量--vim /etc/profileexport JAVA_HOME=/opt/jdk1.8.0_131export JAVA_BIN=$JAVA_HOME/binexport JA
2017-06-08 14:45:24
517
原创 elasticSearch5.4遭遇问题概略
1.root超级用户不能正常启动由于elasticsearch2.0版本以后不能使用root来启动，所以需要创建一个普通用户来启动。[root@bogon ~]# groupadd elasticsearch[root@bogon ~]# useradd elasticsearch -g elasticsearch[root@bogon ~]# chown -R elasticsea
2017-06-08 14:35:10
949
原创 java 环境变量配置参数
总是记不住，总是找资料，，，我也醉了export JAVA_HOME=/usr/java/jdk1.8.0_131export JAVA_BIN=$JAVA_HOME/binexport JAVA_LIB=$JAVA_HOME/libexport CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jarexport PATH=$JAVA_
2017-06-06 10:29:49
282
转载 PostgreSQL 各种问题汇总
PostgreSQL源码安装时候第一步 ./configure[sql] view plain copy[root]# ./configure --prefix=/usr/local/postgres-9.3.5 --with-perl --with-tcl --with-python --with-openssl --with-pam --
2017-06-06 10:12:02
3407
原创 configure: error: in `/inst/postgresql-9.5.2': configure: error: no acceptab
解决办法，缺少gcc依赖，安装gcc就可以了yum install gcc*
2017-06-06 10:08:54
3767
原创 Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.security.AccessControlExcep
新搭建好的ambari集群，然后发现hive启动失败，我也是醉了，报错如下WARNING: Use "yarn jar" to launch YARN applications.Logging initialized using configuration in file:/etc/hive/2.4.0.0-169/0/hive-log4j.propertiesExceptio
2017-06-01 10:22:35
11258
2
原创 httpd已经安装，但是/var/www/html网页打不开
今天遭遇httpd已经安装，但是/var/www/html网页打不开这个情况，网上有很多解决方案，包括关闭防火墙、selinux、或者是在httpd.conf上加ServerName localhost什么的,然而没有一个有用的，恩，这个情况仅仅是针对我不是针对你，或许这个方法对你有用，我会把具体方法给你们，你们可以一一尝试：1. chkconfig iptables off2.临时关闭s
2017-05-26 16:31:48
18067
7
转载 HDFS权限控制
HDFS支持权限控制，但支持较弱。HDFS的设计是基于POSIX模型的，支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下，可以使用下面的命令修改文件的权限、文件所有者，文件所属组：hadoop fs –chmod （修改文件所有者，文件所属组，其他用户的读、写、执行权限）haddop fs –chown （修改文件所有者）hadoop fs –chgrp
2017-05-26 09:05:37
769
转载 hive权限设置
Hive权限介绍一、开启权限 眼下hive支持简单的权限管理，默认情况下是不开启。这样全部的用户都具有同样的权限。同一时候也是超级管理员。也就对hive中的全部表都有查看和修改的权利，这样是不符合一般数据仓库的安全原则的。Hive能够是基于元数据的权限管理。也能够基于文件存储级别的权限管理。此次以介绍MetaData权限管理为主。通过下面配置开启Hive身份认证
2017-05-26 09:03:32
2386
原创 hive on tez Caused by: java.lang.OutOfMemoryError: Java heap space
昨天进行两个hive表关联导出数据，不幸的是爆出如下错误：Status: FailedVertex failed, vertexName=Map 5, vertexId=vertex_1443634917922_0008_1_05, diagnostics=[Task failed, taskId=task_1443634917922_0008_1_05_000006, diagnosti
2017-05-25 09:21:11
6913
1
原创 ssh 虚拟机特别慢 反应超时解决办法
今天重新创建了几台虚拟机，想搭建一个测试环境，尴尬的是在第一步的时候配置免密的时候就出了问题，网上查了一些资料，终于把问题解决了，现在分享给可能遇到这个问题的各位问题：ssh ***@192.*.*.* ,然后就一直卡在这个地方，很久以后才会出现让输入密码的提示解决办法：1.关闭防火墙--systemctl disable firewalld；service firewalld sto
2017-05-19 14:30:44
4477
原创 虚拟机强制关机后打不开怎么破
因为一些原因导致虚拟机会被强制关闭，有些时候打不开，这很尴尬，所以为了避免解决这种情况，我总结了一下2点方法提供给各位：1.出现获取所有权提示的时候仍然打不开，可以找到虚拟机安装目录，搜索.lck文件，记住是文件不是文件夹，删除文件即可；2.出现还原虚拟机状态后失败，打不开，报不可恢复错误什么的，找到虚拟机安装目录，搜索.vmss程序，删除它就可以了只有最简单的一些文字说明，因为这是我
2017-05-18 16:43:03
18855
4
原创 desktop位置不可用,桌面文件丢失，重启无效
今天上班，突然接到电话说家里电脑出了问题，就利用午休时间，远程控制了一下，发现问题：开始菜单点不开、键盘开始菜单按钮失效、右击开始菜单也无效（我的系统是win10）、控制面板也找不到、小娜搜索控制面板出来点击无效；以下是我解决的办法1、360杀毒，并没有发现病毒2、卸载最近下载的一个补丁3、按alt+ctrl+delete快捷键，弹出任务管理器，然后文件、运行新任务、展开HKEY_CU
2017-05-17 14:49:27
35753
4
原创 克隆机 移动虚拟机应该做的修改
有时候为了方便，我们会拷贝或者克隆虚拟机，克隆虚拟机后是不能直接使用的，需要做一些修改，具体方法如下：1.修改主机名 vi /etc/sysconfig/network（如果不需要修改，这个可以不用考虑）2.修改网卡 vi /etc/udev/rules.d/70-persistent-net.rules3.修改网卡的UUID vi /etc/sysconfig/net
2017-05-17 11:40:13
1194
原创 蠕虫攻击防范方法
昨天周日突然听闻蠕虫攻击势头凶猛，赶紧查询了一下如何防范，且不说服务器，只说下个人本子如何防范；方法一：安装360，开启360反勒索服务，方法二：因为这次蠕虫病毒主要是因为windows的445端口问题造成，所以大家可以关闭445端口（这是一个平时没什么用途的且被默认开启的端口），具体方法如下控制面板---系统和安全---windows防火墙---高级设置---入站规则---新
2017-05-15 08:44:26
847
原创 hive打印hbase时间戳
前提hive和hbase已经整合，如果还没整合，可以看看我的另一篇文章或者百度一下搜索相关内容即可CREATE EXTERNAL TABLE if not exists bers(rkey STRING,es_jcsx_rksx_zjlx string,time bigint --bigint 固定的，不能换成别的类型)ROW FORMAT SERDE 'org.apach
2017-05-12 12:06:39
1524
1
原创 hive导出hbase数据
hive和hbase连接使用是生产中很常见的一种方法，hbase当做存储结构，hive用作查询，下面的方法是使用hive导出hbase数据的一种方法，前提是hive已经和hbase整合，如果你还没整合，可以去看看我的另一篇文章，里面有hive和hbase整合的方法#b不能丢弃，否则hbase数据转换不出中文--建立映射表CREATE EXTERNAL TABLE if not
2017-05-12 11:56:44
1409
转载 hive hbase整合
Hive和Hbase有各自不同的特征：hive是高延迟、结构化和面向分析的，hbase是低延迟、非结构化和面向编程的。Hive数据仓库在hadoop上是高延迟的。Hive集成Hbase就是为了使用hbase的一些特性。 Hive继承HBase可以有效利用HBase数据库的存储特性，如行更新和列索引等。在集成的过程中注意维持HBase jar包的一致性。Hive集成HBase需要在Hiv
2017-05-12 11:55:07
379
原创 hadoop查询文件保存在机架的位置
工作的时候总会遇到各种问题，有时候会被要求看文件具体保存在那个机架上，还好hadoop提供了相关命令hadoop fsck /tmp/csv -blocks -files -locations -racks-blocks 块-files 文件-locations 位置-racks 机架
2017-05-12 11:51:20
555
翻译 druid基本理解
最近因为一个项目，所以临时突击学习了一下druid，找了一些书和官网文章搭配，然后就有了下面的这个文章，Druid基本概念—Druid是一个为大型冷数据集上实时探索查询而设计的开源数据分析和存储系统，提供低延时(实时)的数据接入，灵活的数据探索以及高速的数据聚合(存储和查询)。保存到Druid的数据由三部分组成：♦ Timestamp列：数据的时间戳列，所有的查询都是以时间为中
2017-05-12 11:39:35
10133
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人