- 博客(17)
- 收藏
- 关注
RSS订阅
原创 phoenix 与 hbase 整合,将hbase 自定义的namespace 放到phoenix 中进行完美整合
注意: 这里以ambari 集群进行整合说明1. 前提条件一. ambari 集群上已经安装好了phoenix 插件以及hbase 组件二. 保证ambari 集群的hdfs系统,zookeeper 系统,hbase 集群,phoenix 组件server ,ranger 管理权限系统 已经正常运行.2. 配置hbase的namespace映射为phoenix数据库; (到...
2019-07-16 19:16:09
1912
原创 使用docker 容器 跨主机访问--实操
背景：引出思考问题一： 在学习docker 服务的过程中想到一个问题，就是所有的docker 容器服务都部署在一台docker 宿主机上，若docker 容器服务足够多 这个docker 宿主机不会死掉么？？引出思考问题二： docker 容器里面的服务能不能跨宿主机访问别一台宿主机的docker 容器服务呢？？问题一： 其实我自己也不知道问题二： 请看实战操作二的内容实战：操作一： 安装docker 引擎，操作链接：操作二：一.实验条件准备：1. 准备两台l..
2022-05-14 13:54:38
5882
原创 docker 学习
一.docker 简介 docker 是一个开源的应用容器引擎，是基于Go语言实现的云开源项目。Docker的主要目标是“Build，Ship and Run Any App,Anywhere”，也就是通过对应用组件的封装、分发、部署、运行等生命周期的管理，运行环境能够做到“一次镜像，处处运行”。简言之，让开发者可以 打包自己的应用以及依赖包 变成一个可移植的容器（集装箱），然后发布到任何流行的Linux机器上。docker的 好处：1.简单易操作，简化了以往复杂的应用程序安装步...
2022-05-13 22:03:27
330
原创 部署分布式SQL查询引擎框架(presto)
0. 背景 在了解到公司已经使用多数据源的情况下,同时要满足bi报表(web 报表展示平台)的后台数据库的连接支持 ,所以 准备调研并搭建presto 服务框架1.简介 一.Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。 其本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。Presto是一个OLAP的工具，擅长对海量数据进行复杂的分析；但...
2021-02-21 14:08:11
868
原创 安装 hive 的客户端---hue
一. 搭建流程: 搭建的流程,其实是根据 官方文档的提示进行操作的, 官方文档的链接: https://github.com/cloudera/hue/tree/release-4.8.0 ,这里我选择的是实体机器的搭建方式 ,若想使用其他方式详情见git 的详细操作从官方文档的搭建步骤过程中,其实主要分为以下几步: 一. 检查系统的 环境以及安装系统的插件 二. 下载源码,进行源码编译安装 三. 进行启动测试调试 四. 与集群的...
2021-02-18 19:38:56
1164
原创 离线集群平台搭建-HDP
一. 背景 大数据相关的所有建设 依托于 大数据的基础设施. 基础设施一定包含了集群平台的搭建 . 目前市场上常用的有三种方式做集群平台的搭建; 第一种为使用原生的apache (hadoop,hive,spark)等相关大数据软件构建集群平台 . 这种方式相对比较灵活, 好控制,但是在选择各个大数据软件的兼容性就比较困难,监控页面以及集群的状态 等维护需要开发人员进行开发,工程量较大,一般不选择此种方式. 第二种为使用商用的开发版本cloudera 的免费...
2021-02-02 16:22:38
561
原创 sourceTree git 的辅助工具
安装和使用SourceTree这里是使用的版本是 2.6.10 版本安装 SourceTree安装步骤:1.双击 下载文件目录下的SourceTreeSetup-2.6.10.exe ,进行安装.当再点击继续时,会出现错误,此时不用慌张. 直接关闭退出.进行下面的第二个步骤.2.打开文件资源管理器，在地址栏中输入【%LocalAppData%\Atlassian\SourceTree\】3.在当前目录下创建 查找 是否有accounts.j...
2021-02-02 16:00:17
259
原创 vmware 进行磁盘扩容
vmware中的Linux磁盘大小不足了，修改vmware中Linux磁盘空间大小的解决方案 (新增一个系统盘符)条件: 1. 需要搭建vmware 以及 linux 虚拟机 (我这里使用的vmware15 以及 虚拟机镜像 为 Redhat linux CentOS 7)安装虚拟机教程: 搭建虚拟机以及安装 linux虚拟机的过程,在此处省略 , 具体安装过程可以查看这两篇博客: 链接: https://www.cnblogs.com/zhaope...
2020-10-29 19:42:49
579
原创 ambari 集群使用的过程中出现的一个问题,未解决的
ambari 集群在实际应用过程中出现的(我认为)一个比较大的问题,目前是未解决这个问题,希望广大的博客主们能帮忙解决一下: 下面的日志信息是在ambari (Version2.7.3.0) 集群的/var/log/hadoop-yarn/yarn/ 目录下的文件hadoop-yarn-resourcemanager-master.hadoop.log 里面的内容:2019-...
2019-10-09 17:13:47
4044
6
原创 'ImportError: No module named '_tkinter'的一种解决方法
遇到这个问题，通过看这篇文章便可解决：转载：https://blog.csdn.net/liaowu912/article/details/70198128在centos6.X系统下，导入matplotlib时，出现ImportError: No module named '_tkinter'的错误，首先yum list installed | grep ^tk 查看是否存在相应模块，...
2018-08-21 14:24:44
3487
原创 Centos6 使用import lightgbm模块， 报： "libc.so.6: version `GLIBC_2.14' not found" "Segment Fault"
这里注明一下，转载：http://www.cnblogs.com/jhc888007/p/9400450.html希望为迷茫的你能指明方向，并解决你的问题，因为我在这里也做了很长一段时间，但是都是有问题的，直到看了上面的那个博客，终于把问题给解决了。是什么造成这个问题呢？？由于系统自带的libc.so.6版本过低导致，运行：strings /lib64/libc.so.6|grep G...
2018-08-21 13:53:25
2875
1
原创 在centos6.5 中安装python3.X
安装python3.X 此博客是在centos6.5 中安装python3.x 的流程，可以直接按照以下步骤进行安装（注意：在centos6.5中已经有默认的Python2.6 ，在这里我们不需要改动系统的环境变量）#这里先用系统用户root：先安装python pip3 需要的依赖包：yum install zlib* openssl* #这里切换成子用户，我这里是had...
2018-08-13 21:18:23
2284
原创 搭建ssdb nosql数据库
详情可以查看着篇中文官方文档：https://blog.csdn.net/wuliusir/article/details/50374413 这篇链接文章感觉还是很靠谱的 SSDB 部署在 Linux 操作系统编译和安装注意：我这里是使用的子用户搭建的ssdb下载： wget --no-check-certificate https://github.com/ideawu/ssdb/archive...
2018-04-16 17:16:22
513
原创 spark 集群运行standalone的cluster 方式遇到的bug，希望能被一个大神来解决
这个问题是这样的，就是我这spark的集群已经搭建好了，然后使用spark的安装包里的实例进行测试时发现报了这么一个问题，不知道各位spark的探索者们是否注意过这个问题：我这将把这个问题的原景表现出来，希望大家能帮我解决一下，我这给我说一下这其中的缘由。在集群已经正常启动的情况下，我这里使用这个命令提交的：./spark-submit --master spark://node06:7077 ...
2018-01-23 16:26:28
2112
10
原创 关于cdh安装过程中的遇见的一些问题以及解决办法的总结
注意：这篇文章是我搭建之后过了两天才来写的，所以这里有点泛化，没有很强的针对性，只供大家一个参考的方向。问题一： 启动Cloudera的agent报：Cloudera-scm-agent dead but pid file exist 解决的办法思路：方法一： 可以先参考这篇博客文章来进行操作：http://blog.csdn.net/DViewer/article/details/5
2018-01-17 12:33:29
3090
原创 将一个大文件进行拆分为多个小文件源码
import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileInputStream;import java.io.FileWriter;import java.io.IOException;import java.io.InputStre
2018-01-09 16:26:12
5302
原创 使用beeline 连接客户端报错
当hive数据仓库搭建起来了，同时将hiveserver2 服务器端已启动（命令：./hiveserver2） ，使用 beeline 命令启动客户端 报一下这个错误： Beeline version 1.2.1 by Apache Hivebeeline> !connect jdbc:hive2://192.168.173.128:10000 Connecting to jdbc:hiv
2018-01-02 16:16:20
3384
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人