- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ambari全攻略流程，开发ambari（四）
这一章我们详细的部署开发环境于如何调试开发ambari,大致可以分为创建实时编译的环境，使用webstorm或其他类似工具通过remot的方式连接虚拟机上传或下载更改。同时添加一个汉化的实例帮助大家来理解二次开发，与整体ambari的架构，由于作者只是浅尝辄止，并未对项目深入解析，也有不足希望各位指出。
2022-10-04 13:31:19
1825
原创 ambari全攻略流程，编译ambari（三）
此次编译用VM14虚拟机安装Centos7系统进行编译，其中作者发现有docker脚本虽然可以添加镜像编译环境但是操作较复杂问题多变所以没能完整编译代码，退而求其次在虚拟机上搭建了整体编译环境方便编译与后期开发。......
2022-08-16 10:06:43
841
原创 ambari全攻略流程，认识ambari（一）
ambari介绍Apache Ambari 项目旨在通过开发用于供应、管理和监控 Apache Hadoop 集群的软件来简化 Hadoop 管理。Ambari 提供了一个直观、易于使用的 Hadoop 管理 Web UI，由其 RESTful API 提供支持。Ambari 使系统管理员能够：配置 Hadoop 集群– Ambari 提供了一个分步向导，用于在任意数量的主机上安装 Hadoop 服务。– Ambari 为集群处理 Hadoop 服务的配置。管理 Hadoop 集群– Amb
2022-08-16 10:06:18
6992
1
原创 在执行hdfs的fsck时超时Read timed out
hdfs fsck timeout问题处理Exception in thread "main" java.net.SocketTimeoutException: Read timed out at java.net.SocketInputStream.socketRead0(Native Method) at java.net.SocketInputStream.socketRead(SocketInputStream.java:116) at java.n
2021-05-18 15:04:06
1835
4
原创 python-hdfs使用记录hdfs访问User: dr.who is not allowed to impersonate hdfs
使用python的hdfs包操作错误解决在使用的时候会出现错误User: dr.who is not allowed to impersonate hdfsclient=Client("http://namenode:50070/",proxy='hdfs')解决有两种：1.修改hdfs配置hadoop.proxyuser.dr.who.hosts = *hadoop.proxyuser.dr.who.user = *hadoop.proxyuser.dr.who.group = *生效
2021-01-22 09:41:46
615
1
原创 显示hive列名与不显示表名
这里写自定义目录标题写入显示列名+表名set hive.cli.print.header=true;不显示表名set hive.resultset.use.unique.column.names=false;配置可以加到hive-site.xml中设置默认
2020-12-26 13:07:22
1194
原创 CENTOS7.5 初次PX4开发教程
本教程尚未完成，有问题可以交流在看完PX4无人机环境开发文档中，发现其中服务器已使用ubuntu作为开发系统，里面虽有centos 但是经过实践坑也不少，现在写下文档希望可以帮助别人1.项目基本安装我就不说了，自己看一下文档https://px4.osdrone.net/index.html2.准备环境这里说一下文档中说的epel-release-7-5.noarch.rpm已经过时了新...
2020-09-10 14:27:33
242
2
原创 HBase识别和移动损坏的HFile （hfile corrupted）（-checkCorruptHFiles）
HBase-识别和移动损坏的HFile识别损坏的文件：对损坏的文件进行旁注：识别损坏的文件：HBase提供了一个实用程序来检查HBase中是否有损坏的文件。hbase hbck -checkCorruptHFiles上面的命令将检查整个HBase表中是否有损坏的文件。要检查特定表中的损坏，请使用以下命令：hbase hbck -checkCorruptHFiles <表名称>如果任何文件已损坏，那么输出日志中将显示以下内容：Checked 17 hfile for corrupt
2020-09-10 14:17:56
695
原创 kafka 客户端基础指令操作（shell，crt）
offset操作$ 最大offsetkafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test_topic --time -1$ 最小offsetkafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test_topic --time -2$ offsetkafka
2020-07-03 10:47:08
872
原创 Superset与Metabase安装以及应用（二）
Superset安装 （Docker 安装）Centos7安装Dockerdocker安装安装 Docker从 2017 年 3 月开始 docker 在原来的基础上分为两个分支版本: Docker CE 和 Docker EE。Docker CE 即社区免费版，Docker EE 即企业版，强调安全，但需付费使用。本文介绍 Docker CE 的安装使用。移除旧的版本：$ s...
2019-02-22 11:50:45
797
原创 Superset与Metabase安装以及应用（一）2019-2-18
Superset与Metabase安装以及应用（一）2019-2-18Metabasemetabase介绍官网：https://www.metabase.com文档：https://www.metabase.com/docs/latest/getting-started.htmlMetabase是由JAVA开发，是一个简单而强大的分析工具可以让人学习和从他们公司的数据做出决策。在官网下...
2019-02-18 12:00:48
1344
原创 hdfs开启高可用之后HIVE报错 Operation category READ is not supported in state standby
hdfs开启高可用依赖存储hdfs的组件报错问题:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException Operation cate...
2019-01-21 11:22:16
2014
原创 HIVE时间戳错误unix_timestamp时间转换与本地时间不同
1.select from_unixtime(unix_timestamp(),‘yyyy/MM/dd HH:mm:ss’);执行时间与本地时间有误差时间戳：2019/01/16 02:36:13本地时：2019-01-16 10:36:10正好相差8小时安装ntp服务同步时间也无效最后翻找官方文档查看unix_timestamp获取时间属性：Converts time string...
2019-01-16 12:39:02
9530
7
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人