- 博客(275)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 第一讲：自定义服务集成原理讲解
之前，在 github 上开源了 ambari-Kylin 项目，可离线部署，支持 hdp 2.6+ 及 hdp 3.0+ 。github 地址为：https://github.com/841809077/ambari-Kylin ，欢迎 star 。这段时间，陆续有不少朋友通过公众号联系到我，问我相关的集成步骤。今天正好休息，索性将 ambari 自定义服务集成的原理给大家整理出来。B 站搜：create17它其实不难，但是网络上并没有多少这方面的资料分享，官方也很少，所以学习门槛就稍微高了一些。.
2020-10-24 13:31:51
1062
1
原创 Ambari 2.7.3.0 安装部署 hadoop 3.1.0.0 集群视频完整版
一、前言很多小伙伴也都知道，最近一直在做 Ambari 集成自定义服务的教学笔记和视频。之前在准备 Ambari 环境的时候，考虑到有朋友会在 Ambari 安装部署时遇到问题，所以贴心的我呢，就在搭建 Ambari 环境的时候，把这个视频录制好了，总共时长共 87 分钟，将近1个半小时，附带移除 SmartSense 服务及 FAQ 。也提前介绍一下搭建好的 Ambari 相关版本信息：...
2020-02-07 10:36:35
1569
4
原创 Flink 系列：Flink 入门不再难！3000字深入浅出 WordCount 实战及精解
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的大数据学习资料！回复“Ambari知识库”可领取独家整理的Ambari学习资料！大家好，我是create17，见字如面。在这个数据驱动的时代，掌握大数据技术成为了每一位开发者必不可少的技能。而在众多技术栈中，Flink无疑占据了重要的位置。作为一个高性能、可扩展的实时数据处理框架，Flink已经成为了很多企业和开发者...
2024-04-05 18:52:25
538
转载 一本书带你了解企业数据架构
2017年英国《经济学人》杂志提出一个观点：世界上最具价值的资源不再是石油，而是数据。围绕数据的各种概念的提出或者理论层面的探索从未停止过，例如数据要素、数字经济、数字化转型以及数据资产以及定价等。不同行业的企业乃至整个社会对于数据愈发重视，政府也同样提出建设“数字中国”的概念。上述种种无疑都对数据从业者提出更高的要求。当下企业内部的系统往往出现非常复杂的、网状的、相互深耦合以及标准互不统一等现象...
2024-04-01 17:41:10
13
原创 干货 | Ambari 集成 Kyuubi 时的配置渲染逻辑
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的大数据学习资料！回复“Ambari知识库”可领取独家整理的Ambari学习资料！大家好，我是 create17，见字如面。今天给大家分享一个 Ambari 集成第三方服务的经典知识点，Ambari 如何根据配置开关量去判断是否增加新配置。以集成 Kyuubi 为例：需求如下：Ambari 在集成 Kyuubi 时，如...
2024-03-02 21:45:09
1027
转载 OpenAI灰度测试GPT-4.5-turbo，快看看，你的版本是最新的吗？
最近官方在灰度测试GPT-4.5-Turbo模型，我看了一下，整体上数据更新到2023年末了，基本就是最新的，另外很多性能、语言方面的理解能力也会更强。那怎么看自己的 ChatGPT 是否为最新版GPT-4.5-turbo 模型？√首先，你需要有一个 GPT-4账号；√ 然后，把下面这段指令发给你的 GPT-4。What is the precise name of the model a...
2024-01-18 07:55:40
133
转载 京东1024疯狂放价，今年的囤书力度可了不得
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的大数据学习资料！回复“Ambari知识库”可领取独家整理的Ambari学习资料！盼望着盼望着1024的脚步近了一年一度的程序员节又要到来啦（撒花）~为了庆祝这个Special Day京东图书大促京东科技图书满299减50不仅如此更有满299减50的优惠券限量派送，先扫先得（10.23晚8点-10.24以具体时...
2023-10-23 21:08:21
134
转载 说一说 Ambari 支持 Python3 的最新进展
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的大数据学习资料！回复“Ambari知识库”可领取独家整理的Ambari学习资料！万众期待，目前Ambari 社区提交了对 python3版本的支持，贡献者提供了非常详细的升级说明，呼吁大家根据说明将改动更新到自己本地，进行试用，然后反馈。本 PR 用于在 trunk 分支上升级 python3。所有单元测试均在 ...
2023-09-07 15:29:36
241
原创 Ambari 源码编译及前后端二次开发课程
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的大数据学习资料！回复“Ambari知识库”可领取独家整理的Ambari学习资料！前言好久没给大家更新 Ambari 知识总结的进展了，今天好好说一说。目前，《Ambari 自定义服务集成实战》课程已经完结了，会持续更新：学员们遇到的经典问答积累。目前所积累的精华主题地址，大家可以看一看：https://docs.qq...
2023-09-01 07:55:28
176
原创 第六讲：ambari-web 模块二次开发
ambari-web 模块涉及到的界面有：1、HDP 集群部署向导2、已安装服务的仪表板、配置界面等3、主机列表及详细信息4、告警列表及详细信息5、HDP 集群管理等（组件版本列表、服务用户名、启用 Kerberos、服务自启动配置）ambari-web 模块可以单独编译，实时看到编译后效果，用来修改开发 ambari web UI 页面。
2023-03-06 15:30:43
533
原创 第五讲：ambari-admin 模块二次开发
ambari-admin 模块可以单独编译，实时看到编译后效果，用来实时修改开发 ambari 后台管理页面。
2023-03-05 23:09:50
289
原创 【完整版】国内网络编译，Ambari 2.7.6 全部模块源码编译笔记
ambari 2.7.6 源码编译与之前版本相比，就编译来说优化了很多地方，主要有：1、涉及前端模块的 npm 构建都切换为了 yarn 构建。关于 npm vs yarn 可参考：https://zhuanlan.zhihu.com/p/234934362、编译 ambari-metrics 模块时，摆脱了 hortonworks 提供的 hbase、hadoop、grafana、phoenix 地址，改为了 apache 提供的地址，能直接下载到。好了，我们开始编译吧~
2023-03-05 19:17:52
540
原创 附录1：ambari-2.7.3.0 源码整体编译
但是还需要说一个地方，当编译 ambari-metrics 的时候，会提示 hbase、hadoop、grafana、phoenix相关tar包下载地址失效 的问题。除了以上这个地方需要单独的包以外，其他编译步骤及相关问题解决方法都和【编译ambari2.7.5.0】一样，大家可以参考：《将 ambari-metrics/pom.xml 需要的某些 tar 包的地址由外网地址，修改为从本地目录中获取。不管是编译 ambari 哪个版本，编译步骤都是通用的。先打版本号，然后再执行mvn编译命令。
2023-03-05 17:14:16
208
原创 第三讲：ambari编译后的安装包制作流程说明
前两讲，我们已经将 Ambari 源码编译成功。现在我们想将 Ambari 编译后的 rpm 包，都放到 yum 本地仓库中，这样 Ambari 与 HDP 在安装部署时，就直接使用的我们自己编译的安装包了。Ambari 的 rpm 包，有这么几类：1、ambari-server rpm2、ambari-agent rpm3、ambari metrics 相关 rpm 包4、ambari infra 相关 rpm 包5、bari logsearch 相关 rpm 包共计 12 个 rpm 包。
2023-03-05 09:34:12
647
原创 第二讲：ambari编译复盘，如何实现一次性成功编译ambari
上节课我们已经讲解了如何成功编译ambari源码，安装ambari-server rpm包以及成功部署ambari。本节课我们来复盘一下上节课的编译过程，以及思考如何实现一次性成功编译ambari。要想一次性成功编译ambari，那么就需要将预置工作做好，比如：1. maven镜像源配置，2. node_moudle模块预先拷贝3. 一些从网上下载的文件预先设置好等等...那么现在开始，我们再从零做一次ambari的编译工作，争取一次性将其编译成功。
2023-03-05 08:13:28
526
原创 第一讲：ambari-2.7.5.0 全部模块源码编译并安装部署ambari
Ambari 2.7.5 全部源码编译，详细教程，编译 ambari-metrics 模块时依赖的 tar.gz 包免费提供！！！编译步骤、思路 适配于 ambari 所有版本！！
2023-03-04 23:26:17
472
转载 云栖大会|小米大数据运维管理体系的建设与实践
前言前段时间，很荣幸能参加云栖大会，并和大家分享一个议题，接下来我们来回顾一下介绍这次给大家带来的题目是《小米大数据运维管理体系的建设和实践》今天整个分享分两部分，第一部分我们先来聊聊大数据运维数字化转型相关的内容看看运维层面如何做到化繁为简，打造极致效率的；紧接着第二部分，会给大家介绍一下小米大数据的技术架构大家可以从中了解到小米怎样应对海量数据挑战的。服务定位为了帮助大家理解，我们先来简单...
2023-02-27 07:55:20
44
原创 国内网络编译，Ambari 2.7.6 全部模块源码编译笔记
笔记为 Ambari 2.7.6 全部源码编译保姆级教程，记录了编译过程中所有的报错及解决方案，过程非常详细，是不可多得的好教程。
2022-11-21 10:00:30
975
原创 如何禁止ambari-server.log中显示cloudera地址异常栈的解决方案分享
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的大数据学习资料！回复“Ambari知识库”可领取独家整理的Ambari学习资料！如何解决日志中 Could not load version definition for HDP-x.x identified by https://archive.cloudera.com 报错问题呢？是的，今天就来说一下 ambar...
2022-11-15 07:55:56
635
原创 Ambari部署HDP时，Select Version时页面数据来源解析
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的大数据学习资料！回复“Ambari知识库”可领取独家整理的Ambari学习资料！版本说明：Ambari：2.7.3.0HDP：3.1.0.0如上图所示，Ambari 部署 HDP 时，Select Version 时页面数据是哪来的呢？今天就来解析下。先说上图的数据从哪来的，上图分为两部分数据，一个是 HDP 各服务...
2022-11-14 07:55:02
554
原创 Ambari 编译部署后，视图怎么没有了？
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的学习资料！如上图所示，最近有学员问我：老师，Ambari 源码编译安装后，发现视图列表为空，这是怎么回事呢？我让其看了 ambari-server 所在节点的 /var/lib/ambari-server/resources/views 目录，发现只有 ambari-admin 的 jar 包。其实这就是问题所在，正...
2022-11-10 12:01:33
206
原创 Ambari 自定义服务集成 | quicklinks 快速链接不显示的排查方案
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“Ambari知识库”可领取独家整理的Ambari学习资料！一、前言最近有两位学员都反馈在 Ambari 集成服务时，遇到了添加 quicklinks 快速链接不显示的问题。今天就给大家分享下如何排查解决这个问题。二、quicklinks快速链接 问题排查1、metainfo.xml 文件首先，quicklinks 快速链接功能，需要在 m...
2022-10-20 07:55:13
469
原创 发现 Ambari HDP 服务告警项 UNKWN 了
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的学习资料！问题描述:发现 Zookeeper 服务告警项出现 UNKOWN，Response 显示：'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128)如何解决这个问题呢？问题分析：出现上面...
2022-07-10 16:33:03
245
原创 Ambari自定义服务集成课程咨询解答汇总
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的学习资料！大家好，我是create17。自从2017年实习，我就开始围绕Ambari做相关工作。期间做过Ambari安装部署、页面生产级别的汉化、Ambari自定义服务集成、前端页面开发、后端API接口开发、Ambari Server HA、部分原生bug修改，以及HDP相关常用组件的基本使...
2022-07-03 16:58:10
300
转载 好消息！Apache Ambari重新进入Apache孵化器！
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“Ambari知识库”，可领取独家整理的Ambari学习资料！大家好，我是create17，一个对Ambari感情很深的资深二次开发者。期间做过Ambari安装部署、页面生产级别的汉化、Ambari自定义服务集成、前端页面开发、后端API接口开发、Ambari Server HA、部分原生bug修改，以及HDP相关...
2022-06-11 09:18:18
310
原创 有惊无险，继gitee图床不能用的解决方案简单一说
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的学习资料！2022年5月下旬，gitee突然宣布仓库需要审核通过后才能上线，这也就导致我平时写博客用的gitee图床外链也芭比Q了。秉着多一事不如少一事的态度，我还是打算将我的gitee图床的仓库重新申请开放，但审核后通知：图床外链不能作为公共仓库，如下图所示：这还玩个毛啊，还是迁移到git...
2022-05-25 23:21:03
548
原创 快来学习！全网最全的Ambari知识库闪亮登场
大家好，我是create17。自从2017年实习，我就开始围绕Ambari做相关工作。期间做过Ambari安装部署、页面生产级别的汉化、Ambari自定义服务集成、前端页面开发、后端API接口开发、Ambari Server HA、部分原生bug修改，以及HDP相关常用组件的基本使用。关于HDP，除了常用组件的使用测试写文档，还花费了大量时间研究Kerberos，少量时间...
2022-04-12 23:32:21
402
原创 工作这么久，你真的会提问问题吗？
大家好，我是create17。熟悉我的人都知道，由于经常写关于Ambari方面的博客，让我在Ambari方面也有了一些名气，有很多同学都会加我好友咨询问题，在这里感到非常荣幸。但同时也发现有一些人不会提问问题，或者发表问题比较随意，这让我很苦恼。在这里，我感觉有必要纠正下。如何正确提问如何向别人提问问题呢？结合我的思考，共总结以下几点：尽量别问搜索引擎能解决的问题，建议先...
2022-04-10 23:59:17
137
原创 Ambari源码二次开发实战课程（持续更新中）
如果大家想基于 ambari 开发一套自己的大数据平台，那么 ambari 二次开发的相关知识就必须具备。比如：ambari 整体编译，ambrai 汉化，ambari 页面开发，ambari api 接口开发，二次开发相关的技巧经验等等。在 hortonworks 公司被 cloudera 公司合并，hdp 闭源以后，其实很多公司，很多小伙伴都有这方面的需求：基于 am...
2022-04-09 11:50:00
940
原创 Ambari安装hive服务，数据库Connection Failed
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的学习资料！一、问题描述因为写 ambari 相关的文章比较多，所以有很多使用 ambari 的朋友加我好...
2022-01-12 21:30:00
1607
转载 陈琦：OLAP如何选型？ClickHouse为何如此之快？万字长文实战演练分享
导读：有赞是什么？有赞是一家商家服务公司。致力于成为商家服务领域里最被信任的引领者；并持续做一个Enjoy的组织。主要的业务有：①SaaS服务：有赞微商城，有赞零售，有赞连锁，有赞美业，...
2021-11-24 07:55:00
417
原创 干货 | 5000字教你如何使用命令行查看应用日志以及YARN应用日志相关参数解析...
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的学习资料！yarn 相关文章：☞hadoop之yarn命令详解☞hadoop之yarn详解（基础架构篇...
2021-11-22 07:55:00
533
转载 最全Spark内存管理深度剖析，8000字整理
前言与数据频繁落盘的Mapreduce引擎不同，Spark是基于内存的分布式计算引擎，其内置强大的内存管理机制，保证数据优先内存处理，并支持数据磁盘存储。本文将重点探讨Spark的内存管理...
2021-11-17 22:48:00
385
转载 大数据面经吐血总结【阿里提问+答案解析】
1 自我介绍控制在4分半以内，不超过5分钟(1)个人基本信息(2)工作履历工作时间、公司名称、任职岗位、主要工作内容、工作业绩、离职原因(3)深度沟通(也叫压力面试)刨根问底下沉式追问(...
2021-11-15 22:42:54
1534
转载 HDFS的快照讲解
一个snapshot（快照）是一个全部文件系统、或者某个目录在某一时刻的镜像，使用vmware类似软件的同学指定，快照可以为虚拟机保存某个状态，如果做了更改，或者系统被折腾坏，还有个复原的...
2021-11-13 12:29:08
327
转载 Ambari 前端之 ambari-admin 模块概述
点击卡片“Ambari二次开发实战”，选择“设为星标”或“置顶”第一时间学习 Ambari 硬核干货！上述图片为 Ambari 后台管理相关的部分界面截图。这些页面如果想调整的话，比如汉化...
2021-11-10 19:20:00
354
转载 一文读懂 HBase 核心原理与应用场景
HBase是大数据NoSQL领域里非常重要的分布式KV数据库，是一个高可靠、高性能、高伸缩的分布式存储系统，目前国内知名公司都有在大规模使用，社区也非常活跃。本文就是学习HBase的敲门砖...
2021-11-09 22:52:03
1092
phoenix-5.0.0.3.1.4.0-315.tar.gz
2021-04-22
Apache+Kylin权威指南.pdf
2019-04-07
Java版SMS4加密解密算法（源码含详细注释）
2019-04-07
企业级大数据平台构建：架构与实现_朱凯(著) 机械工业出版社.pdf
2018-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人