- 博客(6)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 Spark on k8s 的安装和使用-大数据学习系列（六）
与 Kubernetes API 的通信是通过 fabric8 完成的可以通过使用配置属性的节点选择器在可用节点的子集上安排驱动程序和执行程序 pod，在未来的版本中将有可能使用更高级的调度提示，如节点/pod 亲和力。Spark 还附带一个 bin/docker-image-tool.sh 脚本，可用于构建和发布 Docker 镜像以与 Kubernetes 后端一起使用，用于构建和上传镜像。spark-submit 可以直接用于将 Spark 应用程序提交到 Kubernetes 集群。
2023-05-31 13:10:56
1118
1
原创 HBASE2.5.3集群安装-大数据学习系列（五）
百度网盘： https://pan.baidu.com/s/1GzZGo-Jxhwu3XCMH1UNwYg?PS：这是基于之前hadoop 和 hive 安装好的基础上的。定位到27行 输入（:27） 修改成环境的jvm地址。修改配置文件（在k8s-master机器上操作）定位到138行 输入（:138） 放开注释。1.配置hbase-env.sh文件。在k8s-master机器上操作启动。切换到k8s-node1机器上操作。切换到k8s-node2机器上操作。在k8s-master机器上操作。
2023-05-16 14:05:45
683
1
原创 Flink-1.17.0(Standalone)集群安装-大数据学习系列（四）
链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1X_P-Q8O_eLADmEOJ438u5Q?切换到k8s-node1、k8s-node2 验证是否安装成功。切换到k8s-node1机器上操作(分发环境)2.1 在集群（各机器上都执行！2.1 切换到k8s-master执行。2.2 切换到k8s-node1执行。切换到k8s-master执行。切换到k8s-master执行。
2023-05-16 14:01:11
1878
2
原创 spark-3.3.2（Standalone）集群安装-大数据学习系列（三）
链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1y-yXZCQdmlssdMNMpFlqnw?切换到k8s-node1、k8s-node2 验证是否安装成功。01-spark（Standalone）集群安装。切换到k8s-node1机器上操作(分发环境)1.1 在集群（各机器上都执行！2.1切换到k8s-master执行。2.2切换到k8s-node1执行。切换到k8s-master执行。
2023-05-16 13:56:41
981
原创 hadoop与hive的基本使用-大数据学习系列（二）
外部表：表的数据是由外部数据源管理的，例如HDFS或本地文件系统，因此表的结构无法通过Hive的DDL操作来修改，只能通过外部数据源来修改。内部表：表数据存储在Hive管理的HDFS文件系统中，并且在表被删除时，表数据也会被删除。外部表：表数据存储在外部HDFS文件系统或者本地文件系统中，表被删除时，表数据不会被删除。内部表：表的数据是由Hive直接管理的，可以通过Hive的DDL操作来修改表的结构或者添加。中，内部表和外部表是有区别的，主要体现在表的数据存储和管理方面。
2023-03-30 10:13:43
533
原创 （最新版本）hive4.0.0 + hadoop3.3.4 集群安装（无坑版）-大数据学习系列（一）
网上的找的文档大多残缺不靠谱，所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境，可以提供大家安装一个完整的hive+hadoop的环境供学习。Hive Metastore是Hive的元数据存储服务，需要确保Metastore服务已经启动，并且在Beeline的配置文件中正确配置了Metastore的地址。HiveServer2是Hive的查询服务，需要确保HiveServer2服务已经启动，并且在Beeline的配置文件中正确配置了HiveServer2的地址。
2023-03-30 10:08:22
4234
1
USBKEY 实现示例工程
2012-11-12
FusionCharts Free中文开发指南 图表绘制
2010-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人