- 博客(36)
- 收藏
- 关注
原创 Flink报错:SplitFetcher thread 0 received unexpected exception while polling the records
针对报错的解决方案进行汇总,并展示我的解决方案
2024-03-27 17:12:44 321
原创 NoMatchingMethodException No matching method for class org.apache.hadoop.hive.ql.udf.UDFToString
本文主要通过一个错误提醒读者,要注意表结构与select语句各字段的一一对应
2024-03-05 16:47:45 343
原创 mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录
hadoop文件配置的小问题
2023-11-04 12:12:11 1287
原创 Flink中保存点(Savepoint)和检查点(Checkpoint)的区别
本文汇总了flink中保存点和检查点之间的区别和联系,并提供相应配置代码
2023-11-04 11:27:44 100
原创 Hadoop入门之什么是YARN
如上图所示,HDFS处于YARN之外,为YARN提供应用程序所需要的数据,而YARN中可以部署很多应用,包括MapReduce HBase Spark等。通俗来讲YARN就是一个集群管理器,它可以统筹多台服务器上的资源,根据业务需要向特定应用分配资源(资源是指处理器和内存等)。Resource manager是大总管,掌管一切资源,如果有任务提交,Resource manager就会为任务分配资源。NodeManager是小总管,主要负责该节点内所有容器的生命周期的管理,监视资源和跟踪节点健康。
2023-09-24 19:54:09 43 1
原创 Linux系统中的环境变量加载顺序
因此不管是login shell还是non-login shell,启动时都会加载/etc/profile.d/*.sh中的环境变量。这两种shell的主要区别在于,它们启动时会加载不同的配置文件,login shell启动时会加载/etc/profile,而/etc/bashrc会进入到/etc/profile.d/目录下,并寻找*.sh中的环境变量。但是只有login shell会加载/etc/profile 和~/.bash_profile。
2023-09-24 10:26:53 111 1
原创 什么是注意力机制
针对刚入门深度学习,对于注意力机制不是很理解,或者希望直接了解注意力机制的同学。本文从一个现实的例子入手,形象的讲解了注意力机制的基本原理。
2023-01-31 10:58:56 156
原创 pytorch中Variable和Tensor的区别
本文简要介绍了Variable和Tensor的区别。对Variable中的常用接口和使用方法进行了介绍并附上代码。
2023-01-31 10:46:22 449
原创 如何使用Pycharm连接服务器中的anaconda环境
本文帮助读者在pycharm中配置anaconda远程连接,这样方便读者在远程服务器上训练深度学习模型
2022-11-15 10:08:14 6720 2
原创 Spark系统架构(Standalone模式)
本文简单介绍了Spark框架在Standalone模式下结构,并描述各个部分的作用及特点。文章结尾同MapReduce进行了比较
2022-10-31 10:16:15 1053
原创 JAVAeclipse找不到或无法加载主类
可能出现的问题:1 环境变量配置不正确。2 源文件中的 package 包名与当前所处包不同3 在工具栏找到Project->clean 点击清楚当前已经编译的文件4 当前项目中引入的jar文件不可用,需要排除jar文件才能够正常使用。(也是我遇到的情况)...
2022-04-09 17:41:40 661
原创 Google MapReduce 中文版阅读心得之什么是mapreduce
1.mapreduce主要应用在什么地方mapreduce是谷歌给出的使用分布式计算机计算超大规模数据集的一种解决方案,是一种编程模型。试想一下,有时我们需要处理大规模的数据,需要对大规模数据进行分类统计。单纯的依靠单个计算机很难实现。针对不同的数据处理的情况,为了使性能提升,就需要想方设法提升算法性能。并且对于不同的场景还需要单独编程设计解决方案。而mapreduce就是一种框架,一种解决大规模数据计算的框架。它的搭建和使用要在分布式的环境下进行。2.mapreduce是如何工作的,以及它工作环境
2022-03-29 18:09:54 1899
原创 毕业设计回顾:基于分布式的优惠券秒杀系统的设计与实现
秒杀系统总结1.前言大学毕业设计,秒杀系统设计了花费了很多心思。未来几天也要准备考研面试,难免会被问到过去写过的项目。所以计划对毕业设计中的内容进行全面的复盘。如果你有设计一个秒杀系统的想法,而又不知从何开始,你可以看下去。如果你希望他指导你的实际项目开发,那这篇文章大概率不适合你。2.系统组成部分概述系统是分布式系统,主要使用的技术栈是springcloud(使用的阿里巴巴开发的组件nacos sentinal,也可以更换传统组件,这无关紧要),springboot,redis,rabb
2022-03-29 17:37:49 904
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人