- 博客(202)
- 资源 (41)
- 收藏
- 关注
RSS订阅原创 Ubuntu Linux操作系统——项目5 系统高级配置与管理
进程：Linux系统上所有运行的任务都可以称之为一个进程，每个用户任务、每个应用程序或服务也都可以称之为进程，Ubuntu也不例外。对于管理员来说，没有必要关心进程的内部机制，而是要关心进程的控制管理。管理员应经常查看系统运行的进程服务，对于异常和不需要的进程，应及时将其结束，让系统更加稳定地运行。
2024-04-25 10:32:59
467
原创 Ubuntu Linux操作系统——项目四 磁盘配置与管理
对于任何一个通用操作系统而言，磁盘管理与文件管理都是必不可少的功能，因此，Linux操作系统提供了非常强大的磁盘与文件管理功能。Linux操作系统的管理员应掌握配置和管理磁盘的技巧，高效地对磁盘空间进行使用和管理。如果Linux服务器有多个用户经常存取数据，则为了有效维护用户数据的安全性与可靠性，应配置逻辑卷及RAID管理。本章主要讲解了磁盘管理、磁盘挂载与卸载、磁盘管理其他相关命令、配置管理逻辑卷以及RAID管理。
2024-04-20 08:30:00
986
原创 Ubuntu Linux操作系统——项目三 用户群组与文件目录权限管理
Ubuntu Linux是一个多用户、多任务的操作系统，可以让多个用户同时使用系统。为了保证用户之间的独立性，允许用户保护自己的资源不被非法访问，用户之间可以共享信息和文件，也允许用户分组工作，对不同的用户分配不同的权限，使每个用户都能各自不受干扰地独立工作，因此，作为系统的管理员，掌握系统配置、用户权限设置与管理、文件和目录的权限设置是至关重要的。本章主要讲解了用户账户、组群管理、su和sudo命令的使用以及文件和目录权限管理。
2024-04-19 08:30:00
785
原创 Ubuntu Linux操作系统——项目2 Linux基本操作命令
Linux操作系统的Shell作为操作系统的外壳，为用户提供使用操作系统的接口。它是命令语言、命令解释程序及程序设计语言的统称。Shell是用户和Linux内核之间的接口程序，如果把Linux内核想象成一个球体的中心，Shell就是围绕内核的外层。当从Shell或其他程序向Linux传递命令时，内核会做出相应的反应。Shell是一个命令语言解释器，它拥有自己内建的Shell命令集，Shell也能被系统中的其他应用程序所调用。用户在提示符下输入的命令都先由Shell解释再传给Linux核心。
2024-04-18 08:30:00
617
原创 搭建Java开发环境
JDK 基本介绍JDK 的全称(Java Development Kit Java 开发工具包)JDK = JRE + java 的开发工具 [java, javac,javadoc,javap 等]JDK 是提供给 Java 开发人员使用的，其中包含了 java 的开发工具，也包括了 JRE。所以安装了 JDK，就不用在单独安装 JRE 了。JRE 基本介绍JRE(Java Runtime Environment Java 运行环境)JRE = JVM + Java 的核心类库[类]
2024-04-17 15:41:23
633
原创 Spark运行架构
Spark Core包含Spark最基础和最核心的功能，当提及Spark运行架构时，就是指Spark Core的运行架构。本节首先介绍Spark的基本概念和架构设计，然后介绍Spark运行基本流程，最后介RDD 的设计与运行原理。
2024-04-12 15:37:52
653
原创 Hadoop分布式计算框架（MapReduce）——案例实践：气象大数据离线分析
数据格式由Year(年)、Month(月)、Day(日)、Hour(时)、Temperature(气温)、Dew(湿度)、Pressure(气压)、Wind dir.(风向)、Wind speed(风速)、Sky Cond.(天气状况)、Rain 1h(每小时降雨量)、Rain 6h(每6小时降雨量)组成。打包成功后，在项目的targer目录下找到编译好的bigdata-1.0-SNAPSHOT.jar包，然后将其上传至/home/hadoop/shell/lib目录下（没有相关目录可手动创建）
2023-12-21 16:46:18
453
3
原创 Hadoop分布式计算框架（MapReduce）——MapReduce运行机制
它首先为Map任务发出请求，该请求优先级要高于Reduce任务的请求，这是因为所有的Map任务必须在Reduce的排序阶段能够启动前完成，直到有5%的Map任务已经完成时，为Roduce任务的请求才会发出。在Map任务和Reduce任务运行时，子进程和自己的父Application Master通过接口进行通信，默认每隔3s，任务通过这个接口向自己的Application Master报告进度和状态(包括计数器)， Application Master会形成一个作业的汇聚视图。
2023-12-21 16:37:12
58
原创 Hadoop分布式计算框架（MapReduce）—— MapReduce的编程模型
从MapReduce自身的命名特点可以看出，MapReduce由Map和Reduce两个部分组成。用户只需实现Mapper和Reducer两个抽象类，编写map和reduce两个函数，即可完成简单的分布式程序的开发。这就是最简单的MapReduce编程模型。
2023-12-21 14:44:12
205
原创 Hadoop分布式计算框架（MapReduce）——初识MapReduce
MapReduce 是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集。MapReduce是一个并行程序的计算模型与方法MapReduce是一个并行程序运行的软件框架MapReduce是一个基于集群的高性能并行计算平台。
2023-12-21 14:30:23
65
原创 YARN的调度器
理想情况下，YARN应用发出的资源请求应该立刻给予满足，然而在现实中，资源是有限的。在一个繁忙的集群上，一个应用经常需要等待才能得到所需要的资源。YARN调度器的工作就是根据既定策略为应用分配资源。
2023-09-28 15:06:00
278
原创 YARN的高可用
HA表示高可用，YARN的HA主要指ResourceManager的HA，因为ResourceManager作为主节点存在单点故障，所以要通过HA的方式解决ResourceManager单点故障问题。
2023-09-28 15:03:51
199
原创 YARN的容错性
由于Hadoop致力于通过廉价的商用房服务器提供服务，这样就很容易导致在YARN中运行的各种应用程序出现任务失败或节点宕机，最终导致应用程序不能正常执行的情况。为了更好地满足应用程序的正常运行，YARN通过以下几个方面来保障容错性。
2023-09-28 15:02:40
130
原创 MapReduce ON YARN工作流程
YARN是一个统一的资源调度框架，它可以运行很多种应用程序，如MapReduce、spark、Flink等，接下来以MapReduce为例详细介绍作业在YARN中的工作流程。
2023-09-28 15:01:44
124
原创 YARN架构设计与工作原理
Apache Hadoop另一种资源协调者（YARN）是一种新的Hadoop资源管理器，是一个通用的资源管理系统，可为上层应用提供统一的资源管理和作业调度服务，它的引入为集群在资源利用、资源的统一管理调度和数据共享等方面带来了巨大的好处。
2023-09-28 15:00:37
506
原创 案例实践：Shell定时上传文件至HDFS
公司在线服务器每天都会产生网站运行日志，为了避免单个日志文件过大，日志文件需要每个小时进行回滚，现在要求每小时定时上传日志文件到HDFS集群，后期再使用MapReduce计算框架定时处理日志文件。
2023-09-21 11:48:48
268
原创 HDFS联邦机制
在HDFS联邦机制中，设计了多个相互独立的NameNode（名字节点），这使得HDFS的命名服务能够水平扩展，这些NameNode分别进行各自命名空间和数据块的管理，不需要彼此协调，同时每个NameNode还可以实现HA避免单点故障。每个DataNode（数据节点）要向集群中所有的NameNode注册，并周期性地发送心跳信息和数据块信息，报告自己的状态。
2023-09-21 11:30:42
511
原创 HDFS高可用（HA）
为了整个系统的可靠性，我们通常会在系统中部署两台或多台主节点，多台主节点形成主备的关系，但是某一时刻只有一个主节点能够对外提供服务，当某一时刻检测到对外提供服务的主节点“挂”掉之后，备用主节点能够立刻接替已挂掉的主节点对外提供服务，而用户感觉不到明显的系统中断。这样对用户来说整个系统就更加的可靠和高效。
2023-09-21 11:27:28
718
原创 1. HDFS架构设计与工作原理
副本技术也叫分布式数据复制技术，是分布式计算的一个重要组成部分。该技术允许数据在多个服务器端共享，而且一个本地服务器可以存取不同物理地点的远程服务器上的数据，也可以使所有的服务器均持有数据的副本。通过副本技术，文件系统具有以下优点：（1）提高系统可靠性系统不可避免地会产生故障和错误，拥有多个副本的文件系统不会导致无法访问的情况，从而提高了系统的可用性。另外，系统可以通过其他完好的副本对发生错误的副本进行修复，从而提高了系统的容错性。（2）负载均衡副本可以对系统的负载量进行扩展。
2023-09-19 11:27:29
176
原创 Scala基础（四）
Scala是一种纯粹的面向对象语言，面向对象语言有两个重要的概念：类和对象。其中，类是对象的抽象，也可以把类理解为模板，对象才是真正的实体。class ClassName(参数列表) extends t {一个Scala源文件中可以有多个类，并且Scala类可以有参数。一般，Scala类名的第一个字母需要大写，如果需要使用几个单词构成一个类的名称，那么每个单词的第一个字母都要大写。与Java等其他语言不同的是，Scala中的类不定义为public。
2023-04-05 01:00:00
593
2
原创 Scala基础（三）
Scala的列表（List）与数组非常相似，列表的所有元素都具有相同的类型。与数组不同的是，列表是不可变的，即列表的元素不能通过赋值进行更改。定义列表时，需要写明列表元素的数据类型，或者根据列表初值类型自动推断。具有类型T的元素的列表类型可写为List[T]。【例】分别定义不同数据类型的列表。
2023-04-05 00:45:00
592
原创 Scala基础（二）——if判断和for循环
是常见的for循环，多重循环也称为for循环嵌套，是指在两个或多个区间内循环反复，多个循环区间用分号隔开。定义函数count(area:String)统计广州号码段数量，首先使用一个数组存储数据，初始化sum为0，再遍历该数组，判断数组中的元素是否包含参数area，若是则sum加1。retVar是变量名，for关键字后的括号用于指明变量和条件，而yield会将每一次循环得到的返回值保存在一个集合中，循环结束后将返回该集合，并赋值给变量retVar。Scala中的if判断根据复杂程度可分为if语句、if…
2023-04-05 00:30:00
1045
原创 Scala基础（一）——常用数据类型
在Scala中，使用val关键字定义一个常量，使用var关键字定义一个变量。1.常量 在程序运行过程中值不会发生变化的量为常量或值，常量通过val关键字定义，常量一旦定义就不可更改，即不能对常量进行重新计算或重新赋值。 定义一个常量的语法格式如下。 val关键字后以依次跟着的是常量名、冒号“：”、数据类型、赋值运算符“=”和初始值。 数组是Scala中常用的一种数据结构，数组是一种存储了相同类型元素的固定大小的顺序集合。Scala定义一个数组的语法格式如下。
2023-04-04 16:49:01
774
原创 Scala安装步骤详解
Scala安装步骤详解：1.在网页上运行Scala 2.在Windows系统上安装scala 3.在Linux和macOS系统上安装Scala 4.在软件中安装scala插件 1.下载与安装IDEA 2.scala插件的安装与使用 3.安装完成后测试scala插件
2023-04-04 16:33:41
4072
原创 eclipse如何安装server
在eclipse中想添加配置server的是否，发现Preference目录里并没有Server这个选项，也就是说，我们并没有办法新建服务器。在下拉列表中选择http://download.eclipse.org/releases/mars，，mars是eclipse的版本。选择自己eclipse的版本。Location: http://download.eclipse.org/releases/kepler，之后点击OK。完成后重启eclipse，就可以在preferences里找到server了。
2022-09-07 14:45:40
3323
4
原创 为eclipse添加tomcat插件（eclipse tomcat plugin）
配置后，再按第一个Tomcat按钮（Start Tomcat）即可在eclipse中启动Tomcat，其输出信息会输出到eclipse的console中。打开站点：http://marketplace.eclipse.org/content/eclipse-tomcat-plugin。先点按钮Add...打开Add Repository对话框，再点按钮Archive...定位到你下载的本地包文件，OK。随后，你需要配置一下，打开Windows->Preferences，选择你的tomcat版本和安装目录。
2022-09-07 10:44:02
2120
1
原创 判断文件的几种方法及其优劣对比
上周，我写了⼀篇给Python学习者的⽂件读写指南，跟⼤家⼀起详尽地学习了⽂件读写的基础内容，以及 with语句与上下⽂管理器的进阶知识。 这份指南虽然写得很⽤⼼，但是因为只关注了⽂件读写的核⼼内容，所以也有美中不⾜不处，有些在实战 中所需的知识点没有谈到，例如，为了能够进⾏⽂件读写，⾸先得找到⽂件、⽂件得可读写才⾏。 我们知道当⽂件不存在的时候，open()⽅法的写模式与追加模式都会新建⽂件，但是对⽂件进⾏判断的场 景还有很多，⽐如，在爬⾍下载图⽚的时候，可能需要判断⽂件是否存在...
2021-08-19 09:51:04
322
原创 给Python初学者的⽂件读写指南
对于初学者来说，⼀份详尽⼜清晰明⽩的指南很重要。今天，猫猫跟⼤家⼀起，好好学习Python⽂件读写 的内容，这部分内容特别常⽤，掌握后对⼯作和实战都⼤有益处。学习是循序渐进的过程，欲速则不达。 ⽂章较⻓，建议⼤家收藏，以备复习查阅哦。 1. 如何将列表数据写⼊⽂件？ 2. 如何从⽂件中读取内容？ 3. 多样需求的读写任务 4. 从with语句到上下⽂管理器 ⾸先，我们来看看下⾯这段代码，并思考：这段代码有没有问题，如果有问题的话，要怎么改？ 现在公布答案，这段代码会报错...
2021-06-15 17:11:55
376
1
原创 Python 操作 JSON，⽹络数据交换不⽤愁
今天带⼤家学学 Python 中操作 JSON 的知识。学完本⽂，你可以学到如下内容：1、JSON 是什么？2、JSON 与 XML 的优劣差异？3、将 Python 对象编码成 JSON 字符串4、将已编码的 JSON 字符串解码为 Python 对象5、解决 JSON 中⽂乱码问题JSON 是什么？JSON 的全称是 JavaScript Object Notation，是⼀种轻量级的数据交换格式。最初，JSON 只是JavaScript...
2021-06-08 10:49:12
345
3
原创 学习 Python 列表，只需这篇⽂章就够 了
千⾥之⾏，始于⾜下。要练成⼀双洞悉⼀切的眼睛，还是得先把基本功扎扎实实地学好。今天就带⼤家仔细温习⼀下 Python的列表。当然，温习的同时也要发散思考，因为有些看似⽆关紧要的、约定俗成的语⾔习惯，例如数组索引为何从0开始，其背后可能⼤有来历。最后，在基础知识之上，更要探索进阶，例如学习⽣成器表达式，这样既能更扎实地掌握基础，⼜能融会 贯通，获得更全⾯的认知升级。Python 的列表是怎样的？列表（list）是⼀种有序的集合，可以随时添加、查找和删除元素。 列表⽀持加⼊不同数据类型的元...
2021-05-28 16:55:43
248
4
原创 Python拼接字符串方法总结
这篇文章主要给大家总结介绍了关于Python拼接字符串的7种方法，分别是来自C语言的%方式、format()拼接方式、() 类似元组方式、面向对象模板拼接、join()拼接方式以及f-string方式，文中通过示例代码介绍的非常详细，需要的朋友可以参考下在Python中，我们经常会遇到字符串的拼接问题，几乎任何一种编程语言，都把字符串列为最基础和不可或缺的数据类型。而拼接字符串是必备的一种技能。1、来自C语言的%方式#字符串拼接——占位符print('%s,%s'%('hello','...
2020-09-09 11:53:20
460
原创 一款小巧好用的全局鼠标手势软件——MouseInc
日常操作使用电脑，是离不开键盘和鼠标的，为了提高效率，操作更快捷，我们使用键盘会用很多很多的快捷键，比如Ctrl+C、Ctrl+V等大家熟知的快捷键。键盘都有组合的快捷键，那么鼠标有没类似快捷的操作？当然是有的，那就是利用鼠标手势完成，做到实用便捷且不失逼格。鼠标手势功能，相信大家可能在国产浏览器里见过，比如搜狗浏览器、360极速浏览器等，鼠标右键划一下↓→，就能迅速关闭页面。我目前用的是谷歌浏览器，很可惜的是，谷歌浏览器没有鼠标手势功能，还需要安装插件才能实现。推荐一款完全免费的全局鼠标手
2020-08-07 14:38:38
3970
1
原创 计算机科学第四讲——二进制
00:46 用十进制举例二进制的原理，演示二进制加法。存储单位 MB GB TB 等05:30 正数，负数，整数，浮点数的表示07:20 美国信息交换标准代码 - ASCII, 用来表示字符09:00 UNICODE 1992 年诞生，是字符编码标准， 解决 ASCII 不够表达所有语言的问题今天，我们讲计算机如何存储和表示数字，所以会有一些数学，不过别担心，你的数学水平绝对够用了。1、十进制举例二进制的原理，演示二进制加法上一讲讲了，怎么用晶体管做逻辑门，逻辑门可以判断布尔语句。布尔代数只有两
2020-08-06 12:28:52
1129
原创 grep、sed、awk——高效文件处理3剑客
目录grep简介实际使用小结sedawk名字由来强大的文本处理工具语法域模式&动作结合正则复合表达式printf 格式化输出内置变量内置函数awk脚本grep、sed、awk我们叫他们三剑客，掌握它们可以更好的运维，提升工作效率，即使不是运维，对我们处理数据都是非常方便的～就很多数据处理来讲，写程序肯定是也能处理的，但是远没有已经存在特定功能的命令更高效，我们只需要操作命令即可。grep简介grep是一款强.
2020-08-06 00:25:21
506
原创 计算机科学第三讲——布尔逻辑和逻辑门
目录1、二进制2、布尔逻辑3、NOT4、AND5、OR6、XOR今天我们开始讲"抽象"，不用管底层细节，把精力用来构建更复杂的系统。1、二进制上一讲，我们讲了计算机最早是机电设备，一般用十进制计数——比如用齿轮数来代表十进制，再到晶体管计算机。幸运的是，只用 开/关 两种状态也可以代表信息，这叫 二进制——意思是"用两种状态表示"。就像自行车有两个轮，双足动物有两条腿，你可能觉得两种状态不多，你是对的！但如果只需要表示 true 和 false，两个值就够了。电路闭合，电
2020-08-06 00:18:39
1358
原创 计算机科学第二讲——电子计算机
目录1、最大的机电计算机之一——哈佛 Mark 1 号2、继电器3、继电器出“bug”4、热电子管——第一个真空管5、三极真空管6、"巨人1号" 计算机——首次大规模使用真空管7、ENIAC ——第一个通用可编程计算机8、晶体管9、“硅谷”——肖克利半导体 → 仙童半导体 → 英特尔提到的设备：继电器 → 真空管 → 晶体管上一讲讲到 20 世纪初，当时的早期计算设备都针对特定用途 比如 制表机，大大推进了政府和企业。它们帮助, 甚至代替了人工，然而人类社会的规.
2020-08-05 12:12:11
631
原创 Linux面试必备基础知识(十二）——备份压缩命令
三、安全1. 一台 Linux 系统初始化环境后需要做一些什么安全工作？1、添加普通用户登陆，禁止 root 用户登陆，更改 SSH 端口号。 修改 SSH 端口不一定绝对哈。当然，如果要暴露在外网，建议改下。 2、服务器使用密钥登陆，禁止密码登陆。 3、开启防火墙，关闭 SElinux ，根据业务需求设置相应的防火墙规则。 4、装 fail2ban 这种防止 SSH 暴力破击的软件。 5、设置只允许公司办公网出口 IP 能登陆服务器...
2020-08-02 12:00:26
262
MouseInc2.10.21.7z
2020-08-07
Cameyo单文件打包制作v3.1.1530.0.7z
2020-08-06
mini虚拟机安装，ssh免密登录，软件安装
2018-11-07
Linux系统安装加载与基本命令操作
2018-11-07
sqoop基本概念
2018-10-22
mapreduce高级特性3
2018-10-22
mapreduce高级特性2
2018-10-22
mapreduce高级特性及shuffle
2018-10-22
初三信息技术复习资料-学校内部使用.pdf
2021-12-09
python学习书籍介绍.rar
2021-08-19
2021青少年机器人比赛.zip
2021-06-15
人工智能实战与应用课件与代码.zip
2020-08-29
Typore破解版
2018-11-07
Linux脚本awk
2018-11-07
Linux -- 网络篇
2018-11-07
Linux的shell脚本
2018-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人