- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅翻译 Bash中文手册
NAMEbash - GNU Bourne-Again SHell (GNU 命令解释程序 “Bourne二世”)概述(SYNOPSIS)bash [options] [file]版权所有(COPYRIGHT)Bash is Copyright © 1989-2002 by the Free Software Foundation, Inc.描述(DESCRIPTION)Bash 是一个与 sh 兼容的命令解释程序，可以执行从标准输入或者文件中读取的命令。 Bash也整合了 Korn 和
2021-03-14 22:22:30
1444
原创 Spark中什么是RDD，什么是算子
Spark中什么是RDD，什么是算子RDD(Resilient Distributed Dataset)，弹性分布式数据集。 RDD理解图 RDD是Spark数据结构最基本的抽象化概念之一。 本质上 RDD是不存数据的，存的是计算逻辑，打个比方： 有一个流水线工厂里面有工人RDD1、RDD2、RDD3当一个工件下来时RDD1做的是flatMap（）加工，做完之后，被加工后的工件传到RDD2那边做map（）加工，之后再传给RDD3做一些其他加工。 直到工件加工完成 出货为止。。。
2021-03-08 20:02:23
889
原创 Spark——WordCount详解
WordCount详解scala代码object WordCount extends App{ //1.创建`SparkConf`对象（环境构建 设置相关配置信息） private val conf = new SparkConf() //2.对conf进行设置 conf.setMaster("local").setAppName("wc") //3.基于配置好的conf创建spark上下文运行环境 private val sc = new SparkContext(conf)/
2021-03-08 12:01:14
567
原创 Scala——隐式转换
概念隐式转换是在Scala编译器进行类型匹配时，如果找不到合适的类型，那么隐式转换会让编译器在作用范围内自动推导出来合适的类型。隐式值与隐式参数隐式值是指在定义参数时前面加上implicit。隐式参数是指在定义方法时，方法中的部分参数是由implicit修饰【必须使用柯里化的方式，将隐式参数写在后面的括号中】隐式转换作用就是：当调用方法时，不必手动传入方法中的隐式参数，Scala会自动在作用域范围内寻找隐式值自动传入。 //隐式值 注意隐式参数和隐式值的类型要一致 implicit val
2021-03-05 20:36:33
71
原创 MapReduce
MapReduce什么是MapReduce（分布式计算系统）？mapreduce是一种分布式运算程序的编程模型，用于大规模数据集（大于1TB）的并行运算。必须构建在hdfs之上，一种大数据离线计算框架概念MR有两个阶段组成：Map和Reduce，用户只需实现map（）和reduce（）两个函数，即可实现分布式计算。map–>映射(key value)reduce–>归纳核心功能核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 had
2021-01-27 21:29:38
183
原创 Nginx
什么是NginxNginx是一个web服务器和反向代理服务器，用于HTTP、HTTPS、SMTP、POP3和IMAP协议。其特点是占有内存少，并发能力强Nginx 的主要功能作为 http server (代替 Apache ，对 PHP 需要 FastCGI 处理器支持)FastCGI：Nginx 本身不支持 PHP 等语言，但是它可以通过 FastCGI 来将请求扔给某些语言或框架处理。反向代理服务器、实现负载均衡、虚拟主机Nginx 常用命令启动 (配置了环境变量) nginx停止 ng
2021-01-17 22:00:49
338
2
原创 Linux 的常用命令(2)、Linux的三剑客、Linux的Shell编程
Linux(2)Linux 的常用命令管道与重定向管道：将前面命令的结果作为参数传递给后面的命令grep :文本搜索工具grep的-A, -B, -C选项分别可以显示匹配行的后,前,后前多少行内容ps -ef | grep 程序名**重定向：**改变数据输出的位置，方向0 in 1 out 2 errls / 1> sxt 标准输出ls / > sxt 标准输出ls abcd 2>sxt 错误输出> 替换 >> 追加ls / 1>>
2021-01-17 17:09:48
110
原创 什么是Linux、linux 的文本模式介绍、Linux常用命令（1）
Linux(1)什么是Linuxlinux 简介Linux操作系统的主要用途：主要用于服务器，特别是网络服务器两种常见的桌面环境：KDE和GNOME。Linux的定义：Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。linux 的创始人 Linus torvalds。linux 与 windows（https://www.cnblogs.com/testertechnology/p/10981183.htm
2021-01-17 17:03:25
1062
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人