落落free-CSDN博客

原创集群三部曲：全分布模式

集群三部曲：全分布模式文章目录集群三部曲：全分布模式1.免密登录三台机器SSH（Secure Shell）2.搭建过程：3.集群启动及测试Cloud01Cloud02Cloud03*！准备三台干净的机器Cloud01、Cloud02、Cloud03 ，并且做好准备工作（请参考集群三部曲之准备工作）。~单机模式~伪分布模式1.免密登录三台机器SSH（Secure Shell）（请查看...

2019-04-13 14:16:34 1460 1

原创 Scala的安装及环境配置

Scala的安装及环境配置文章目录Scala的安装及环境配置1.安装Scala到C盘上2.配置本地环境变量3.检测是否安装完成4.在idea中运行scala5.在本地后台运行Scala的jar包1.安装Scala到C盘上（Scala绿色版压缩包提取码：346r ）2.配置本地环境变量3.检测是否安装完成4.在idea中运行scala（1）新建一个maven项目（...

2019-04-08 16:12:19 4468 1

原创 SSH免密登录原理及步骤

SSH免密登录原理及步骤文章目录SSH免密登录原理及步骤1.什么是SSH?2.SSH的两种认证方式3.SSH背景4.SSH（Secure Shell）最基本的用法：5.SSH密钥登录原理6.密钥登录的操作步骤1.什么是SSH?简单说，SSH是一种网络协议，用于计算机之间的加密登录。• 如果一个用户从本地计算机，使用SSH协议登录另一台远程计算机，就可以认为，这种登录是安全的，即使被中途...

2019-03-05 19:21:35 4586 2

原创集群三部曲之准备工作：Linux端安装jdk和Hadoop

集群三部曲之准备工作1.使用root用户设置hyn用户(自己的用户名)具有root权限：修改 /etc/sudoers 文件，找到下面一行，在root下面添加一行，如下所示：## Allow root to run any commands anywhereroot ALL=(ALL) ALLhyn ALL=(ALL) ALL修改完毕，现在可以用hyn帐...

2019-03-05 15:20:47 774 10

JavaScript基础Day06：内置对象文章目录JavaScript基础Day06：内置对象如何学习一个方法？一、Math对象二、Date对象三、String对象四、Array对象五、基本包装类型JavaScript中的对象分为3种：内置对象、浏览器对象、自定义对象JavaScript 提供多个内置对象：Math、Array、Number、String、Boolean…对象只是带有属性和方法的特殊数据类型。如何学习一个方法？方法的功能参数的意义和类型返回值意义和类型demo进行测试

2021-10-12 18:08:18 175

原创 JavaScript基础Day05：对象

JavaScript基础Day05：对象文章目录JavaScript基础Day05：对象一、对象1. 创建对象2. 自定义构造函数创建对象3. 通过字面量创建对象4. new关键字5. this关键字二、对象的使用1. 获取属性（两种写法）2. 遍历对象的属性：使用for-in语法3. 简单类型和复杂类型一、对象 JavaScript的对象是无序属性的集合。其属性可以包含基本值、对象或函数。对象就是一组没有顺序的值。我们可以把JavaScript中的对象想象成键值对，其中值可以是数据和函数。（特征

2021-10-10 23:29:10 178

原创 JavaScript基础Day04

JavaScript基础Day04文章目录JavaScript基础Day04一、函数1. 函数的定义2. 函数声明3. 函数表达式4. 函数调用5. 函数的参数6. 函数的返回值7. arguments的使用8. 案例二、作用域1. 全局变量和局部变量2. 作用域链三、预解析一、函数1. 函数的定义把一段独立的具有特定功能的代码封装起来，形成一个独立实体，就是函数（封装一段代码，方便后续使用）。2. 函数声明```function 函数名() { //函数体}```3. 函数表

2021-10-10 21:00:30 165

原创 JavaScript基础Day03：数组和函数

JavaScript基础Day03文章目录JavaScript基础Day03一、关键字break和continue二、数组1. 数组的定义2. 数组的概念3. 创建数组4. 遍历数组5. 重点：冒泡排序三、函数1. 参数2. 返回值一、关键字break和continuebreak：立即跳出整个循环，即循环结束，开始执行循环后面的内容。（跳出当前循环）continue：结束本次循环，开始下一轮循环 demo01：求100-200之间除去尾数是3的和(用continue) var sum

2021-09-30 13:20:32 151

原创设置WebStorm，新建文件有固定代码~

设置路径File - Settings - 搜索Code Templates - 找到File and Code Templates 更改对应的文件模板就可以（记得确定）模板参考<!DOCTYPE html><html lang="zh-CN"><head> <meta charset="UTF-8"> <title></title></head><body>..

2021-09-29 13:00:05 247

原创 JavaScript基础Day02：流程控制

文章目录1. 顺序结构2. 分支结构（1）if语句（2）switch语句3. 循环结构（1）while语句（2）do-while语句（3）for循环1. 顺序结构2. 分支结构（1）if语句if (/* 条件表达式 */) { // 执行语句}if (/* 条件表达式 */){ // 成立执行语句} else { // 否则执行语句}if (/* 条件1 */){ // 成立执行语句} else if (/* 条件2 */){ // 成立执行语句} else i

2021-09-28 23:35:42 99

原创 JavaScript基础Day01：变量和数据类型

文章目录一、js简介二、变量1. 什么是变量2. 为什么使用变量3. 如何使用变量4. 变量的命名规则三、数据类型1. Number类型2. String类型3. Boolean类型4. Undefined和Null类型四、注释五、类型转换1. 其他类型转数字类型2. 其他类型转字符串类型3. 其他类型转布尔类型六、操作符一、js简介 JavaScript是运行在客户端（浏览器）的编程语言是一种脚本语言是一门解释性语言是一门动态类型语言是一门基于对象的语言（可百度了解js的历史）二

2021-09-28 14:02:04 123

原创 Linux的root密码忘记了怎么办？用这一招

Linux的root密码忘记了怎么办？用这一招文章目录Linux的root密码忘记了怎么办？用这一招一、Linux系统的运行级别二、找回丢失的root密码有的时候我们将Linux虚拟机的root密码忘记了咋整？这个是有解决办法滴，不过在解决这个问题之前，我们先要知道一个知识点——Linux系统的运行级别。一、Linux系统的运行级别Linux系统的运行级别分为：关机...

2019-11-28 17:09:25 337

原创 Linux：1.安装VMware步骤

安装虚拟机软件VMWare这里VMWare12版本为例安装下载好的虚拟机软件如果正常安装不成功，就进入Bios中设置Virtualization -> 【Enable】激活VMware输入激活码： 5A02H-AU243-TZJ49-GTC7K-3C61N...

2019-11-28 15:05:45 260

原创 JavaWeb入门：第一章 HTML基础

第一章 HTML基础文章目录第一章 HTML基础1. HTML常用标签2. 表格3. 表单4. 最重要的元素Div和span5. 转义字符定义：超文本标记语言(Hyper Text Markup Language)，是一种标签语言，不是编译型语言，也不是编程语言。超文本: 比普通文本功能更加强大,可以添加各种样式标记语言: 通过一组标签.来对内容进行描述. <关键字> ,...

2019-08-10 13:30:09 378

原创 hive多窗口遇到java.sql.SQLException 异常

hive多窗口遇到java.sql.SQLException 异常多打开一个客户端窗口启动 hive，会产生 java.sql.SQLException 异常文章目录hive多窗口遇到java.sql.SQLException 异常Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeExcep...

2019-06-24 19:43:29 616

原创惠普笔记本重装win10系统教程

惠普PAVILION 15-AU034TX（X0S89PA）重装系统教程文章目录惠普PAVILION 15-AU034TX（X0S89PA）重装系统教程1. Bios设置启动盘2. 开始重装系统操作3. 电脑基本设置4. 激活win10系统首先，烧制U盘的工作先做好，插入U盘。（烧制U盘教程后续补上。。。）1. Bios设置启动盘开机按下 esc+F9 （各种电脑型号不同时，快捷键不...

2019-06-21 11:29:40 11122 3

转载 Java中URI 和 URL 的区别

URI 和 URL 的区别文章目录URI 和 URL 的区别1. URI2. URL3. 总结参考文章：https://blog.csdn.net/zcc7up/article/details/735512501. URI表示一个统一资源标识符引用，Uniform Resource Identifiers① URI 提供一个 toURL() 方法将 URI 转化成一个 URL...

2019-06-17 16:56:44 6833

原创 URISyntaxException

Exception in thread “main” java.net.URISyntaxException: Illegal character in opaque part at index 2: D:\BaiduNetdiskDownload\input\out1文章目录Exception in thread "main" java.net.URISyntaxException: Ill...

2019-06-17 16:26:53 5132

原创 Python小项目：爬虫

Python小项目：爬虫文章目录Python小项目：爬虫一、环境搭建二、离线安装selenium三、配置webdriver四、练习一、环境搭建浏览器：FireFox_v66.0.5_x64.zip（火狐浏览器）提取码：2zk0三方库selenium：selenium-3.141.0.tar.gz 提取码：anq9与浏览器版本对应的webdriver：geckodri...

2019-06-11 18:48:28 617

原创 Python基础入门(3)

Python基础入门(3)文章目录Python基础入门(3)1. 迭代器2. 判断数据对象类型3. 异常4. Python文件的读写5. 数据操作1. 迭代器(1) 判断一个数据是否可以迭代(2) 使用一定方法执行迭代操作2. 判断数据对象类型isinstance() 函数判断是否可以迭代3. 异常try: 代码一except 异常类型: 代...

2019-06-11 16:58:09 172

原创 Python基础入门(2)

Python基础入门(2)文章目录Python基础入门(2)一、字符串的操作1. 截取2. 索引二、循环语句(遍历)1. while循环2. for循环三、运算符1. 赋值运算符2. 比较运算符3. 成员运算符四、if判断语句五、类型的强制转换练习：六、列表1. 定义2. 常用方法3. 列表内置方法七、元组八、字典九、函数一、字符串的操作print(myStr[0])print(myS...

2019-06-11 16:53:38 234

原创 Python基础入门(1)

Python基础入门(1)文章目录Python基础入门(1)1. 注释2. 变量及数据类型3. 标识符和关键字4. 函数5. Python文件的读写python解释器：Anaconda3-5.2.0-Windows-x86_64.exePython IDE：pycharm-professional-2017.2.3.exepython语言是一种解释型语言（不需要编译，可以直接执行）...

2019-06-06 20:57:34 155

原创 Flume之：二、企业开发案例

Flume之：二、企业开发案例文章目录Flume之：二、企业开发案例三、企业开发案例1. 监控端口数据官方案例2. 实时读取本地文件到HDFS案例3. 实时读取目录文件到HDFS案例4. flume监控Kafka—>Spark知识点总结导航<—三、企业开发案例1. 监控端口数据官方案例(1) 案例需求：首先，Flume监控本机44444端口，然后通过telnet工具向本...

2019-05-31 19:48:15 232

原创 Spark Streaming之：三、DStream转换

Spark Streaming之：三、DStream转换文章目录Spark Streaming之：三、DStream转换1. DStream转换2. DStream转换操作状态—>Spark知识点总结导航<—1. DStream转换a. 是Spark streaming数据的表现形式b. DStream上的原语分为Transformation（转换）和output op...

2019-05-31 19:17:04 1546

原创 Spark Core：第五章共享变量

Spark Core：第七章共享变量文章目录Spark Core：第七章共享变量一、广播变量二、累加器三、知识点补充1. PV&UV2. 面试简答3. 端口总结—>Spark知识点总结导航<—一、广播变量1. 当Executor端使用到了Driver的变量 (1) 不使用广播变量，Executor中有多少task就有多少变量副本 (2) 使用广播变...

2019-05-26 21:12:08 200

原创 Spark Core：第四章 RDD

Spark Core：第六章 RDD文章目录Spark Core：第六章 RDD一、RDD简介1. RDD是spark的核心2. RDD基本原理3. RDD特性4. RDD的宽窄依赖二、RDD的创建1. 从文件创建2. 通过集合创建3. 从其他RDD转化(转换算子)4. 创建指定分区的RDD5. 键值对RDD三、RDD五大特性四、RDD的基本问题1.K,V格式的RDD是什么?2.sc.text...

2019-05-26 21:00:42 536

原创 Spark Core：第三章 spark shuffle

Spark Core：第五章 spark shuffle文章目录Spark Core：第五章 spark shuffle一、HashShuffle1. 普通机制2. 合并机制二、SortShuffle1. 普通机制2. bypass机制三、Shuffle 文件寻址1. 对象2. 过程四、Spark 内存管理1. 静态内存管理2. 统一内存管理五、Spark Shuffle调优—>S...

2019-05-26 19:30:33 199

原创 Spark Core：第一章 Spark Shell

Spark Core：第四章 spark shell文章目录Spark Core：第四章 spark shell一、关于spark-shell二、启动spark-shell三、spark-shell中编写WordCount程序1. 启动HDFS2. 上传文件到HDFS3. spark-shell中编写程序4. hdfs命令查看结果四、IDEA中编写WordCount程序1. 配置maven配置...

2019-05-26 19:08:16 330

原创 Spark基础：第一章 spark概述

Spark Core：第一章 spark概述文章目录Spark Core：第一章 spark概述一、spark是什么？二、为什么用spark？1. 特点2. MapReduce 与 Spark 对比三、spark生态系统1. 原理2. 组件四、spark中的基本概念五、spark架构设计一、spark是什么？基于内存计算的大数据并行计算框架背景(1) 于2009年开发，可用于构建大...

2019-05-24 21:01:50 571

原创 Spark知识点总结导航

Spark知识点总结导航文章目录Spark知识点总结导航- Spark Core第一章 Spark概述- Spark SQL- Spark Streaming- Kafka- Flume- Spark Core第一章 Spark概述- Spark SQL- Spark Streaming- Kafka- Flume...

2019-05-24 20:42:40 645

原创 Flume之：一、概述及安装部署

Flume概述及安装部署文章目录Flume概述及安装部署一、概述1. Flume定义2. flume的组成架构3. Flume拓扑结构4. Flume Agent内部原理二、Flume的安装1. Flume安装地址2. 安装部署Q：Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty...

2019-05-23 20:50:29 319

原创 Spark Streaming之：二、基本输入源

Spark系列之：Spark Streaming基本输入源文章目录Spark系列之：Spark Streaming基本输入源一、文本文件输入源（数据实时采集）1. 基本步骤2. Spark-shell操作3. IDEA程序4. spark提交流计算任务二、socket输入源1.使用套接字流作为数据源2.编写程序3.打包上传执行三、队列流输入源一、文本文件输入源（数据实时采集）1. 基本步...

2019-05-23 20:12:05 1845

原创 Kafka之四：Kafka与Streaming集成

Kafka之四：Kafka与Streaming集成文章目录Kafka之四：Kafka与Streaming集成1. 修改IEDA的maven配置2. 程序一3. 程序二：统计次数4. 提交任务可能遇到的错误spark官网Kafka作为spark Streaming的一种输入源，当Kafka和Streaming集成时充当消费者角色。（请了解Kafka命令操作）1. 修改IEDA的ma...

2019-05-21 12:57:28 695

原创 Kafka之三：Kafka集群工作流程

Kafka之三：Kafka集群工作流程文章目录Kafka之三：Kafka集群工作流程一、工作流程分析1. producer写入流程2. 分区（Partition）3. 副本（Replication）4. Broker 保存消息5. Zookeeper存储结构二、Kafka消费过程分析1. 高级API2. 低级API3. 消费组4. 消费方式5. 消费者组案例一、工作流程分析1. prod...

2019-05-21 12:40:01 1910

原创 Kafka之二：Kafka集群的安装

Kafka之：Kafka集群的安装文章目录一、Kafka集群的安装二、Kafka命令行操作一、Kafka集群的安装1.解压、删除、重命名2.在kafka文件下建一个文件夹logsmkdir logs3.修改配置文件vim server.properties 参数解读：(修改***部分) *** #broker的全局唯一编号，不能重复 broke...

2019-05-17 20:38:06 432

原创 Kafka之一：Kafka简述

Kafka之：Kafka简述文章目录Kafka之：Kafka简述一、消息队列1. 消息队列简述2. 消息队列的特点二、Kafka简述1. 什么是Kafka2. Kafka的基本概念3. Kafka的partitions设计目的4. Kafka的Message5. Kafka设计原理实现6. Kafka的存储策略三、Kafka架构1. Kafka系统架构2. Kafka部署架构3. Kafka集...

2019-05-17 19:49:06 990

原创大数据入门：WordCount程序解析

大数据入门：WordCount程序解析文章目录大数据入门：WordCount程序解析一、输入二、程序解析三、输出四、需要注意的地方为一个顽固的家伙写的，都要考试了还不让我给详细讲一下，我就想白眼死你！！！一、输入输入源可以是一个文件，也可以是包含多个文件的文件夹。具体的只需要在程序的文件输入路径中指定就可以。这里以一个txt文件为例：二、程序解析（1）我们需要了解MapRed...

2019-05-14 10:59:21 2423

原创 Spark Streaming之：一、概述介绍

Spark系列之：Spark Streaming(1)文章目录Spark系列之：Spark Streaming(1)一、流计算简介1. 流数据的特征2. 流计算3. 流计算框架4. 流计算的处理流程二、Spark Streaming1. Spark Streaming的设计2. Spark Streaming与Storm的对比3. 从“Hadoop+Storm”架构转向Spark架构4. Sp...

2019-05-13 18:06:19 418

原创 Spark SQL之：概述及操作应用

Spark系列之：Spark SQL(2)文章目录Spark系列之：Spark SQL(2)四、RDD转换为DataFrame1. 利用反射机制解析RDD2. 使用编程方式定义RDD模式五、使用Spark SQL读写数据库(MySQL)六、使用spark sql写入MySQL数据库七、通过spark sql将数据写入hive四、RDD转换为DataFrame1. 利用反射机制解析RDD...

2019-05-10 15:28:00 367

原创 Spark Core：第二章 spark集群遇到的问题解决

spark集群遇到的问题解决文章目录spark集群遇到的问题解决Q1：Standalone模式提交任务Q2：YARN模式提交任务Q3：Yarn application has already ended!Q4：执行Yarn模式Q5：webui端的alive worker节点显示为0Q1：Standalone模式提交任务错误描述：19/05/01 05:34:01 ERROR Spa...

2019-05-02 18:49:03 882

Maven本地库

空空如也