悟空的博客

原创 运行jar显示无法加载主类问题

原创 idea下maven打jar包

方式一：  方式二:有风险，有坑，会出现nomainclass错误

原创 史上最标准idea创建maven项目

原创 HDFS的核心设计

Hadoop心跳机制（heartbeat） 1、 Hadoop 是 Master/Slave 结构，Master 中有 NameNode 和 ResourceManager，Slave 中有 Datanode 和 NodeManager2、 Master 启动的时候会启动一个 IPC（Inter-Process Comunication，进程间通信）server 服 务，等待 slave ...

原创 HDFS的shell操作

HDFS 的 shell操作常用命令参数介绍：-help 功能：输出这个命令参数手册[hadoop@hadoop02 ~]$ hadoop -help[hadoop@hadoop02 ~]$ hadoop fs -help[hadoop@hadoop02 ~]$ hadoop fs -help ls-ls 功能：显示目录信息 示例： hadoop fs -ls hdfs...

原创 HDFS技术原理

什么是HDFS？HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，运行在通用硬件平台上的分布式文件系统。hdfs的优点：可构建在廉价机器上，成本低。 高容错性， 通过多副本提高可靠性，提供了容错和恢复机制。 适合离线批处理，不适合处理实时数据。 移动计算：数据在哪里，计算就到哪里，计算跟着数据跑。 适合海量数据处理...

原创 Hadoop的产生背景

Hadoop的产生HADOOP最早起源于Nutch。 Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能， 但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2003年谷歌发表了三篇论文：GFS——Google FileSystem   描述数据存储的思想，解决了海量数据如何存储的问题。MapReduce——...

原创 Python程序入门

在 Python 交互式命令行下，可以直接输入代码，然后执行，并立刻得到结果。如果要让 Python 打印出指定的文字，可以用 print()函数，然后把希望 打印的文字用单引号或者双引号括起来，但不能混用单引号和双引号：在 Python 的交互式命令行写程序，好处是一下就能得到结果，坏处是 没法保存，下次还想运行的时候，还得再敲一遍。实际开发的时候，我们总是使用一个文本编辑器来写...

原创 Python 解释器

当我们编写 Python 代码时，我们得到的是一个包含 Python 代码的以.py 为扩展名的文本文件。要运行代码，就需要 Python 解释器去执行.py 文 件。Python有以下几种解释器CPython 从 Python 官方网站下载并安装好 Python 3.5 后，我们就直接获得 了一个官方版本的解释器：CPython。这个解释器是用 C 语言开发的， 所以叫 CP...

原创 Python安装

说明： Python是跨平台的，它可以运行在Windows、Linux 系统上。在 Windows 上写 Python 程序，放到 Linux 上也是能够运行的。 Python 有两个版本，一个是 2.x 版，一个是 3.x 版，可惜不兼容。由于 3.x 版越来越普及，我用Python 3.5 版本 Windows版本安装安装包下载网盘下载：https://pan.bai...

原创 从宏观上初识Python

Python是个啥？Python 是一种计算机程序设计语言。 Python和C 语言， Java，JavaScript等编程语言的关系，就像汉语和英语，法语，德语等语言的关系。为什么需要编程语言呢？因为我们要想让计算机按我们的意愿去工作，必须通过编程语言来和计算机交流，不管使用哪种编程语言，最终必须要翻译成CPU认识的机器语言。而对于同一个任务，不同的编程语言各有各的特点。那么Py...

原创 Java switch case 语句

switch caseswitch case 语句判断一个变量与一系列值中某个值是否相等，每个值称为一个分支。语法switch case 语句语法格式如下：switch(expression){    case value :       //语句       break; //可选    case value :       //语句       break; //可选  ...

原创 Java 条件语句 - if...else

if 语句的语法如下：if(布尔表达式){   //如果布尔表达式为true将执行的语句}public class Test { public static void main(String args[]){ int x = 10; if( x < 20 ){ System.out.print("我不是黄蓉"); ...

原创 Java 循环结构

Java中有三种主要的循环结构：while 循环 do…while 循环 for 循环while 循环结构为：while( 布尔表达式 ) {  //循环内容}只要布尔表达式为 true，循环就会一直执行下去。public class Test {   public static void main(String args[]) {      int x = 10;...

原创 Java 运算符和优先级

算术运算符算术运算符用在数学表达式中，它们的作用和在数学中的作用一样1、自增（++）自减（--）运算符是一种特殊的算术运算符，在算术运算符中需要两个操作数来进行运算，而自增自减运算符是一个操作数。注意：int b = ++a; 拆分运算过程为: a=a+1=4; b=a=4, 最后结果为b=4,a=4            int d = --c; 拆分运算过程为: c=c...

原创 Java变量和常量的定义及初始化

一、变量    1.变量的定义          变量是内存中的一个存储区域，该区域有自己的名称（变量名）和类型（数据类型），Java中每个变量必须先声明，后使用， 该区域的数据可以在同一类型范围内不断变化。    2.变量的分类        1）按数据类型               对于不同的数据类型，在内存中分配了不同大小的内存空间               数据...

原创 Java 基本数据类型和引用数据类型

一，Java 基本数据类型当创建变量的时候，需要在内存中申请空间。内存管理系统根据变量的类型为变量分配存储空间，分配的空间只能用来储存该类型数据。Java语言提供了八种基本数据类型。六种数字类型（四个整数型，两个浮点型），一种字符类型，还有一种布尔型。byte：byte 数据类型是8位、有符号的，以二进制补码表示的整数； 最小值是 -128（-2^7）； 最大值是 127（2^...

原创 Java的注释，标识符及命名规范

一，Java的注释Java注释有三种：单行注释：快捷键Ctrl+/再次按撤销注释一般用来注释局部变量多行注释：Ctrl+shift+/      撤销Ctrl+shift+\可用来注释文件头、算法实现、方法中的复杂代码块、修改记录文档注释：shift+alt+j   可用来注释类、接口、静态方法、成员方法、静态变量、成员变量、常量二，常见注释1、类注...

原创 Java开发环境搭建之JDK下载安装与环境变量配置

1，JDK下载https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html根据自己的系统版本下载对应的包2，JDK安装建议单独创建文件夹，例如：Java，文件夹名称不要带有空格和汉字，分门别类，便于管理。jdk安装完成后，会继续让安装jre，直接安装就行，和jdk放在...

原创 彻底搞懂JDK、JRE、JVM三者间的关系

JVM ：英文名称（Java Virtual Machine）Java 虚拟机。它的作用是识别xxx.class 类型的文件，并将 class 文件中的字节码指令进行识别并调用操作系统向上的 API 完成动作。JRE ：英文名称（Java Runtime Environment）Java 运行时环境。它主要包含两个部分，jvm 和 Java 的一些基本类库。它比 jvm 多一部分的 Jav...

原创 DOS常用命令

启动方式1：进入DOS页面：win+R；键入：cmd启动方式2：“开始”→“运行”→输入“cmd”回车，此时将出现一个显示命令提示符的窗口，如下图。1，help命令：help ——》查看所有命令帮助；help 某某某——》 查看具体某个命令的帮助2，dir命令该命令显示一个目录下的文件和子目录列表以及文件的其他详细资料，包括文件大小，创建日期和时间等。语法是：...

原创 计算机产生背景和编程语言分类

计算机的产生计算机（computer）俗称电脑，是现代一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。由硬件系统和软件系统所组成，没有安装任何软件的计算机称为裸机。可分为超级计算机、工业控制计算机、网络计算机、个人计算机、嵌入式计算机五类，较先进的计算机有生物计算机、光子计算机、量子计算...

原创 mysql5.7.21 安装步骤和错误解决

## 第一步下载安装vc_redist.x64 vc_redist.x64 安装过程中会出现api-ms-win-crt-runtime-|1-1-0.dll丢失的问题下载这个版本应该没毛病，看清自己系统版本[添加链接描述](https://download.microsoft.com/download/9/3/F/93FCF1E7-E6A4-478B-96E7-D4B285925B00/v...

原创 Hadoop,Spark生态图