阿宾571-CSDN博客

原创 spark编程基础(算子详解)

包括spark的简介、安装启动等基本介绍对RDD及相关概念的解析对Transformation算子和action算子的详细介绍

2020-12-27 09:06:38 1313

原创 JAVAEE---javaweb和SpringBoot

JavaEE和SpringBoot一 JavaEE基础知识1.分层框架客户端访问—>表现层/控制层 : 总servlet(拦截所有请求并调用方法处理)—>业务层 : service(处理需求)—>持久层/数据访问层 : dao(写底层方法,减少冗余代码)2.MVC模式model : 数据模型，方便各层级之间传递数据view：页面（展示数据）controller：控制器（控制请求与输出，使流程更加清晰）3.Maven项目Maven可以创建java项目、Web项

2020-12-12 22:50:16 3312

原创 ClickHouse02---ClickHouse的入门学习

ClickHouse的应用详情访问主页：https://clickhouse.tech/docs/v20.3/en/启动服务端service clickhouse-server start启动交互式客户端clickhouse-client支持多行输出:clickhouse-client -m一数据库和表1.数据库的操作创建数据库 create database db_name;切换数据库 use db_name;查看当前数据库 select curre

2020-12-09 12:05:37 578

原创 Hadoop07---Hive基础

HIVE一 hive的启动与连接使用hive的前提：安装好sql、hadoop、hdfs、yarn1.启动hive初始化：只执行一次，执行过后，后面再次启动时不需要执行在bin目录下执行：schematool -initSchema -dbType mysql开启元数据服务前台启动：hive --service metastore后台启动：hive --service metastore &直接启动：hive远程

2020-11-29 20:42:36 1217

原创 Hadoop06---Hbase基础

HBASE基础region核心知识：表的行范围数据，将一张大的表格划分成多个region，将region分配给不同的regionserver及其管理分布式数据库region中有：store — 一个列族对应一个storememorystore — 写数据的内存对象，对整个hfile中的数据排序WALG 记录用户的操作行为storefile 内存对象flush到hdfs中形成hfile文件，storefile就是hfile的抽象对象blockCache 提升查询效率names

2020-11-29 12:36:01 602

原创 MySQL02---JDBC

JDBC##一 JDBC简介JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更高级的工具和接口，使数据库开发人员能够编写数据库应用程序###1.JDBC基本实现步骤1.创建一个Java项目2.导入Mysql连接的jar包（驱动包）3.注册驱动4.获得与数据库的链接5.创建代表发送和执行SQL语句的对象

2020-11-28 10:05:01 67

原创 MySQL01---MySQL基本语法

MySQL基本语法一数据类型类型描述int整型，和java中的int类型一样；double浮点型，例如double(5,2)表示该列存放的数据最多是5位，而且其中必须有2位小数，它的最大值是：999.99；decimal浮点型，用于保存对准确精度有重要要求的值，例如与金钱有关的数据。char (120)固定长度字符串类型，如果没有指定长度，默认长度是255，如果存储的字符没有达到指定长度，mysql将会在其后面用空格补足到指定长度；varchar(1

2020-11-28 09:00:46 320

原创 Hbase---布隆过滤器分析

Hbase文件存储特点：同一个region的文件按照列族存储，而不是按行存储；也就导致了在一个Hfile文件中，存储的是一个列族的多行数据。Hbase系统读取数据特点：通常是读取一行数据，或者是读取单个cell数据；当region中存储大量数据后，列族目录下就会有大量的Hfile文件；而不论是读取一行数据还是单个cell数据，首先都要通过行键在对应的region目录下查找包含有该行键信息的Hfile文件。需求分析：通过对上述Hbase文件存储特点和读取数据特点的分析，发现一个.

2020-11-28 08:58:33 235

原创 Linux02---Linux基础操作

Linux基础操作一虚拟机初始化1.安装JDK2.配置环境变量/etc/profile修改hostname修改hosts二集群搭建1.克隆关闭虚拟机进行克隆开启克隆的虚拟机修改ip地址vim /etc/sysconfig/network-scripts/ifcfg-eth0重启网络任务2.免密连接创建公钥和私钥ssh-keygen初始化连接ssh-copy-id 要连接的虚拟机3.远程复制只有两台机器开启了免密连接后才可以远程复制

2020-11-27 20:40:49 77

原创 Linux01---Linux常用命令

Linux常用命令一根目录简介/bin: (binaries) 存放系统命令的目录，所有用户都可以执行。/sbin : (super user binaries) 保存和系统环境设置相关的命令，只有超级用户可以使用这些命令，有些命令可以允许普通用户查看。/usr/bin：存放系统命令的目录，所有用户可以执行。这些命令和系统启动无关，单用户模式下不能执行/usr/sbin：存放根文件系统不必要的系统管理命令，超级用户可执行/root: 存放root用户的相关文件,root用户的家目录。宿主目

2020-11-27 20:40:08 498

原创 HTML03---服务连接器Servlet

服务连接器Servlet一 servlet概述1. 概念 Servlet： Server Applet的简称，是服务器端的程序（代码、功能实现），可交互式的处理客户端发送到服务端的请求，并完成操作响应。作用 :•接收客户端请求，完成操作。•动态生成网页（页面数据可变）。•将包含操作结果的动态网页响应给客户端2. 基本原理将网页提交的信息接收 , 使用java语言进行处理，所用到的java文件就是广义上的servlet3. 流程创建java EE项目，并为idea配置T

2020-11-27 20:39:21 285

原创 HTML01---html+css

HTML+CSS基础一 HTML基础1. HTML简介超文本标记语言，(Hyper Text Markup Language)，使用标记标签来描述网页的一门非编程语言HTML文件被浏览器加载读取，以网页的形式展示。简单来说HTML就是用来写网页，展示信息的。2. 基本标签HTML语言组成标签 : txt 写在尖角号<>里的第一个单词，叫做标记，也叫做标签，也称作元素；属性 : 标记和属性用空格隔开，属性和属性值用等号连接，属性值必须放在双引号内一个标记可以有多个

2020-11-27 20:38:21 223

原创 HTML02---javaScript

typora-root-url: img#HTML02 JavaScript##一 JavaScript概述###1. 什么是JavaScriptJavaScript是因特网上最流行的脚本语言。脚本语言不能单独使用，必须嵌入到其他语言中组合使用JavaScript不能单独使用，必须和其他语言（HTML）结合使用JavaScript由浏览器解释执行（解释一条，执行一条。故写代码时能用一条语句就不要用两条语句）JavaScript代码：必须效率和可读性JavaScript代码遇到错误，解.

2020-11-27 20:36:43 192

原创 Hadoop05---zookeeper基础

zookeeperJava端常用命令1.基本命令代码如下：public class ZkText { public static void main(String[] args) throws Exception { //写入方法内// ZooKeeper zk = new ZooKeeper("linux01:2181,linux02:2181,linux03:2181", 2000, null); ZooKeeper

2020-11-27 20:23:10 66

原创 Hadoop04---Yarn的安装与基础

Yarn的安装与基础一配置Yarnyarn在hadoop中存在，对配置文件稍加修改即可使用1.修改yarn-site.xml在hadoop/etc/hadoop/yarn-site.xml 添加如下内容：<property><name>yarn.resourcemanager.hostname</name><value>linux01</value>&l

2020-11-27 20:22:30 272

原创 Hadoop03---MapReduce基础

MapReduce基本用法一 MapReduce基本定义1.简介 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce （归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中

2020-11-27 20:21:15 136

原创 Hadoop02---HDFS基础(HDFS原理 java客户端).md

HDFS基础一启动HDFS一键开启: start-dfs.sh一键停止: stop-dfs.sh>二 HDFS基本原理1.HDFS上传文件流程客户端向NameNode进行请求NameNode校验存储空间，空间充足，向客户端返回ok客户端将文件进行切块处理，将切块数量等信息传递给namenodeNameNode确认所有数据块的存储位置，并将位置信息返回给客户端客户端依据获得的存储位置信息，在文件系统中建立连接，将客户端与目标DataNode相连连接成功向客服端返回ok，

2020-11-27 20:19:55 489

原创 Hadoop01---HDFS安装流程

HDFS安装流程1.上传解压将安装包上传解压至指定文件夹(rz)2.配置变量2.1 配置JAVA_HOME文件位置:vi /opt/apps/hadoop-3.1.1/etc/hadoop/hadoop-env.sh更改内容: # variable is REQUIRED on ALL platforms except OS X! export JAVA_HOME=/opt/apps/jdk1.8.0_141/（注意删除注释符#）2.2 设置HDFS地址文件位置：

2020-11-26 22:04:54 200

lb634774742的博客