- 博客(46)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 第四章 Flink 窗口和水位线
在流式处理的过程中，数据是在不同的节点间不停流动的；这样一来，就会有网络传输的延迟，当上下游任务需要跨节点传输数据时，它们对于“时间”的理解也会有所不同。当基于特定时间段(通常称为Windows，窗口)，或者当执行事件处理时，事件的时间发生很重要。
2023-01-20 13:31:51
4375
2
原创 第三章 Flink DataStream API
Flink 中的 DataStream 程序是对数据流（例如过滤、更新状态、定义窗口、聚合）进行转换的常规程序。数据流的起始是从各种源（例如消息队列、套接字流、文件）创建的。结果通过 sink 返回，例如可以将数据写入文件或标准输出（例如命令行终端）。Flink 程序可以在各种上下文中运行，可以独立运行，也可以嵌入到其它程序中。任务执行可以运行在本地 JVM 中，也可以运行在多台机器的集群上。DataStream API 得名于特殊的 DataStream 类，该类用于表示 Flink 程序中的数据
2023-01-07 12:10:47
1098
原创 第一章 Flink简介
流计算产品实时性有两个非常重要的实时性设计因素，一个是待计算的数据，一个是计算的时钟。低延时要求流计算框架尽可能早的输出计算结果，但是由于存在数据延时和现实业务数据更新的客观情况，就会导致你前一秒计算的结果，因为下一秒来了一个对上一秒已经参与计算的那条数据的更新，进而导致在下一秒时候上一秒的计算结果就是无效的了，那么流计算产品低延时需求导致流计算产品不可能无限制的等待延时数据的到来，这就一定会造成数据计算结果不精准的问题。
2023-01-04 21:46:04
776
2
原创 SpringSecurity整合SSM和SpringBoot完成方法级权限控制
权限管理，一般指根据系统设置的安全规则或者安全策略，用户可以访问而且只能访问自己被授权的资源。权限管理几乎出现在任何系统里面，前提是需要有用户和密码认证的系统。
2022-11-16 17:25:13
1154
原创 MapReduce运用-案例讲解
MapReduce 是 Google 公司开源的一项重要技术，它是一个编程模型，用以进行大数据量的计算。MapReduce 是一种简化的并行计算编程模型，它使那些没有多少并行计算经验的开发人员也可以开发并行应用程序。模型非常方便使用，即使是对于完全没有分布式程序的程序员也是如此。它隐藏了并行计算的细节。MapReduce运行开发人员使用自己熟悉的语言进行开发。通过MapReduce，应用程序可以在超过1000个节点的大型集群上运行，并且提供经过优化的错误容灾。
2022-10-29 12:48:59
3282
原创 通过HDFS API进行HDFS操作
HDFS Java API 位于 org.apache.hadoop.fs 包中，这些API能够支持的操作包括打开文件、读写文件、删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem。该类是一个抽象类，只能通过get方法获取到具体的类。该类封装了大部分文件操作，如mkdir、delete等。
2022-10-29 12:25:31
1592
原创 Hadoop2.7.3三种安装模式环境搭建
Hadoop的安装方式有三种模式：单机模式(Standalong Mode)、伪分布模式(Pseudo-Distributed Mode)、完全分布式模式(Fully-Distributed Mode)。
2022-10-29 12:16:53
4287
原创 CentOS7搭建Hadoop3.3.1伪分布式环境整合HBase2.2.6
CentOS7 搭建Hadoop3.3.1伪分布式环境，整合HBase2.2.6
2022-06-05 18:39:50
653
3
原创 Spark-Core编程
Spark简介Spark是加州大学伯克利分校AMP实验室开发的通用内存并行计算框架。Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，具有以下特点。运行速度快：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。易用性好：Spark不仅支持Scala编写应用程序，而且支持Java和P
2022-04-12 20:47:53
1715
原创 VsCode安装Java环境完成Maven项目创建
VsCode安装插件设置Java和Maven环境打开VsCode的设置界面 Ctrl + ,搜索 java，点击settings.json，增加如下配置："editor.formatOnSave": true,"editor.fontFamily": "'Sarasa Mono SC', Consolas,'Microsoft YaHei UI'","editor.mouseWheelZoom": true,"editor.fontSize": 20,"files.exclude": {
2022-03-18 22:12:22
1049
原创 Fetch POST请求发送JSON数据，后端Servelt如何解析
使用Fetch发送GET请求GET请求要传递参数的话，直接在URL后面跟上请求参数即可，如下可以通过循环进行拼接传递letparamsArray = []; //拼接参数 Object.keys(params).forEach(key => paramsArray.push(key + '=' + params[key])) if (url.search(/\?/) === -1) { url += '?' + paramsArray.join('&') } e
2021-10-12 20:58:41
1232
1
原创 Fetch API + SpringBoot使用指南
Fetch API + SpringBoot使用指南Fetch API 提供了一个获取资源的接口（包括跨域请求）。它是JS提供的原生接口，可以直接使用。概念和用法Fetch 提供了对 Request 和 Response （以及其他与网络请求有关的）对象的通用定义。Fetch API主要暴露了三个接口一个方法。三个接口Request(资源请求)Response(请求的响应)Headers(Request/Response头部信息)一个方法fetch()(获取资源调用的方法)fe
2021-06-28 09:48:24
1234
原创 MapReduce编程
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。MapReduce主要包括两项操作：Map和Reduce。Map是把一组数据一对一地映射为另外一组数据，其映射的规则由一个函数来指定。Reduce是对一组数据进行归约，归约的规则由一个函数来指定。在MapReduce中，没有一个值是单独存在的，每个值都会有一个键与其关联，键是值的标识。值和键成对出现，称为键值对（key-value）在MapReduce编程中，键值对表示为<key, value>的形式。其核
2021-05-18 20:13:25
1311
3
原创 ClouderaManager管理平台搭建(CDH6.2.1)
CM 简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。CM 架构CM部署准备配置下载 CDH6-CentOS7 离线软件安装包下载 CM6-CentOS7 集群安装软件包使用 VMware 克隆三台机器，分别修改对应的 IP 及 主机名，使用 MobaXterm 连接测试。主机名IP地址内存硬盘CUP服务进程
2021-05-18 20:01:46
1414
3
原创 Hadoop大数据综合案例6--数据可视化(SpringBoot+ECharts)
Spring Boot 简介由于Spring是一个轻量级的企业开发框架，主要的功能就是用于整合和管理其他框架。但随着整合的框架越来越多，Spring的整合配置也日益繁琐，一度被人认为“配置地狱”。随着Spring 3.0的发布，Spring IO团队逐渐开始摆脱XML配置文件，并且在开发过程中大量使用约定优先配置的思想来摆脱Spring框架中各类繁复纷杂的配置（即时是Java Config）。SpringBoot 正是在这样的一个背景下被抽象出来的开发框架，它本身并不提供Spring框架的核心特性以及扩
2021-05-17 20:19:38
17023
3
原创 Hadoop大数据综合案例5-SSM可视化基础搭建
数据可视化是利用计算机图形学和图像处理技术,将数据转换成图形或图像在屏幕上显示出来,从而进行交互处理的理论、方法和技术。数据可视化涉及计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域,成为研究数据表示、数据处理、决策分析等一系列问题的综合技术。有效的可视化可以帮助用户分析、推理数据。数据可视化使复杂的数据更容易理解和使用。系统架构招聘网站职位分析可视化系统以JavaWeb为基础搭建，通过SSM（Spring、Springmvc、Mybatis）框架实现后端功能，前端在Jsp中使用Echart
2021-05-17 20:13:28
4467
14
原创 Hadoop大数据综合案例4-Hive数据分析
大数据价值链中最重要的一个环节就是数据分析,其目标是提取数据中隐藏的数据,提供有意义的建议以辅助制定正确的决策。通过数据分析,人们可以从杂乱无章的数据中萃取和提炼有价值的信息,进而找出研究对象的内在规律。数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，从行业角度看，数据分析是基于某种行业目的，有目的的进行收集、整理、加工和分析数据的过程，通过提取有用信息，从而形成相关结论，这一过程也是质量管理体系的支持过程。数据分析的作用包含推测或解释数据并确定如何使用数据、检查数据是否合法、为决策提供参考建
2021-05-17 20:09:59
10928
7
原创 Hadoop大数据综合案例3-MapReduce数据预处理
由于海量数据的来源是广泛的，数据类型也是多而繁杂的，因此，数据中会夹杂着不完整的、重复的以及错误的数据，如果直接使用这些原始数据的话，会严重影响数据决策的效率。因此，对原始数据进行预处理是大数据分析和应用过程中的关键环节。数据分析查看我们采集的数据，通过观察它的数据结构以及分析我们所需要的维度选择合适的预处理方案。通过JSON格式化工具对数据文件page1的数据内容进行格式化处理，查看储存了职位信息的result字段。MapReduce程序实现数据预处理的过程通过编写MapReduce程序，实现
2021-05-17 20:07:47
8805
13
原创 Hadoop大数据综合案例2-HttpClient与Python招聘网数据采集
在大数据时代背景下，未被使用的信息比例高达99.4%，原因很大程度都是由于高价值的信息无法获取采集。因此，如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一，数据采集可视为大数据产业的基石。在编写数据采集程序之前，先对网络数据采集所涉及的知识做简单介绍，已奠定网络数据采集的基础知识。HTTP请求过程在浏览器中输入一个URL，链接便可以在浏览器页面中浏览该URL的页面内容，从输入的URL链接到浏览页面内容，整个过程是通过浏览器向网站所在服务器发送了一个HTTP请求，请求头会包含一些这个请求的信
2021-05-17 20:04:39
7228
3
原创 Hadoop大数据综合案例1-Hadoop2.7.3伪分布式环境搭建
部署前提配置映射地址 ( /etc/hosts )关闭防火墙 ( systemctl stop firewalld systemctl disable firewalld )关闭Linux 安全子系统 SELinux ( /etc/sysconfig/selinux | /etc/selinux/config )使用 ping baidu.com 测试网络是否联通，安装 vim 编辑器 ( yum install vim )配置主机的 hosts 映射 ( C:\Windows\Syste
2021-05-17 19:50:57
3621
原创 Docker 应用容器引擎
Docker简介软件开发比较麻烦的就是环境配置。换一台机器就得重来一次，操作不难就是耗时耗力，很多人就想，能不能从根本上解决问题，让我们的应用程序自己带着环境和应用依赖，也就是说，部署的时候，把原始环境一模一样地复制过来。Docker是一个是一个开源的应用容器引擎，是软件部署的解决方案，可以让开发者可以打包他们的应用以及依赖包到一个轻量级的、可移植的、自给自足的镜像中。然后发布到任何流行的 Linux 服务平台。Linux 文件管理子系统由 bootfs 和 rootfs 两部分组成boot
2020-06-13 23:22:39
537
1
原创 Linux - CentOS操作系统学习
文章目录Linux介绍虚拟机虚拟网络虚拟机/Linux安装(CentOS)远程连接工具常用命令磁盘管理文件管理系统管理用户管理网络通信防火墙管理文件权限文档管理备份压缩vim编辑器Linux 目录说明rpm、yum和apt-get常用软件安装安装 Java安装 Maven安装 Tomcat安装 Nginx安装 MySQLLinux介绍Linux 内核最初只是由芬兰人林纳斯·托瓦兹(Linus Torvalds)在赫尔辛基大学上学时出于个人爱好而编写的。Linux 是一套免费使用和自由传播的类 Unix
2020-06-13 22:47:05
1814
原创 SpringMVC + MyBatisPlus + Swagger 完成简单的CURD操作
Spring：Spring是一个轻量级的控制反转(IOC)和面向切面(AOP)的容器框架。用来装JavaBean（java对象），中间层框架（万能胶）。提供了展现层 SpringMVC和持久层 Spring JdbcTemplate以及业务层事务管理等众多的企业级应用技术，还能整合开源世界众多著名的第三方框架和类库，逐渐成为使用最多的Java EE 企业应用开源框架。SpringMVC: ...
2019-06-28 20:18:49
591
2
原创 JS跨域请求处理
文章目录JS跨域请求处理解决方案CORS代码提现SpringMVC跨越处理JS跨域请求处理无法跨域调用,错误如下解决方案CORSCORS是一个W3C标准，全称是"跨域资源共享"（Cross-origin resource sharing）。CORS需要浏览器和服务器同时支持。目前，所有浏览器都支持该功能，IE浏览器不能低于IE10。它允许浏览器向跨源服务器，发出XMLHttpReque...
2019-05-23 09:34:23
687
原创 Vue学习
Vue组件的简单使用和传值操作<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Hello World</title> <script src="js/vue.js"></script>...
2019-05-23 09:31:02
473
原创 NodeJS 简单使用
文章目录百度百科简介为什么会有node.js？NodeJS安装设置包路径安装cnpm安装webpackwebpack 打包案例webpack-dev-server安装vue-cli安装所有模块启动项目添加Google调试工具->vue-devtools安装Element UI打包上线百度百科简介Node 是一个让 JavaScript 运行在服务端的开发平台，它让 JavaScript ...
2019-05-23 09:25:55
348
原创 nginx简单配置
nginx配置服务启动 start nginx 或者 nginx.exe重启命令安装路径下的 nginx.exe -s reload编辑conf/nginx.conf在住配置文件95行空白处增加：include vhost/*.conf在nginx-1.10.2\conf目录下新建vhost目录以及 image.mall.com.conf 和在nginx-1.10.2\co...
2019-05-23 08:50:34
160
原创 MongDB在window上安装
MongDB在window上安装官网下载:https://www.mongodb.com/download-center/community点击下载时会出现注册页面，不用管，稍等一会就回进行下载.下载完毕后,安装就是一路下一步.MongDB服务安装创建几个文件夹具体如下：数据库路径(data\db目录)、日志路径(logs\mongo.log空文件)、主配置文件(conf\mong...
2019-05-22 21:38:52
207
原创 Redis学习
Redis学习一、 Redis简介Redis是一个完全开源免费,遵守BSD协议，是一个高性能的内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理,也可基于内存亦可持久化的日志型。它支持字符串(String)、哈希表(Hash)、列表(List) 、集合(Set) 、有序集合(sorted sets)等数据类型。Redis与其它的key-value存储有着更为复杂的数据结构并且提供...
2019-05-22 21:32:52
132
原创 Groovy 教程
Groovy 教程Groovy 概述Groovy是一种基于JVM（Java虚拟机）的敏捷开发语言，它结合了Python、Ruby和Smalltalk的许多强大的特性，Groovy 代码能够与 Java 代码很好地结合，也能用于扩展现有代码。由于其运行在 JVM 上的特性，Groovy 可以使用其他 Java 语言编写的库。Groovy 1.0于2007年1月2日发布，其中Groovy 2.4...
2019-05-22 21:30:05
806
原创 MySQL使用文档
MySQL使用手册MySQL简介在目前阶段，如果要存储和管理数据，则离不开数据库，当数据存储到数据库后，就会通过数据库管理系统对这些数据进行组织和管理，所谓的数据管理系统，是指对各种数据进行分类、组织、编码、存储、检索和维护。发展到现在，数据管理技术经历来三个阶段，分别为人工管理阶段、文件系统阶段和数据库系统阶段。数据库管理系统提供了许多功能，可以通过SQL(结构化查询语言)来定义和操作数据...
2019-04-28 09:44:49
864
原创 XML文档解析
XML：概念：Extensible Markup Language 可扩展标记语言:可扩展：标签都是自定义的。 功能: 存储数据( 配置文件 | 在网络中传输)语法:基本语法：xml文档的后缀名 .xml xml第一行必须定义为文档声明 xml文档中有且仅有一个根标签 属性值必须使用引号(单双都可)引起来 标签必须正确关闭 xml标签名称区分大小写解析方式:...
2019-03-25 18:51:37
185
原创 MySQL安装,卸载,配置,事务,用户管理
MySQL安装选择安装类型，有“Typical（默认）”、“Complete（完全）” 、“Custom（用户自定义）”三个选项，选择“Custom”，按“next”键继续操作.一般选择自定义安装(Custom)可以修改数据库系统安装目录,否则默认安装在C:\Program Files (x86)\MySQL\MySQL Server 5.0下.数据库安装好了还需要对数据库进行配置才能使...
2019-03-25 13:21:28
202
转载 转载，Sublime Text 3 全程详细图文原创教程
文章转载出处：http://www.cnblogs.com/wind128/p/4409422.html一、 前言 使用Sublime Text 也有几个年头了，版本也从2升级到3了，但犹如寒天饮冰水，冷暖尽自知。最初也是不知道从何下手，满世界地查找资料，但能查阅到的资料，苦于它们的零碎、片面，不够系统和全面，所以一路走来...
2018-12-03 11:17:35
335
原创 MyBatisPlus + SpringBoot + Thymeleaf 完成简单的入门案例【上】
这篇文章主要用于学习SpringBoot以及整合MyBatisPlus和前端框架LayUI，使用的都是最新的版本：SpringBoot2.1.0 , MyBatisPlus3.0.6 , LayUI2.4.5 ,MySQL5.5.15, 以及SpringBoot默认支持的模板引擎Thymeleaf3.0.4SpringBoot简介Spring Boot可以轻松创建独立的，生产级的基于Spri...
2018-11-26 09:51:21
6705
2
原创 在 IntellJ Idea中使用Maven及Maven的安装使用
Maven项目对象模型(POM)是Apache组织中一个颇为成功的开源项目，主要服务于基于JAVA平台的项目构建，依赖管理和项目信息管理。构建包括了编译，运行单元测试，生成文档， 打包，部署等工作。Maven为全世界JAVA开发者提供了免费的中央仓库.Maven下载安装Maven Apache Maven下载官网，找到匹配自己系统的Maven版本， 下载完毕后，解压到相应的...
2018-08-14 10:59:17
1782
2
原创 在IntellJ idea开发工具中使用Project Lombok类库，非常好用的一个实体构建jar
Project Lombok is a java library that automatically plugs into your editor and build tools, spicing up your java.Never write another getter or equals method again. Early access to future java featu...
2018-08-13 11:54:23
538
原创 非常好用的一个表设计工具EZDML使用详细教程
表结构设计器(EZDML) 这是一个数据库建表的小软件，可快速的进行数据库表结构设计，建立数据模型。类似大家常用的数据库建模工具如PowerDesigner、ERWIN、ER-Studio和Rational-Rose等的超级精简版。包含功能：表结构设计：创建表、字段、主键、外键、索引和注释；表描述：可直接编辑文字描述快速生成表结构，爱用键盘的人会喜欢这个功能；(我就比较喜......
2018-04-24 17:02:26
44978
3
使用MybatisPlus+SpringMBVC完成的CUID以及分页查询实现Demo
2018-04-08
HTML5+CSS3+JS帮助文档
2018-04-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人