- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flink+Kafka 版wordCount
Kafka 版wordCountpackage com.jxtele;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.TimeCharacteristic;import org.apache.flink.streaming.api.datastream.Da
2022-01-26 16:39:58
1358
原创 elk分布式日志管理系统搭建
elk分布式日志管理系统搭建一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。一个完整的集中式日志系统，需要包含以下几个主要特点：收集－能够采集多种来源的日志数据传输－能够稳定的把日志数据传输到中央系统存储－如何存储日志数据分析－可以支持 UI 分析警告－能够提供错误报告，监控机制ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使
2021-11-19 11:21:37
649
原创 Flink笔记
Flink 简介和特点简介：Flink 项目的理念是：“Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。特点：事件驱动型(Event-driven)流与批的世界观分层 api快速上手搭建 maven 工程 FlinkTutorialpom文件添加依赖：<d
2021-11-11 17:28:08
1604
原创 Sqoop笔记
Sqoop笔记Sqoop 概述Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。Sqoop 项目开始于 2009 年，最早是作为 Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sq
2021-10-09 15:10:07
81
原创 HBase笔记
HBase 快速入门Apache HBase 是 Hadoop 数据库，一个分布式、可伸缩的大数据存储。HBase是依赖Hadoop的。为什么HBase能存储海量的数据？因为HBase是在HDFS的基础之上构建的，HDFS是分布式文件系统。为什么使用HBase看懂HBase 知乎的一篇文章 讲的很透彻HBase 安装部署前置条件首先保证Zookeeper集群的正常部署，并启动之：[hadoop@hadoop102 module]$ myzk.sh start =============
2021-10-09 14:39:08
69
原创 Kafka部署笔记
Kafka笔记kafka基础架构1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端；2）Consumer ：消息消费者，向 kafka broker 取消息的客户端；3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。4）Broker ：一台 kafka 服务器就是一
2021-09-10 17:51:11
105
原创 ClickHouse部署笔记
ClickHouse 特点**学习地址：**https://clickhouse.tech/docs/zh/ ，以下笔记部分来源官网，部分来源B站视频：https://www.bilibili.com/video/BV1Yh411z7os?p=1ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。OLAP场景的关键特征绝大多数是读请求数据以相当大的批次(> 1000行)更新，而不是单行更新;或者根本没有更新。已添加到数据库的数据不能修改。对于读取，从数据
2021-09-10 15:50:18
316
原创 Hive部署
Hive笔记HIve 基本概念Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能Hive 本质：将 HQL 转化成 MapReduce 程序（1）Hive 处理的数据存储在 HDFS（2）Hive 分析数据底层的实现是 MapReduce（3）执行程序运行在 Yarn 上Hive 架构原理1）用户接口：ClientCLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBU
2021-08-25 14:02:23
457
原创 ZooKeeper集群部署
ZooKeeper集群部署安装rz上传hadoop到hadoop102服务器上[hadoop@hadoop102 software]$ lshadoop-3.1.3.tar.gz jdk-8u212-linux-x64.tar.gz zookeeper-3.4.5-cdh5.12.1.tar.gz[hadoop@hadoop102 software]$ tar -zxvf zookeeper-3.4.5-cdh5.12.1.tar.gz -C /opt/module/配置服务器编号（
2021-08-20 17:03:37
154
原创 Hadoop安装和配置集群
Hadoop集群安装前准备安装虚拟机配置网络关闭防火墙systemctl stop firewalldsystemctl disable firewalld.service创建用户[root@hadoop102 hadoop]# useradd hadoop[root@hadoop102 hadoop]# passwd hadoop配置hadoop 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令[root@hadoop102 hadoop
2021-08-20 11:33:28
380
原创 MAC OS 搭建大数据环境（3）——安装HADOOP
MAC OS 搭建大数据环境（3）——安装HADOOP安装hadoop下载hadoop配置环境变量安装hadoop下载hadoop到官网 http://hadoop.apache.org/releases.html 下载hadoop最新版本点击 版本进入拿到地址进行下载,解压#下载[hadoop@localhost ~]$ wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2-src.ta
2021-04-16 10:03:43
249
原创 MAC OS 搭建大数据环境（2）——安装JDK,MAVEN配置ssh 免登陆
MAC OS 搭建大数据环境（2）——安装JDK,配置ssh 免登陆，安装hadoop准备机器，创建用户安装JDK安装JDK配置java 环境变量配置SSH 免登陆准备机器，创建用户root 用户登录之后 创建一个新用户useradd hadoop设置密码passwd hadoop授予hadoop 用户root 权限chmod u + w /etc/sudoersvim /etc/sudoers#在root ALL=(ALL) ALL 下添加 hadoop ALL=(ALL) A
2021-02-08 12:53:08
311
3
原创 MAC OS 搭建大数据环境（1）——VirtualBox 安装 centos7，配置静态地址，关闭防火墙
MAC os VirtualBox 安装 centos7资源准备安装配置修改linux 虚拟机配置动态ip (可忽略)配置静态ip（可与宿主机之间进行通信）关闭防火墙资源准备1.使用镜像地址下载Centos7链接安装点“新建”按钮,输入名称centos,VirtualBox会自动加载与之对应的类型与版本，然后点“继续”按钮。分配内存大小，一般你系统内存的1/4 就行现在创建虚拟硬盘，点击创建虚拟硬盘文件类型，点击继续存储在物理硬盘上选择动态分配就好了，点击继续文件位
2021-02-03 09:51:43
478
1
原创 自己制作echarts Map 最新地图，生成最新的 echarts Map地图JSON文件
写在前面用于echarts 首页的地图很美观实用。不过网上下载的地图也会有一些问题，比如 地图文件 不是最新的，很多区县没有；想要 乡镇的地图；地图需要拼接 等等等等，通过这篇文章你只需要花点时间就可以制作 自定义想要的地图了。我碰到的问题就是 地图不是最新的（比如南昌市的地图没有红谷滩新区，高新区，经开区等）。因为给市政府的项目，然后 他们提供了 2020 最新的南昌市的电子地图 .shp 文件（其实没有也没有关系） ，然后通过自己制作的地图实现了南昌市最新的地图效果（本文最后总结处土提供了南昌市地图下
2020-07-16 23:34:15
2114
原创 SpringBoot+RestHighLevelClient集成ElasticSearch
搭建准备ElasticSearch 7.0.0 已经对Transport client 方式弃用了，且在8.0版本中完全移除它。而且springboot yml 的 Transport配置 也过期了。虽然之前用Transport 的方式特别好用????，但是没办法，既然官方说弃用了，那我们就用另外一种方式：RestHighLevelClient。SpringBoot 2.X 以上 start.spring.io链接es 下载地址 链接RestHighLevelClient API文
2020-05-09 11:00:33
7664
2
原创 网站首页布局模板1
最常见的网站首页布局准备代码原理准备说明：参考腾讯云服务首页 （利用html页面定位到指定位置）需要实现的效果 div内容用图片替代，背景图片准备dummyimage（一个很好的生成指定图片尺寸颜色的网站）代码<!DOCTYPE html><html><head> <meta charset="utf-8">...
2020-04-15 12:12:39
6894
2
原创 org.apache.ibatis.binding.BindingException: Invalid bound statement (not found):
org.apache.ibatis.binding.BindingException: Invalid bound statement (not found):最近碰到这个问题，网上找了一堆方法都没有解决。（检查映射名称，方法名等）项目结构：yml mybatis映射文件配置如下：mybatis-plus: mapper-locations: classpath*:mybatis/m...
2019-07-03 09:56:33
275
原创 百度地图自定义图标icon 添加本地图片无法显示问题解决
百度地图自定义图标icon 添加本地图片无法显示问题解决我们在阿里巴巴矢量库找的icon 保存到本地结论我们在阿里巴巴矢量库找的icon 保存到本地链接: 阿里巴巴矢量库.图片: 随便找一个icon我们设置大小var myIcon = new BMap.Icon("/images/yushui.png", new BMap.Size(32, 32));发现百度地图无法展示该icon...
2019-02-22 00:44:35
13493
16
原创 Missing artifact com.microsoft.sqlserver:sqljdbc4:jar:4.0解决，手动安装Microsoft SQL Server JDBC 驱动
idea maven 依赖标红：`Missing artifact com.microsoft.sqlserver:sqljdbc4:jar:4.0`一、直接原因制定路径下确实没有sqljdbc4.jar文件。二、根本原因微软不允许以maven的方式直接下载该文件。三、解决办法3.1 去官网手动下载相关库：http://www.microsoft.com/en-us/downloa...
2018-12-28 21:27:16
13609
4
原创 Gradle + Spring Boot 搭建一个 helloworld工程
Hello World 基于spring boot的hello-world工程 环境配置： gradle 3.5.1 jdk 8+ eclipse 网上安装配置的博客很多。自行安装配置一下。通过Spring Initializr 初始化一个Web 项目 通过 生成web项目。 在浏览器输入上述网址点击生成工程下载，其实在
2017-11-14 19:30:38
989
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人