- 博客(13)
- 收藏
- 关注
RSS订阅原创 网上最火的LeetCode-刷题计划
我的刷题计划参考：https://github.com/CyC2018/CS-Notes/blob/master/notes/Leetcode%20%E9%A2%98%E8%A7%A3%20-%20%E7%9B%AE%E5%BD%95.md 类别 分类 题目名称 难度 ...
2020-04-19 09:10:45
1965
原创 [Flink原理]-一文入门Flink中对状态的管理
概述：状态作为流计算的核心属性，Flink针对状态做了很多的处理，即你可以将中间的计算结果进行保存，并提供给后续的计算使用。分类：KeyState:ValueStateListStateReducingStateAggregatingStateFoldingStateMapStateOperatorStateListStateUnionListStateBroad...
2020-04-06 08:42:36
231
原创 [Flink] Flink的waterMark的通俗理解
导读Flink 为实时计算提供了三种时间，即事件时间（event time）、摄入时间（ingestion time）和处理时间（processing time）。遇到的问题：假设在一个5秒的Tumble窗口，有一个EventTime是 11秒的数据，在第16秒时候到来了。图示第11秒的数据，在16秒到来了，如下图：该如何处理迟到数据什么是WatermarkWatermark的关键点：...
2020-03-31 10:36:53
1232
原创 MR的等值连接
MR的等值连接利用MapReduce的功能，v3是相同的k2的v2的集合，这一特性，筛选出对应关系1.程序流程要求：得出相应部门的所有员工根据两个表，部门表和员工表,两个表部门号相同2.Java编程1).Maper要点：取出两个表的部门号作为k2，v2 部门名称+员工姓名，部门姓名加 “*”用作区分package demo.mutiltable;impo...
2018-09-25 21:07:55
166
原创 MapReduce高级-合并、分区
分区多个分区，有多个文件分区类型范围分区 列表分区 散列分区 范围-散列 范围-列表散列分区：(Hive 桶表) 避免热库的产生MapReduce实例 使用MR实现一个分区：根据员工的部门号，将相同部门号的员工分到一分区要点：在Mapper的输出创建分区 即对k2 v2进行操作创建一个序列化对象 Employeepackage demo.partition;...
2018-09-20 22:27:09
253
原创 MapReduce编程
MapReduce1、MapReduce原理(先分析，在编程)1、WordCount2、Yarn平台调度3、分许WordCount单词计数的数据流程4、开发自己的WordCount程序 2、MapReduce编程1、三种方式运行mrwindows本地运行 打包成jar，上传linux 命令hadoop jar xxx windows打成jar，然后本地运行，通知...
2018-09-19 22:19:20
555
原创 HDFS高级功能
HDFS高级功能1、回收站2、快照3、配额4、安全5、权限管理1、回收站(*)补充 Oracle的回收站恢复：闪回Oracle 11g中有七种闪回闪回表：flashbcak table 闪回查询：flashback query 闪回删除：flashback drop 闪回版本查询：flashback version query 闪回事务查询：flashback ...
2018-09-18 21:37:23
207
原创 Hadoop的RPC，Java实现动态代理
Java的动态代理java的动态对象是编程模式的装饰者模式 可以通过包装的方式，让函数完成不同的功能 原理1.java代码实例1).创建服务端接口MyServer.java,创建方法method1和method2public interface MyServer{ public void method1(); public void method2();}...
2018-09-17 22:24:13
342
原创 HDFS的文件上传和下载
Java API获取HDFS的文件信息1).获取文件属性环境：Windows Java API函数：mkdir、FileStatus[]、listStatus、isDirectory@Testpublic void test1() throws Exception{ //配置HDFS主节点:NameNode Configuration conf = new C...
2018-09-14 20:30:59
648
原创 HBase体系、HDFS API基本操作
HBase的体系结构1、主从结构： 主节点：HMaster 从节点：RegionServer2、基于HDFS上的NOSQL数据库 HBase HDFS 表 --------> 目录 数据 ---------> 文件主从结构的单点故障问题...
2018-09-13 21:19:11
263
原创 SSH、Hadoop、Yarn体系
SSH免密登陆1、生成密钥对#rsa 是加密算法ssh-keygen -t rsa然后一路回车2、查看生成的密钥对id_rsa.pub是公钥，id_rsa是私钥输入ls .ssh输出id_rsa id_rsa.pub known_hosts2、将公钥发送到需要免密登陆的机器ssh-copy-id -i .ssh/id_rsa.pub root@red...
2018-09-12 21:35:50
150
原创 Hadoop2.X的安装和操作
Hadoop2.X的安装和操作1. Hadoop的安装环境本地模式 伪分布模式 全分布模式2. 虚拟机配置1、准备内容虚拟机系统：linux即可安装包：JDK和hadoop-2.7.3.tar.gz2、关闭防火墙、安装JDK、设置主机名、安装Hadoop关闭防火墙#redhat中防火墙systemctl stop firewalld.service （重启恢复）...
2018-09-11 21:31:42
168
原创 Java死锁分析
Java死锁分析1、什么叫死锁(性能等待)？答：简单的说，就是线程互 相等待2、范例演示Dead.java的内容如下所示public class DeadLock { final Object lockA = new Object(); final Object lockB = new Object(); public static vo...
2018-09-10 19:32:38
207
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人