- 博客(61)
- 收藏
- 关注
RSS订阅
原创 汇总
Java：Java 的Arrays.fii()用法Python：python 1.2 数据应用python Day001SQL：sql 语句NVL（）用法sqoop：sqoop导入导出数据Hive：hive读取Hbase的数据HiveProgramming Hive ( Hive编程指南) 六Programming Hiv...
2019-07-28 18:41:06
148
原创 Windows下使用Eclipse配置Hadoop开发环境
配置Hadoop环境需要的文件资料1、准备Hadoop的安装压缩包以及源码压缩包，解压得到hadoop-2.6.5 和 hadoop-2.6.5-src，然后创建 空白的一个文件夹，命名hadooplib(可以自己起名)，如图：2、在hadoop-2.6.5/share/hadoop文件夹下几个子目录中找到所有的jar包，并拷贝到hadooplib目录下3、在tool文件中 找...
2019-11-22 10:38:26
581
原创 大数据面经
Linux：3、平时都用过哪些Linux命令？直接在屏幕上打出来 Linux常用命令大全（非常全！！！）4、Linux查看内存、CPU占有量命令？(当时没答上来！) 查看Linux磁盘及内存占用情况 top 命令7.linux了解吗？epoll？(我说只懂基本命令) I/O多路复用之epoll ...
2019-09-02 21:58:07
1160
转载 Java系列 —— 探究InnoDB可重复读
在RC（Read Committed）和RR（Repeatable Read）两种事务隔离级别下，InnoDB存在两种数据读取方式：快照读（Snapshot Read）快照读读取的都是快照数据，快照怎么来，在InnoDB引擎下是基于undo log，那undo log又是什么？举例说明，假设有这样一个表：-- 表结构CREATE TABLE `innodb_test` ( ...
2019-09-02 19:52:22
323
转载 JAVA系列 —— 阻塞非阻塞 同步异步 IO模型及其应用 NIO实现原理
一、NIO的与IO的区别：1、IO是面向流的，NIO是面向缓冲的；2、IO是阻塞的，NIO是非阻塞的；3、IO是单线程的，NIO 是通过选择器来模拟多线程的；1. 通道通道 Channel 是对原 I/O 包中的流的模拟，可以通过它读取和写入数据。通道与流的不同之处在于，流只能在一个方向上移动(一个流必须是 InputStream 或者 OutputStream 的子类)，而...
2019-09-02 18:56:28
1107
转载 JAVA系列 —— JAVA中对象什么时候死亡以及什么时候执行finalize()方法
一、可达性算法 —— 根搜索算法要知道对象什么时候死亡，我们需要先知道JVM的GC是如何判断对象是可以回收的。JAVA是通过可达性算法来来判断对象是否存活的。这个算法的基本思路就是通过一系列的称为“GC Roots”的对象作为起始点，从这些节点开始向下搜索，搜索所走过的路径称为引用链，当一个对象到GC Roots 没有任何引用链相连时，则证明此对象是不可用的。在JAVA语言...
2019-09-02 16:06:03
324
转载 MySQL索引
本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分。第一部分主...
2019-09-02 10:53:33
132
转载 JAVA锁 —— ReentrantLock公平锁和非公平锁原理详解
一、简介：ReentrantLock的实现是基于其内部类FairSync(公平锁)和NonFairSync(非公平锁)实现的。 其可重入性是基于Thread.currentThread()实现的：如果当前线程已经获得了执行序列中的锁， 那执行序列之后的所有方法都可以获得这个锁。1、公平锁公平和非公平锁的队列都基于锁内部维护的一个双向链表，表结点Node的值就是每一个请求当前锁的线程...
2019-09-01 11:41:38
1603
转载 Java —— Synchronized的基本知识、实现原理以及其与ReentrantLock的区别
一、synchronized知识 在谈论synchronized之前，我们需要了解线程安全问题的主要诱因。线程安全问题的主要诱因如下：存在共享数据（也称为临界资源） 存在多条线程共同操作这些共享数据 而解决线程安全的根本方法就是：同一时刻有且只有一个线程在操作共享数据，其他线程必须等到该线程处理完数据后再对共享数据进行操作。 基于上述，引入了互斥锁，其具有两个特性：互...
2019-09-01 09:06:26
156
原创 Java 集合系列 15 Map总结
概述第1 部分 Map 概述第2 部分内部哈希： 哈希映射技术第3 部分 Map 优化3.1 调整实际大小3.2 负载因子一、 Map 概述Map：“键值”对映射的抽象接口。该映射不包括重复的键，一个键对应一个值。SortedMap：有序的键值对接口，继承Map接口。NavigableMap：继承SortedMap，具有了针对给定搜索目标返回最接近...
2019-08-31 20:15:37
133
转载 Java 集合系列 12 —— TreeMap
概要第1部分 红黑树简介第2部分TreeMap数据结构第3部分TreeMap put()方法 3.1TreeMap put()方法分析 3.2 TreeMap put()代码第4部分TreeMap delete()方法 4.1TreeMap delete()方法分析 4.2 TreeMap delete()代码第5部分 TreeMap的相关函数...
2019-08-31 20:03:20
1069
转载 Java接口与抽象类 —— 何时使用抽象类？何时使用接口？
一、抽象类抽象类的关键字为abstract，抽象类被创造出来就是为了继承，简单明了地告诉用户跟编译器自己大概是长什么样子的。例如抽象类申明的语法：abstract class Abc { abstract void fun();}抽象类有以下几个特性：1、抽象方法必须为public、protected（若为private，则不能给子类继承，子类无法实现该方法，所以无...
2019-08-31 15:35:18
173
转载 Java11 —— hashmap 和 hashtable 的区别
一、Hashtable和HashMap做为Map的基本特性两者都实现了Map接口，基本特性相同1、对同一个Key，只会有一个对应的value值存在2、如何算是同一个Key？ 首先，两个key对象的hash值相同，其次，key对象的equals方法返回真二、内部数据结构Hashtable和HashMap的内部数据结构相似 —— 基本内部数据结构是一个Entr...
2019-08-31 14:59:31
171
转载 Java10 —— Java 集合系列 10 Hashtable详细介绍(源码解析)和使用示例
前一章，我们学习了HashMap。这一章，我们对Hashtable进行学习。我们先对Hashtable有个整体认识，然后再学习它的源码，第1部分 Hashtable介绍第2部分 Hashtable数据结构第3部分 Hashtable主要方法 3.1put() 3.2 get() 3.3 putAll() 3.4 clear() 3.5 contains()...
2019-08-31 12:45:25
245
转载 Java09 —— HashMap详细介绍(源码解析)和使用示例
概要这一章，我们对HashMap进行学习。我们先对HashMap有个整体认识，然后再学习它的源码，最后再通过实例来学会使用HashMap。内容包括：第1部分 HashMap介绍第2部分 HashMap数据结构第3部分 HashMap源码解析(基于JDK1.7.0_45) 第3.1部分 HashMap的“拉链法”相关内容 第3.2部分 HashMap的构造函数 第3...
2019-08-31 10:42:51
266
转载 Java08——Map架构
我们先学习Map，然后再学习Set；因为Set的实现类都是基于Map来实现的(如，HashSet是通过HashMap实现的，TreeSet是通过TreeMap实现的)。首先，我们看看Map架构。如上图：(01) Map 是映射接口，Map中存储的内容是键值对(key-value)。(02) AbstractMap 是继承于Map的抽象类，它实现了Map中的大部分API。其它Map的...
2019-08-31 09:22:38
119
转载 Java07 —— List总结(LinkedList, ArrayList等使用场景和性能分析)
一、List回顾List框架图1、List 是一个接口，它继承于Collection的接口。它代表着有序的队列。2、 AbstractList 是一个抽象类，它继承于AbstractCollection。AbstractList实现List接口中除size()、get(int location)之外的函数。3、 AbstractSequentialList 是一个抽象类，它...
2019-08-30 23:42:51
171
转载 Java05——Vector详细介绍(源码解析)和使用示例
一、Vector介绍Vector 是矢量队列，它是JDK1.0版本添加的类。继承于AbstractList，实现了List, RandomAccess, Cloneable这些接口。Vector 继承了AbstractList，实现了List；所以，它是一个队列，支持相关的添加、删除、修改、遍历等功能。Vector 实现了RandmoAccess接口，即提供了随机访问功能 ——通...
2019-08-30 22:09:35
150
转载 Java04——LinkedList详细介绍(源码解析)和使用示例
一、LinkedList介绍LinkedList是一个继承于AbstractSequentialList的双向链表。它也可以被当作堆栈、队列或双端队列进行操作。LinkedList实现List接口，能对它进行队列操作。LinkedList实现Deque接口，即能将LinkedList当作双端队列使用。LinkedList实现了Cloneable接口，即覆盖了函数clo...
2019-08-30 21:35:22
203
转载 Java03——ArrayList详细介绍(源码解析)和使用示例
第1部分 ArrayList简介第2部分 ArrayList数据结构第3部分 ArrayList源码解析(基于JDK1.6.0_45)第4部分 ArrayList遍历方式第5部分 toArray()异常一、ArrayList简介ArrayList 是一个数组队列，相当于动态数组。与Java中的数组相比，它的容量能动态增长。它继承于AbstractList，实现了List, Rando...
2019-08-30 16:25:09
162
转载 Java02——Collection
Collection是一个接口，两个分支：List和Set，都继承Collection。List是有序的队列，可以有重复的元素；Set是数学概念中的集合，没有重复元素！List和Set都有它们各自的实现类。为了方便，我们抽象出了AbstractCollection抽象类，它实现了Collection中的绝大部分函数；这样，在Collection的实现类中，我们就可以通过继承Ab...
2019-08-30 15:09:04
2927
转载 Java概览
Java 迭代器理解Java常用的数据结构：集合、链表、队列、栈、数组、映射等。Java集合工具包位置是java.util.*Java集合主要可以划分为4个部分：List列表、Set集合、Map映射、工具类(Iterator迭代器、Enumeration枚举类、Arrays和Collections)、。主干：Collection和MapCollection：一个接口，是高度...
2019-08-30 14:14:54
705
转载 Java——Object的Hashcode方法和作用
1、 hashcode()和equals()这两个方法都来自java.lang.Object类，在Object中hashCode()返回的是对象的地址值，equals()方法是两个对象的地址的比较；如果equals()返回值相同，说明两个对象的地址值是相同的，所以hashCode()的返回值也是相同的。Part 1、 hashCode的作用Java集合中有两类，一类是List，一类是S...
2019-08-30 11:02:37
2881
6
原创 String在Java中存储
目录总结：1、中文怎么存储？2、字符串存储3、String、StringBuffer、StringBuilder4、类与接口的区别中文怎么存储？什么时候char型不能存储汉字？char型变量是用来存储Unicode编码的字符的，unicode编码字符集中包含了汉字，所以，char型变量中当然可以存储汉字啦。不过，如果某个特殊的汉字没有被包含在unicode编码字...
2019-08-29 23:51:06
491
原创 Java基本类型能够占用的字节数
Java编译器默认使用Unicode编码，String.getBytes(encoding)方法是获取指定编码的byte数组表示注：1字节(byte)=8位(bits)1字节： byte, boolean2字节： short, char4字节： int, float8字节： long, double注：1字节(byte)=8位(bits)中文：(中文占用字节数2-4)...
2019-08-29 15:04:47
112
原创 Hive高级 (Rank函数)
有如下数据：孙悟空,语文,87孙悟空,数学,95孙悟空,英语,68沙悟净,语文,94沙悟净,数学,56沙悟净,英语,84宋松松,语文,64宋松松,数学,86宋松松,英语,84罗婷婷,语文,65罗婷婷,数学,85罗婷婷,英语,78需求：查询每科成绩的排名分析：rank()：分数相同，不去掉数据(并排，假设有2、3分数相同，都排第二名，下面一个就是第四名，没有第三...
2019-07-29 15:44:18
315
原创 Hive窗口函数 over()
有以下数据：Jack,2017-01-01,10Tony,2017-01-02,15Jack,2017-02-03,23Tony,2017-01-04,29Jack,2017-01-05,46Jack,2017-04-06,42Tony,2017-01-07,50Jack,2017-01-08,55Mark,2017-04-08,62Mart,2017-04-09,68M...
2019-07-29 14:42:42
745
原创 Hive列转行 (Lateral View + explode)
需求：《疑犯》 悬疑,动作,科幻,爱情《lie to me》 悬疑,警匪,动作,心理,剧情《战狼》 战争,动作,灾难转成如下格式：《疑犯》 悬疑《疑犯》 动作《疑犯》 科幻《疑犯》 爱情《lie to me》 悬疑《lie to me》 警匪《li...
2019-07-29 09:40:31
322
原创 Hive行转列
需求：孙悟空白羊座A 沙悟净射手座A白羊座，A 孙悟空|猪八戒宋松松白羊座B=======白羊座，B 宋松松猪八戒白羊座A...
2019-07-28 23:05:13
1063
原创 Java 的Arrays.fii()用法
二维数组map[][]的初始化为某一个相同的值，除了用双重循环赋初值，还可以用Arrays.fill()填充Tips：Arrays.fill()并不能提高赋值的效率，而且在函数内部也是用for循环实现的下面是fill()的源码：public static void fill(Object[] a, Object val){ for(int i = 0,len = a.le...
2019-07-28 18:19:32
237
转载 sql 语句NVL（）用法
NVL函数是一个空值转换函数NVL（表达式1，表达式2）如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。 该函数的目的是把一个空值（null）转换成一个实际的值。其表达式的值可以是数字型、字符型和日期型。但是表达式1和表达式2的数据类型必须为同一个类型。对数字型： NVL(count(camera_id), 0) 如果count(camera_id)为...
2019-07-28 17:53:25
1872
原创 sqoop导入导出数据
导入：MySQL==> HDFS、Hive、Hbase导出：HDFS、Hive、Hbase ==> MySQL一、安装，配置环境1、下载压缩包2、配置文件sqoop.env.sh3、验证：bin/sqoop help4、拷贝jdbc驱动到sqoop/lib5、连接MySQL[root@master sqoop-1.4.7]# ./bin/sqoop...
2019-07-28 16:41:40
208
转载 Hive+Sqoop+Mysql整合
答：监控点/摄像头状态工作流程如下：1.数据格式/ ** *产生测试数据：*数据格式：*记录时间车牌号码车速道路编号监控地点摄像头编号* date_time vehicle_plate vehicle_speed road_id monitor_id camera_id * *中间使用'\ t'隔开* 16/01/2019 10:20 ：30 SCN89000J ...
2019-07-27 22:08:46
193
转载 Hive+Sqoop+Mysql整合代码
1.模拟数据代码import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.OutputStreamWriter;import java.io.PrintWriter;import java.io.Serializable;import java.tex...
2019-07-27 21:20:32
139
转载 hive读取Hbase的数据
1、文档(不会的直接找文档最方便)HBaseIntegration2、拷贝jar文件2.1 将Hbase/bin目录下面文件拷贝到Hive/bin目录下cd /home/hbase/libcp ./* /home/hive/lib2.2把Hive的lib目录下面的hive-hbase-handler-0.13.1.jar拷贝到Hbase的lib目录下面cp /...
2019-07-27 19:43:57
597
转载 大数据组件
Hadoop生态圈各常用组件介绍Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和MapReduce。Hdfs是分布式文件存储系统，用于存储海量数据；MapReduce是并行处理框架，实现任务分解和调度。Hado...
2019-06-03 09:03:44
439
原创 Hive
是什么、为什么、Hive简介：非java编程者对hdfs的数据做MR操作将SQL转换为MR数据仓库：不是数据库（MySQL）；数据库：支持数据系统，MR任务很久，对用户来说不可接受。HQL最终转换成MR时间很慢数据仓库：对历史数据进行数据分析数据库：支持业务系统交互式访问Hive运行时，与那数据存储在关系型数据库里面...
2019-06-03 08:13:30
122
转载 Spark之数据倾斜调优
一 调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。1.1数据倾斜发生时的现象 绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task...
2019-05-31 22:49:53
122
原创 Programming Hive ( Hive编程指南) 五
6.8 类型转换cast函数：STRING如何转FLOAT--先将salary转换为float类型，然后再比较大小 --cast(value as type) 如果 value不合法，Hive返回NULLselect name,salary from employeeswhere cast(salary as float) < 100000.0; -...
2019-05-31 09:46:44
233
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人