- 博客(23)
- 收藏
- 关注
RSS订阅原创 Redis学习（二）——基本命令操作
在线测试redis命令网址https://try.redis.io/?_ga=2.122075523.965010314.1594890063-693923878.1594798892注意 这个网址是连接上redis客户端之后测试用的Redis命令启动命令redis-server连接命令redis-cli该命令会连接本地的 redis 服务redis-cli -h host -p port -a password该命令可连接远程redis服务注意 远程连接redis服务时远程re
2020-07-18 11:04:33
157
原创 Redis学习（一）——基本介绍以及安装
什么是Redis官网上：Redis是一种开放源代码（BSD许可）的内存中数据结构存储，用作数据库，缓存和消息代理。它支持数据结构，例如字符串，哈希，列表，集合，带范围查询的排序集合，位图，超级日志，带有半径查询和流的地理空间索引。Redis具有内置的复制，Lua脚本，LRU驱逐，事务和不同级别的磁盘持久性，并通过Redis Sentinel和Redis Cluster自动分区提供高可用性单机版安装（Linux环境）1、下载：https://redis.io/download2、解压：tar -zxv
2020-07-15 17:51:11
146
原创 Kafka集群的搭建以及java生产消费代码测试
1、什么是Kafka官网上：Kafka®用于构建实时数据管道和流式应用程序。它具有横向可扩展性、容错性、速度极快，在数千家公司的生产中运行。2、集群搭建准备JDKZookeeper集群（https://mp.csdn.net/console/editor/html/86435349）防火墙的关闭（很重要不然在启动的时候会一直报连接错误）服务器之间的互信配置（.ssh目录下的操作见https://mp.csdn.net/console/editor/html/83477825）下载安装包：htt
2020-07-08 21:53:26
307
原创 Hive的安装以及基本操作的学习
目录什么是Hive为什么要学习hivehive安装部署hive数据类型hive的常用操作数据导入操作DDL数据定义创建表管理表外部表分区表DML数据操作常用查询同Mysql (略)分桶（抽样查询）UDF自定义函数hive压缩hive其他操作什么是Hive 官网：http://hive.apache.org/ Apache Hive™数据仓库软件有助于使用SQL读取，编写和管理驻留在分布式存储...
2019-08-04 18:53:17
165
原创 linux通过yum命令安装mysql
首先检查 MySQL 是否已安装yum list installed |grep mysql如果有的话 就全部卸载yum-yremove +数据库名称MySQL 依赖 libaio，所以先要安装 libaioyum search libaio# 检索相关信息yum install libaio# 安装依赖包下载 MySQL Yum Repository地址...
2019-08-04 15:59:40
200
原创 Mapreduce学习（6）——join操作
在mapreduce程序中有可能遇到文件一种某个字段对应另外一个文件中的某个字段我们又想把这两个文件中的数据在一起展示例如文件一：第一列代表订单号、第二列代表商品ID、第三列代表商品卖出数量文件二：第一列代表商品ID、第二列代表商品名、第三列代表商品单价情景：求出每个订单商品总价（商品单价*数量的和）解决：将两个文件进行join操作准备文件：把订单文件和商品...
2019-03-03 15:52:59
246
原创 Mapreduce学习（五）——数据压缩
一、为什么进行数据压缩？mapreduce操作需要对大量数据进行传输二、数据压缩的作用。压缩技术有效的减少底层存储系统读写字节数，hdfs。压缩提高网络带宽和磁盘效率。数据压缩节省资源。通过数据压缩可以影响到mapreduce的性能。注意：数据压缩不适用于文件小任务多的情景三、mapreduce常用的压缩编码 压缩格式 是否需要安装 ...
2019-02-17 19:51:56
264
1
原创 数据库之分库分表
一、分库分表的集中方式1、把一个节点中的多个数据库拆分到不同的节点上优点：简单缺点：如果写压力不均衡则达不到效果2、把一个数据库中的表分离到不同的数据库中优点：减轻原来的写压力缺点：只能解决暂时的压力3、表的水平拆分。下面细说二、数据库表分片前的准备1、如何选择分区键1）分区键要尽量避免跨分片查询的发生（否则则达不到分片的效果）2）分区键要能尽量使各个分...
2019-01-27 21:04:01
120
原创 zookeeper基础学习（二）
这篇文章主要是继上篇文章继续来讲述zookeeper的相关原理知识一、zookeeper中的角色1）领导者（leader），负责进行投票的发起和决议，更新系统状态 2）学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票 Observer可以接受客户端连接，将写请求转发给le...
2019-01-20 21:40:40
143
原创 zookeeper基础学习（一）
一、什么是zookeeperZookeeper是Google的Chubby一个开源的实现，是Hadoop的分布式协调服务它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等二、为什么用zookeeper1、大部分分布式应用需要一个主控、协调器或者控制器来管理物理分布的子进程（如资源、任务分配等）2、目前，大部分应用需要开发私有的协调程序，缺乏一个通...
2019-01-13 21:04:39
149
原创 mysql 事务以及锁机制
一、事务相关数据库操作的最小工作单元，是作为单个逻辑工作单元执行的一系列操作；事务是一组不可在分割的操作集合Innodb存储引擎支持事务四大特性： 原子性：同个事务中的操作同时成功或失败 一致性：指的是业务上的一致 隔离性：所有事务之间对数据的操作相互不可见 持久性：对数据的操作能持久保存事务并发的三大问题： ...
2019-01-06 21:16:25
828
4
原创 数据库知识——MySQL索引结构B+tree
一般在项目中做报表功能的人都会遇到sql查询慢的问题。这时候很多人都会选择给合适的字段创建索引。那么索引为什么加快sql查询呢？现在来看看什么是mysql索引一、什么是索引？索引是为了加速对表中数据行的检索和创建的一种分散存储的数据结构很多人在面试的时候说索引是书的目录之类的答案。其实很多面试官不是要你回答这种模糊的概念。记住：索引是一种数据结构索引上面储存这表数据在磁盘中的地...
2018-12-31 13:04:41
219
原创 Mapreduce学习（四）——自定义对象序列化以及分组排序
前面讲的wc程序都是按照key的默认排序来排序的。这篇文章给大家带来自定义排序以及数据和对象的映射序列化等相关操作准备测试数据如下：这里面的数据是商品名称 商品类型 进价 售价 数量 时间我们要做的是不同类型的商品放在不同的文件里面并且统计出每个商品的总利润并且按照利润倒序展示一、定义一个对象用于存放数据这个对象必须满足一下要求： 1）实现hadoop的序列化...
2018-12-23 17:35:06
385
原创 Mapreduce学习（三）——本地调试mr程序
上一篇文章介绍了mr和yarn执行过程。我们提交job都是在本地编写代码然后打包传送到linux上然后执行jar。非常麻烦而且不利于调试。所以这篇文章给大家带来如何在本地利用远端环境来调试mr程序。输入输出路径皆为本地路径：直接将之前的代码运行会出现以下错误： 没有HADOOP_HOME。。。既然如此那就在本地配置一个。第一次修改：hadoop包在本地解压配置环境变量（略过...
2018-12-17 11:56:37
894
原创 Mapreduce学习（二）——mr程序提交的流程+yarn框架的资源调度
上篇文章简单写了一个mr程序并且提交至咱们的集群中运行。这篇文章给大家带来mr具体的流程以及进程的变化过程我们运行sh.start-all.sh 时进程会出现 其中DataNode、NameNode、SecondaryNameNode属于HDFS的进程用于管理文件存储ResourceManager（下面称RM）和NodeManager（下面称NM）属于yarn框架的进程一、提交...
2018-12-16 00:11:17
576
原创 Mapreduce学习（一）——mr程序wordcount
之前学习了java操作hdfs系统。现在来学习mapreduce。写一个最简单的wordcount的小程序一、mapreduce介绍mr框架其实是由两部分构成：第一部分就是map部分。第二部分就是reduce部分。map是对hdfs系统上的文件进行第一次的筛选解析生成K-V的格式发送给reduce。reduce部分就是接收map解析处理之后的K-V键值对之后。对其进行计算得到我们所...
2018-12-09 20:21:11
2332
2
原创 jdk1.8 HashMap源码解析
一、继承关系：二、主要的属性包括静态以及非静态：public class HashMap<K,V> extends AbstractMap<K,V> implements Map<K,V>, Cloneable, Serializable { // 序列号 private static final long serialVe...
2018-12-02 22:42:18
112
原创 Java操作HDFS
一、创建Java并使用maven在依赖hdfs所需要的jar文件创建过程：略pom.xml如下： <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>ha...
2018-11-25 23:35:16
205
原创 ArrayList扩容机制
上一篇文章介绍了ArrayList和LinkedList的区别。其中将ArrayList的add（）方法中的扩容跳过。现在结合源码（给予jdk1.8）详细讲一下ArrayList的扩容机制首先 ArrayList的默认长度应该大家都很了解是10在调用有参的构造方法时也是可以指定初始长度add()方法中其实有两个步骤我们主要看第一步其中就包括扩容的部分ensureC...
2018-11-18 10:16:13
216
原创 ArrayList和LinkedList区别（源码分析）
面试题中经常出现的一道题就是ArrayList和LinkedList的区别话不多说我们下面一个个来看看ArrayList:1）继承AbstractList抽象类默认长度是10其中维护的是一个数组其中size变量为当前维护的数组的长度elementData是当前维护的集合数据2）添加元素的方法有add(E e)、add(int index, E e)、addAll(Coll...
2018-11-11 16:39:08
260
原创 创建对象的方式有几种
最近看到一个java面试题是：创建对象的方式有几种很多同学看到这道题第一想法肯定是new出来。其实除了new对象的方式以外还有很多种下面我们来看看。一、new Obj..()这种方式应该是很多人最经常使用的不过在框架当中很多对象都已经使用依赖注入的方式交给框架容器管理。使用注解的形式直接使用。但是项目当中自己主动new Obj()的情况还是很常见。这种方式其实是调用了对象中的构造函数来...
2018-11-04 20:16:27
2493
原创 linux下使用ssh远程连接免密登录
在hadoop中有很多组件可能在多个服务器上。而在启动hdfs的时候都会提醒用户是否连接以及输入服务器密码。一台、两台服务器手动输入还不算麻烦。但是一般情况下都是有很多太服务器。这时候就会导致操作上的麻烦，那如何才能ssh免密登录呢？其实很简单。我相信很多人在工作中都使用过git作为项目的代码版本控制吧。我们一般的操作都是在内容中搭建一个gitlab作为项目代码远程仓库，然后在本地window...
2018-10-28 21:35:43
1517
1
原创 Linux如何修改静态IP
工欲善其事必先利其器！学习大数据知识第一步安装学习环境。一、下载VM。此处附上下载连接：https://my.vmware.com/en/web/vmware/free#desktop_end_user_computing/vmware_workstation_player/15_0|PLAYER-1500|product_downloads二、下载CentOS6/7系统。为了方便学习我们...
2018-10-20 22:44:16
2499
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人