- 博客(30)
- 收藏
- 关注
RSS订阅原创 scala集合框架
课程目标，scala的集合框架元组数组List集合Map集合Set集合集合上的常用方法什么是scala集合框架2.1scala集合框架分为三大类；序列seq 集合set 映射MapSuch as：Seq是列表，适合存有序重复数据，进行快速插入/删除元素等场景Set是集合，适合存无序非重复数据，进行快速查找海量元素等场景总之，最大的区别不在语言实现上，而是数据结构的使用上2.2集合主要有两个类型，可变和不可变类型(val var)默认情况下都是不可变集合，如果需要可变
2020-08-21 17:53:34
349
原创 你们要的Scala语言全家桶来咯，持续更新ing。。。
SCALA语言作者认为scala是最简单又方便的的语言， 懒人必备。1.scala的概述1.1什么是scalascala它是一门语言学过的其他语言:java js shell c C++1.2scala它是多范式的编程语言:(1)面向对象(2)面向函数式编程f(x)=y函数式编程和它的高级特性(泛型，隐士类，隐士函数，隐士参数等等)1.3 scala语言的优点: 快，代码简洁1.4scala语言的缺点: 难以理解为什么要学习scala2.1优雅:这是框架设计师第一个要
2020-07-11 22:43:13
240
原创 Hive全家桶
什么是hive1.1hive基本思想hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化数据文件映射为一张数据库表,并提供SQL查询功能。1.2为什么使用Hive直接使用hadoop所面临的问题(50%) 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度大为什么使用hive操作接口采用类SQL语句，. 提供快速开发能力。避免了去写MapReduce，减少了开发人员的学习成本。功能扩展很方便。1.3Hive的特点可
2020-07-06 18:08:06
551
原创 HDFS读写流程基本介绍(详细)
HDFS读写流程1.0HDFS写数据流程1.0.0 概述客户端要向HDFS写数据，首先要和namenode通信以确认可以写文件并获得接受文件block的datanode，然后，客户端按顺讯将文件逐个block传递给相应的datanode，并由接收到block的datanode负责向其他的datanode复制block的副本(block块大写:我们开发那会，服务器内存小，block块大小按64m,现在的是128m)1.0.2详细步骤图1.0.3详细步骤解析(重点)1，根namenode通信请求
2020-06-29 18:29:10
1200
原创 HA集群安装部署—详细
1.运行环境1.1软件环境三个字节OS: 64位RHEL5及以上或者64位CentOS6.0及以上JVM: 预装64位JDK1.8及以上版本1.2浏览器要求Firefox 39.0.0版本以及以上或者Google Chrome 54.0.2840.8版本及以上.BEH-Manager-4.1.2安装包于官方网站下载: http://beh.pezy.cn/**2.安装准备**2.1准备虚拟机准备三个节点的虚拟机2.2修改主机名在各个节点执行以下操作来修改主机名，使集群下的
2020-06-29 12:02:44
540
原创 hadoop高可用并取代SecondaryNamenode
Hadoop2 的高可用并取代SecondaryNamenode在hadoop2.0之前,namendoe只有一个，存在单点问题(虽然hadoop1.0有secondarynamenode,checkpointnode,buckcupnode这些，但是单点问题依然存在),在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式,一种是NFS（Network File System）方式，另外一种是QJM(Quorum jormal Manager)方式2，基本原理had
2020-06-29 10:18:53
783
原创 大数据 hadoop-HDFS
标题## 1 Hadoop 系统架构1.1 Hadoop1.x和Hadoop2.x 架构在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的，Hadoop 1.x之前，其官方架构如图1所示:[ 图1.Hadoop 1.x架构图 ]从图中可看出，1.x版本之前只有一个Namenode,所有元数据由惟一的Namenode负责管理,可想而之当这个NameNode挂掉时整个集群基本也就不可用。Hadoop 2.x的架构与1.x有什么区别呢。我们来看下2.x的架构：[ 图2.
2020-06-29 09:30:47
218
原创 淘宝超级推荐
这段时间除了每天氪代码就是，开电商网站做兼职。*当你的才华还撑不起你的野心的时候,你就应该静下心来学习。三部曲走起来认识超阶级推荐投放效果分析常见问题解析与优化技巧 1，超级推荐的由来才会被唤醒。size 操作-消费者当前队列元素个数，如代码直接使用原子变量 count 获取。public int size() { return count.get();
2020-06-03 16:28:40
1396
2
原创 2020java面试必问，找不到工作你找我（一）
Java 面试宝典第一章 内容介绍 20第二章 JavaSE 基础 21一、 Java 面向对象 211.面向对象都有哪些特性以及你对这些特性的理解 212.访问权限修饰符 public、private、protected, 以及不写（默认）时的区别(2017-11-12) 223.如何理解 clone 对象 22二、 JavaSE 语法（2017-11-12-wl） 27Java 有没有 goto 语句？（2017-11-12-wl） 27& 和 &&
2020-06-03 16:27:07
4106
原创 RabbitMQ死信队列详解
死信队列死信队列介绍死信队列:DLX,dead-letter-exchange利用DLX,当消息在一个队列中变成死信(dead message)之后，他能被重新publish导另外一个Echange,这个Exchange就是DLX消息变成死信有一下几种情况消息被拒接(basic.reject / basic.nack),并且requeue = false消息TTL过期...
2020-02-29 19:19:06
329
原创 wegame桌面丢失(所有软件都可用)
1.打开此电脑2.右上角搜索引擎里输入代码tgp_daemon 即可。如果想要放在左面或者添加快捷方式邮寄此软件 会出现 创建快捷方式.或者固定到 开始位置...
2020-01-28 10:11:25
1036
原创 缓存穿透丶缓存击穿and 缓存雪崩
1请求数据时候，先从缓存中取数据， 取到就返回结果，没有话则从数据库取，数据库取到的话返回结果，如果数据库中没有数据就返回空结果1.缓存穿透缓存穿透是用户对不的存在的数据进行发起请求 such as: 用户请求的id= -1 的数据，当然肯定不会有这条数据、那就的去数据库里查找，数据库里找不到，就全表扫描，那么很可能此用户就是攻击者，而收到攻击，数据库的压力会增大，进而导致数据库压力巨大。...
2020-01-08 10:10:22
254
原创 虚拟机ping不通百度
虚拟机VMware ping 不通百度，连不上MobaXter1.This computer 1.1此电脑里面 进管理 1.2点服务和应用程序1.3服务， WMware连续的五个服务都得开在VMware里面检查 端口号一些配置的是否正确...
2020-01-04 09:28:26
1397
原创 如何实现负载均衡，那些算法可以实现
1.轮询调度 轮询调度算法就是以轮询的方式依次将请求调度到不同的服务器，即每次调度执行i = (i + 1) mod n，并选出第i台服务器。算法的优点是其简洁性，它无需记录当前所有连接的状态，所以它是一种无状态调度。 2、最小连接调度 最小连接调度算法是把新的连接请求分配到当前连接数最小的服务器。最小连接调度是一种动态调度算法，它通过服务器当前所活跃的连接数来估计服务器的负载情况。 ...
2019-12-23 12:00:35
360
原创 对分布式事务的理解--简单
事务的ACID特性1.原子性： such as:通俗的说原子性就是:在整个事务中的所有操作，要么全部完成要么全部不做，没有中间的做或者不做做了一半等。(没有) 事务再执行中发生错误，所有的操作都会被回滚，整个事务就像从没被执行过一样.一致性事务再执行必须保证系统的一致性， 比如转账， 我有500， 你有500，如果再一个事务里我成功的转账给你100，不管并发是多少，不管出现什么情况，只要执...
2019-12-23 11:48:58
159
原创 重连机制会不会造成错误
dubbo在调用服务不成功时候，默认会重试两次。Double的路由机制，会把超时的请求路由到其他机器上，而不是本机尝试，sodbbo的重试机器也能一定程度的保证服务的质量。但是如果不合理的配置重试次数，当失败时候惊醒多次进行，这样在某个时间点出现性能问题，调用方再连续重复调用，系统请求变为正常值的retries倍，系统压力会大增，容易引起服务雪崩，需要根据业务情况规划好如何进行异常处理，何时...
2019-12-23 09:44:41
416
1
原创 消息中间件
为了解决消息丢失这一问题，因此我们引出了一些重发机制，同时也带来了”消息重复“的问题 :如下 such as:当消息发送超市时候,消息则处于不确定的状态，导致重试发送消息，有可能之前的消息已经发送成功了，会出现消息重复的情况。 解决:每个消息生成一个消息id，如果发送的消息Broker已经存在了，则丢弃，这种方法只需要维护一个已经接受的消息的message id list.消息Brok...
2019-12-19 10:25:40
87
原创 3. 大数据生态圈包括哪些内容，分别有什么用途面试
hadoop 生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于spark共存，hadoop与s...
2019-12-19 09:08:57
2611
原创 接口的幂等性的概念
幂等的意思是同一个操作，重复执行多次，跟执行一次结果一致。消息幂等,即消息发送操作对于消息消费来说是幂等。也就是相同的消息发送多次，跟发送一次是一样的，这个消费只会被消费一次。...
2019-12-16 16:41:43
198
原创 java基础知识点
本文链接：https://blog.csdn.net/u012517198/article/details/103125392Java基础1、List 和 Set 的区别list和set都是继承 collection 接口；list特点：元素有放入顺序，元素可重复；set特点：元素无放入顺序，元素不可重复，重复元素会覆盖掉；2、HashSet 是如何保证不重复的put调用了对象的ha...
2019-12-07 11:26:54
181
原创 Dubbo底层实现原理和机制
Dubbo底层 用到Socket1.通信原理计算机于外界的信息交换成为通信， 基本的通信方法有两种 并行通信和串行通信并行通信：Parallel communication{并行是指多比特数据同时通过并行线进行传送，这样数据传送速度大大提高，但并行传送的线路长度受到限制，因为长度增加，干扰就会增加，数据也就容易出错。} 穿行通信:serial communication 串行通信作为计算机...
2019-12-07 10:43:22
1208
原创 Spark和Flink
Flink VS Spark 流计算 和机器学习集成在流式计算领域，同一套系统需要同时兼具容错和高性能其实非常难,同时也是一个衡量和选择的一个系统的标准，在这个领域内 Spark和flink是非常强劲的对手1.Spark和 Flink Api情况比较2.Spark和Flink支持的语言 Such as:3.Spark和flink之间的 ConectionSpark支持的C...
2019-12-07 08:59:32
312
原创 nginx
配置nginxtar -zxvf apache+tab -C /usr/local//2.环境变量vi /etc/profile#JAVA_HOMEexport JAVA_HOME=/usr/local/modules/jdk1.7.0_67export PATH=PATH:PATH:PATH:JAVA_HOME/bin//3刷source /etc/profile//4检查~...
2019-12-05 16:50:53
121
翻译 Classjava
//java 类在编译后会产生一个以.class结尾的字节码文件//该文件内存储了Class对象的相关信息，Class对象表示的是类在运行时的类型信息//Class与java.lang.reflect构成了java的反射技术//当我们要使用类时，例如使用new 操作符实例化一个新对象,访问类的静态方法，//jvm会先检查该类的有无加载，若有加载了就会直接进行相应的操作//若检查到没有加载,jvm就...
2019-07-10 17:43:50
115
翻译 反射
/** * 获取Class对象的三种方式 * 1 Object ——> getClass(); * 2 任何数据类型（包括基本数据类型）都有一个“静态”的class属性 * 3 通过Class类的静态方法：forNa...
2019-07-10 17:37:59
98
翻译 注解
如果注解难于理解，你就把它类同于标签，标签为了解释事物，注解为了解释代码。注解的基本语法，创建如同接口，但是多了个 @ 符号。注解的元注解。注解的属性。注解主要给编译器及工具类型的软件用的。注解的提取需要借助于 Java 的反射技术，反射比较慢，所以注解使用时也需要谨慎计较时间成本。作者：frank909来源：CSDN原文：https://blog.csdn.net/briblue...
2019-07-10 17:15:57
85
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人