- 博客(19)
- 收藏
- 关注
RSS订阅转载 Spark参数调优
Spark学习之路 （十二）SparkCore的调优之资源调优讨论QQ：1586558083目录一、概述 二、Spark作业基本运行原理 三、资源参数调优 3.1 num-executors 3.2 executor-memory 3.3 executor-cores 3.4 driver-memory 3.5 spark.default.parallelis...
2019-06-10 14:41:29
160
原创 Spark Sql 分区损坏的问题解决
Spark查询分区表spark-sql -e"SELECT*FROM td_fixed_http_flowWHERE dt = '2018-12-02'AND HOUR = '16' ；"出现异常：Caused by: java.io.FileNotFoundException: File hdfs://rzx121:8020/apps/hive/wareh...
2019-06-04 08:54:47
1503
转载 解决jar包冲突的问题
前言对于Jar包冲突问题，我们开发人员经常都会有碰到，当我们使用一些jar包中的类、方法等，或者有时遇到一些日志系统的问题（参考另一篇文章Jar包冲突导致的日志问题），我们会遇到ClassNotFoundException，NoSuchFieldException，NoSuchMethodException 之类的运行时异常，从经验上我们就会判断，Jar包冲突了。解决Jar包冲突问题，每个人都...
2019-05-20 09:57:46
479
转载 Hadoop常见错误以及解决办法
http://www.raincent.com/content-85-7554-7.htmlhttp://www.cnblogs.com/peizhe123/p/5540845.html hadoop常用参数配置
2019-05-08 09:56:25
232
原创 Scala隐式转换
Scala 隐式转换隐式转换我们需要某个类中的一个方法，但是这个类没有提供这样的一个方法，所以我们需要隐式转换，转换成提供了这个方法的类，然后再调用这个方法 第一步，需要一个增强的类，里面提供我们想要的方法，接收的参数的类型一定要是被增强类的类型。 第二部，还需要在单例对象中写明隐式转换 第三步，把隐式转换函数导进来 在spark中隐士转换都写在伴生对象中，因为类的实例肯定...
2019-03-05 19:38:26
102
原创 Scala柯理化函数
Scala 函数柯里化(Currying)柯里化(Currying)指的是将原来接受两个参数的函数变成新的接受一个参数的函数的过程。新的函数返回一个以原有第二个参数为参数的函数。实例首先我们定义一个函数:def add(x:Int,y:Int)=x+y那么我们应用的时候，应该是这样用：add(1,2)现在我们把这个函数变一下形：def add(x:Int)(y:In...
2019-03-04 20:01:49
196
转载 RPC远程过程调用概念及实现
RPC远程过程调用概念及实现RPC框架学习笔记>>什么是RPCRPC 的全称是 Remote Procedure Call 是一种进程间通信方式。它允许程序调用另一个地址空间（通常是共享网络的另一台机器上）的过程或函数，而不用程序员显式编码这个远程调用的细节。即无论是调用本地接口/服务的还是远程的接口/服务，本质上编写的调用代码基本相同。比如两台服务器A，B，一个应用部...
2018-10-10 18:15:53
224
转载 Hbase性能优化总结
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。Auto Flash通过调用HTable.setAutoFlushTo(false)方法可以将HTable写客户端自动flush关闭，这样可以批量写入数据到HBase，而不是有一条put就执行一次更新，只有当put填满客户端写缓存的时候，才会向HBase服务端发起写请求。默认情况下auto flush是开启的。...
2018-09-30 19:03:07
157
原创 hbase查看HFile命令
hbase hfile -v -p -m -f hdfs://ns1/hbase/data/hush/sdom/e876d29be0b27d45e4a116e71d877362/domains/581955a3a1c347bda51b348fbf112970
2018-09-23 20:49:50
2811
原创 在Windows环境下编译调试Hbase源码
一、 hbase架构简介HBase 是一个开源的、分布式的、数据多版本的，列式存储的nosql数据库。依托 Hadoop 的分布式文件系统 HDFS 作为底层存储, 能够为数十亿行数百万列的海量数据表提供随机、实时的读写访问。 HBase 集群服务包含：HBase 数据库服务、HDFS 分布式文件系统、Phoenix 查询引擎。压缩格式方面支持 GZIP、BZIP2、LZO、SNAPPY，可自...
2018-09-17 20:31:49
1835
原创 Hbase数据迁移之bulkload
一、概述HBase本身提供了很多种数据导入的方式，通常有两种常用方式：1、使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase2、另一种方式就是使用HBase原生Client API这两种方式由于需要频繁的与数据所存储的RegionServer通信，一次性入库大量数据时，特别占用资源，所以都不是最有效的。了解过HBase底...
2018-09-16 17:19:06
3320
1转载 《JAVA与模式》之单例模式
《JAVA与模式》之单例模式在阎宏博士的《JAVA与模式》一书中开头是这样描述单例模式的： 作为对象的创建模式，单例模式确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。这个类称为单例类。单例模式的结构 单例模式的特点：单例类只能有一个实例。单例类必须自己创建自己的唯一实例。单例类必须给所有其他对象提供这一实例。 饿汉式单例类pub
2016-06-26 15:58:00
185
转载 深入理解JAVA泛型
1. Why ——引入泛型机制的原因假如我们想要实现一个String数组，并且要求它可以动态改变大小，这时我们都会想到用ArrayList来聚合String对象。然而，过了一阵，我们想要实现一个大小可以改变的Date对象数组，这时我们当然希望能够重用之前写过的那个针对String对象的ArrayList实现。在Java 5之前，ArrayList的实现大致如下：
2016-06-18 20:58:26
321
原创 Javap反编译class文件
public class Pair { private T first; private U second; public Pair(T first, U second) { this.first = first; this.second = second; } public T getFirst()
2016-06-18 20:54:03
1098
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人