- 博客(16)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hive.exec.orc.default.stripe.size相关
1)因此在适当增大hive.exec.orc.default.stripe.size, "256*1024*1024"的值可提高效率，就像适当提高blocksize也可以加快效率原理类似.也就是对应的default设置值：hive.exec.orc.default.stripe.size, "256*1024*1024 " stripe的默认大小。适当加大hive.exec.orc.default.stripe.size配置，以及在orc表比较大的情况下使用BI策略可有效提高效率，
2023-12-26 09:52:12
255
1
原创 Spark Executor GC负载高
spark.driver.memory参数 向大调整（注意cgroup值也做相应调整）spark.dynamicAllocation.maxExecutors参数向大调整。spark.sql.shuffle.partitions 参数向大调整。如spark.executor.memory 参数一般向大调整。spark.driver.memory=$[目前值]*1.5。spark.driver.cores=$[目前值]*1.5。spark.executor.cores参数向小调整。1.调整内存相关的参数。
2023-11-27 19:47:54
145
原创 Spark Driver GC负载高
spark.driver.memory=$[目前值]*1.5。spark.driver.cores=$[目前值]*1.5。1.调整内存相关的参数。
2023-11-27 18:56:34
369
原创 Docker的4种网络模式
我们在使用docker run创建Docker容器时，可以用--net选项指定容器的网络模式，Docker有以下4种网络模式：· host模式，使用--net=host指定。· container模式，使用--net=container:NAME_or_ID指定。· none模式，使用--net=none指定。· bridge模式，使用--net=bridge指定，默认设置。下面分别介绍一下Docker的各个网络模式。1 host模式众所周知，Docker使用了Linux的Nam
2020-10-14 09:00:00
210
1
转载 Python中“if __name__==‘__main__‘:”理解与总结
https://www.cnblogs.com/chenhuabin/p/10118199.html
2020-09-09 11:16:19
93
转载 单应用下RabbitMQ如何保证线程安全，及多应用下抢数据问题
消费RabbitMQ时的注意事项，如何禁止大量的消息涌到Consumer，保证线程安全：按照官网提供的订阅型写法（Retrieving Messages By Subscription ("push API") ） 我发现，RabbitMQ服务器会在短时间内发送大量的消息给Consumer，然后，如果你没有来得及Ack的话，那么服务端会积压大量的UnAcked消息，而Consumer如果来不急...
2019-04-11 14:48:37
2111
转载 你真的会用Java中的三目运算符吗？
写在前面：引用三目运算符是我们经常在代码中使用的，a= (b==null?0:1); 这样一行代码可以代替一个 if-else，可以使代码变得清爽易读。但是，三目运算符也是有一定的语言规范的。在运用不恰当的时候会导致意想不到的问题。前段时间遇到（一个由于使用三目运算符导致的问题，其实是因为有三目运算符和自动拆箱同时使用（虽然自动拆箱不是我主动用的）。一、三目运算符对于条件表达式b?...
2019-04-10 22:02:24
198
转载 Java中的static关键字解析
static关键字是很多朋友在编写代码和阅读代码时碰到的比较难以理解的一个关键字，也是各大公司的面试官喜欢在面试时问到的知识点之一。下面就先讲述一下static关键字的用法和平常容易误解的地方，最后列举了一些面试笔试中常见的关于static的考题。以下是本文的目录大纲： 一.static关键字的用途 二.static关键字的误区 三.常见的笔试面试题 若有不正之处，希望谅解...
2019-04-10 21:58:31
80
转载 java中native的用法
前言：在查看 Thread.java 文件时，发现有一个 方法比较特殊private native void start0();概念：native关键字说明其修饰的方法是一个原生态方法，方法对应的实现不是在当前文件，而是在用其他语言（如C和C++）实现的文件中。Java语言本身不能对操作系统底层进行访问和操作，但是可以通过JNI接口调用其他语言来实现对底层的访问。JNI是Java...
2019-04-10 21:57:14
117
转载 Java transient关键字使用小记
哎，虽然自己最熟的是Java，但很多Java基础知识都不知道，比如transient关键字以前都没用到过，所以不知道它的作用是什么，今天做笔试题时发现有一题是关于这个的，于是花个时间整理下transient关键字的使用，涨下姿势~~~好了，废话不多说，下面开始：1. transient的作用及使用方法 我们都知道一个对象只要实现了Serilizable接口，这个对象就可以被序列化...
2019-04-10 21:55:31
90
转载 浅谈MySQL中优化sql语句查询常用的30种方法
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is nul...
2019-04-10 21:44:54
77
转载 springMVC请求流程详解
SpringMVC框架是一个基于请求驱动的Web框架，并且使用了‘前端控制器’模型来进行设计，再根据‘请求映射规则’分发给相应的页面控制器进行处理。（一）整体流程具体步骤：1、 首先用户发送请求到前端控制器，前端控制器根据请求信息（如 URL）来决定选择哪一个页面控制器进行处理并把请求委托给它，即以前的控制器的控制逻辑部分；图中的 1、2 步骤；2、 页面控制器接收到...
2019-04-10 21:43:28
89
转载 Hibernate事务与并发问题处理（乐观锁与悲观锁）
Hibernate事务与并发问题处理（乐观锁与悲观锁）一、数据库事务的定义 数据库事务(Database Transaction) ，是指作为单个逻辑工作单元执行的一系列操作。事务处理可以确保除非事务性单元内的所有操作都成功完成，否则不会永久更新面向数据的资源。通过将一组相关操作组合为一个要么全部成功要么全部失败的单元，可以简化错误恢复并使应用程序更加可靠。一个逻辑工作单元要成为事务，必...
2019-04-10 21:41:54
76
转载 ArrayList、LinkedList、Vector的区别
Arraylist和Vector是采用数组方式存储数据，此数组元素数大于实际存储的数据以便增加插入元素，都允许直接序号索引元素，但是插入数据要涉及到数组元素移动等内存操作，所以插入数据慢，查找有下标，所以查询数据快，Vector由于使用了synchronized方法-线程安全，所以性能上比ArrayList要差，LinkedList使用双向链表实现存储，按序号索引数据需要进行向前或向后遍历，但是插...
2019-04-10 21:40:27
66
转载 hashcode详解
序言 写这篇文章是因为在看hashMap源码时遇到有什么hashcode值，然后就去查，脑袋里面是有映像的，不就是在Object中有equals和hashcode方法嘛，这在学java基础的时候就遇到过，不过那时候无所谓，不懂就不懂，就一笔带过去了，然后到现在，又回过头来补本应该以前就搞清楚的问题，所以知道了一个道理，学习不是一个追求速度的事情，不懂就要去查清楚，弄明白，一步...
2019-04-10 21:30:27
206
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人