- 博客(21)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 SparkStreaming使用checkpoint存在的问题及解决方案
SparkStreaming使用checkpoint存在的问题及解决方案sparkstreaming关于偏移量的管理转存失败重新上传取消在 Direct DStream初始化的时候，需要指定一个包含每个topic的每个分区的offset用于让Direct DStream从指定位置读取数据。 offsets就是步骤4中所保存的offsets位置 读取并处理消息 处理完之后存储结...
2021-09-24 10:19:52
960
原创 Jmeter通过SSH密钥连接跳板机并访问Mysql（TiDB）
主要是需要远程测试TiDB的性能1.准备工具Jmeter、JDBC驱动、SSH密钥、Putty、Puttygen（pem转换为ppk的工具）2.使用puttygen把pem转换为ppk（putty只识别.ppk格式）选择RSA，点击Load这里选择ALL Files才能选择.pem文件点击确认点击保存，碰到弹框点击是输入文件名保存到本地...
2020-03-02 14:29:17
834
原创 BTree和B+Tree详解
B+树索引是B+树在数据库中的一种实现，是最常见也是数据库中使用最为频繁的一种索引。B+树中的B代表平衡（balance），而不是二叉（binary），因为B+树是从最早的平衡二叉树演化而来的。在讲B+树之前必须先了解二叉查找树、平衡二叉树（AVLTree）和平衡多路查找树（B-Tree），B+树即由这些树逐步优化而来。二叉查找树二叉树具有以下性质：左子树的键值小于根的键值，右子树的...
2020-02-20 13:50:41
197
转载 B-Tree的理解
B-树B-tree，即B树，而不要读成B减树，它是一种多路搜索树（并不是二叉的）：1.定义任意非叶子结点最多只有M个儿子；且M>2；2.根结点的儿子数为[2, M]；3.除根结点以外的非叶子结点的儿子数为[M/2, M]；4.每个结点存放至少M/2-1（取上整）和至多M-1个关键字；（至少2个关键字）5.非叶子结点的关键字个数=指向儿子的指针个数-1；6.非叶子结...
2020-02-20 13:35:55
601
原创 linux centos7 网卡设置
自动获取动态IP地址1.输入“ip addr”并按回车键确定，发现无法获取IP(CentOS 7默认没有ifconfig命令)，记录下网卡名称（本例中为ens33）。2.输入“cd /etc/sysconfig/network-scripts/”按回车键确定，继续输入“ls”按回车键查看文件。3.输入“vi ifcfg-ens33”并按回车键确定（网卡名称可能不同）。亦可在第二步...
2019-10-30 15:37:47
368
原创 Spark性能调优之合理设置并行度
1.Spark的并行度指的是什么？ spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！ 当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么导致你分配下去的资源都浪费掉了。同时并行运行，还可以让每个task要处理的数量变少（很简单的原理。合理设置并行度，可以充分利用集群资源，减...
2019-10-14 12:11:28
130
原创 SparkStreaming使用checkpoint存在的问题及解决方案
SparkStreaming使用checkpoint存在的问题及解决方案sparkstreaming关于偏移量的管理在 Direct DStream初始化的时候，需要指定一个包含每个topic的每个分区的offset用于让Direct DStream从指定位置读取数据。 offsets就是步骤4中所保存的offsets位置 读取并处理消息 处理完之后存储结果数据 用虚线圈...
2019-09-09 20:16:00
595
原创 SparkContext、SparkConf和SparkSession的初始化
SparkContext和SparkConf 任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。val conf = new SparkConf().s...
2019-09-09 18:50:34
216
原创 IDEA各种酷炫插件分享
今天介绍一下IDEA的一些炫酷的插件，IDEA强大的插件库，不仅能给我们带来一些开发的便捷，还能体现我们的与众不同。一、插件的安装打开setting文件选择Plugins选项 Ctrl + Alt + S File -> Setting 分别是安装JetBrains插件，第三方插件，本地已下载的插件包。二、各种插件1、activate-power-m...
2019-08-01 09:58:49
569
转载 Scala内部类，路径依赖类型&类型投影
转载自：http://hongjiang.info/scala-type-system-inner-type-and-type-projection/理解类型投影之前我们先来回顾一下java的内部类class Outter{ public class Inner {} public void foo(Inner c){ System.o...
2019-07-30 11:23:44
195
转载 HashMap原理及面试小结
1.HashMap简介HashMap 主要用来存放键值对，它基于哈希表的Map接口实现，是常用的Java集合之一。JDK1.8 之前 HashMap 由 数组+链表 组成的，数组是 HashMap 的主体，链表则是主要为了解决哈希冲突而存在的（“拉链法”解决冲突）.JDK1.8 以后在解决哈希冲突时有了较大的变化，当链表长度大于阈值（默认为 8）时，将链表转化为红黑树，以减少搜索时间。...
2019-07-04 11:20:13
386
转载 Java字节码文件
目录一、简单demo分析字节码文件信息常量池方法表集合二、分析try-catch-finally的demo计算机只认识0和1。这意味着任何语言编写的程序最终都需要经过编译器编译成机器码才能被计算机执行。所以，我们所编写的程序在不同的平台上运行前都要经过重新编译才能被执行。 而Java刚诞生的时候曾经提过一个非常著名的宣传口号: "一次编写，到处运行"。为了实现该目的，Su...
2019-07-02 20:27:34
2029
原创 intellij idea 无法识别新装字体的问题的两种解决办法
最近使用IDEA自带的Inconsolata字体发现使用飘号会出现莫名的乱行现象，改用Hermit字体，但是之前安装的Hermit字体却在设置中不识别，网上的方法都试了一下，总结以下两种方案：方案一：电脑环境：Windows10 x64、IntelliJ IDEA 2018.3.5 x64解决办法：找到IDEA安装目录，把字体文件复制到IDEA-jre-lib-fonts目录下，重启IDE...
2019-07-02 12:24:27
7848
4
转载 5个步骤，教你瞬间明白线程和线程安全
在探讨线程安全之前，我们先来聊聊什么是进程。什么是进程？电脑中时会有很多单独运行的程序，每个程序有一个独立的进程，而进程之间是相互独立存在的。比如下图中的QQ、酷狗播放器、电脑管家等等。什么是线程？进程想要执行任务就需要依赖线程。换句话说，就是进程中的最小执行单位就是线程，并且一个进程中至少有一个线程。那什么是多线程？提到多线程这里要说两个概...
2019-07-01 15:04:06
261
转载 String和Int相互转换方式
public class Demo3Integer {/** * 常见对象(String和int类型的相互转换) * A:int – String * a:和"“进行拼接//推荐 * b:public static String valueOf(int i)//推荐 * c:int – Integer – String(Integer类的toString方法...
2019-06-30 21:35:24
290
转载 GET和POST两种基本请求方法的区别
GET和POST是HTTP请求的两种基本方法，要说它们的区别，接触过WEB开发的人都能说出一二。最直观的区别就是GET把参数包含在URL中，POST通过request body传递参数。你可能自己写过无数个GET和POST请求，或者已经看过很多权威网站总结出的他们的区别，你非常清楚知道什么时候该用什么。当你在面试中被问到这个问题，你的内心充满了自信和喜悦。你轻...
2019-06-23 18:18:22
777
转载 Kafka彻底删除topic详解
一、前言严格来讲，kafka删除topic并不是很难，但是步骤比较麻烦，稍有不慎就会失败。本文就kafka删除topic的步骤做出详细解析。二、详细步骤①停止kafka服务停止kafka的所有的消费者和生产者，关闭kafka，防止在删除topic之后，程序发现topic不存在而自动创建topic②修改配置文件在kafka安装目录的conf目录下，修改server.proper...
2019-05-27 11:58:39
2022
原创 IntelliJ IDEA 快捷键说明大全（官方help文档翻译）
##关于网上IDEA快捷键的介绍有很多，经查阅感觉很多有些啰嗦，其实大家查看帮助文档基本都能了解怎么使用，所以自我进行了精简，供自己平时查阅，也希望帮助到大家！！！1. 英文水平较好的可以直接查看原文档，步骤如下：2.具体翻译，按照模块1.Editing【编辑】快捷键英文说明中文说明Ctrl + SpaceBasic code completion (the n...
2019-05-09 13:36:48
2336
原创 关于继承里面子类get/set方法的小总结
/**编写Computer类，包含CPU、内存、硬盘等属性，getDetails方法用于返回Computer的详细信息编写PC子类，继承Computer类，添加特有属性和方法编写NotePad子类，继承Computer类，添加特有属性和方法编写Test类，在main方法中创建PC和NotePad对象，分别访问对象中特有的属性、方法，以及从Computer类继承的属性和方法并打印输出。 */
2017-11-03 17:16:03
9914
4
转载 Maven的pom.xml配置文件详解
4.0.0 asia.banseon banseon-maven2 jar 1.0-SNAPSHOT banseon-maven http://www.baidu.com/banseon A maven project to study maven
2017-09-08 18:05:34
178
转载 java中main函数解析
从写java至今，写的最多的可能就是主函数public static void main(String[] args) {}但是以前一直都没有问自己，为什么要这么写，因为在c语言中就没有这样子的要求。其实这是一个不需要解释的问题，因为java标准就是这么规定的，那么既然是java标准规定的，我们按照规定来执行就好了。不过，这并不是一个很好的学习态度，如果总是知其然而不知其所以然，总会对java有种隔
2017-09-08 16:15:05
246
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人