- 博客(24)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 .getClass.getClassLoader.getResourceAsStream的方式加载文件，总是为null加载不到数据
记录一个问题，我在用如下的代码加载配置文件的时候，总是加载不到数据，文件位置的对的SparkSessionBase.getClass.getClassLoader.getResourceAsStream(“spark-conf.properties”)解决这个问题的思路第一肯定是要去确定下，target目录下有没有这个文件，一般情况下八层是因为因为在编译的时候没有把配置文件给加载进来导致的，所以就要以这个为突破口1.查看下你的工程是不是被加载为maven工程，如果不是，右击下pom文件，as mav
2021-02-14 08:46:58
1071
1
原创 字节、字、位、比特，这四者之间的关系
字节、字、位、比特，这四者之间的关系1、位（bit）来自英文bit，音译为“比特”，表示二进制位。位是计算机内部数据储存的最小单位，11010100是一个8位二进制数。一个二进制位只可以表示0和1两种状态（21）；两个二进制位可以表示00、01、10、11四种（22）状态；三位二进制数可表示八种状态（23）……。2、字节（byte）字节来自英文Byte，音译为“拜特”，习惯上用大写的“B”表示。字节是计算机中数据处理的基本单位。计算机中以字节为单位存储和解释信息，规定一个字节由八个二进制位构成，即
2021-01-17 11:03:14
609
原创 654641165
一、到官网上下载kafka-eaglekafka-eagle官网链接地址二、上传到Linux中并解压tar -zxf kafka-eagle-web-1.4.0-bin.tar.gz -C /usr/
2020-12-08 10:15:27
171
原创 把本地jar包做成maven依赖的方式
一、要保证maven是安装好了的如果打出如下命令，出现如下就可以了C:\Users\feifei>mvn -versionApache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)Maven home: D:\service\job_tool\apache-maven-3.3.9\bin\..Java version: 1.8.0_91, vendor: Oracle Cor
2020-12-01 20:31:23
706
原创 idea中 设置20M堆内存，可实际用的时候只能使用14M不到
为什么我设置- Xmx20m在程序中只可以用13m的样子，多了，就报错代码如下
2020-11-15 19:37:43
346
2
原创 讲讲java的抽象类和接口类的区别和应用场景
来讲讲java的抽象类和接口类的区别和应用场景区别：抽象类：1. 可以添加属性，方法还可以自己的 实现，接口：1. 只可以是抽象方法应用场景：抽象类，表示的是is-a的关系，更多的是用来继承，只可以继承一个父类接口，表示的是has-a的关系，更多的是表示物体有什么功能有特体功能的概念，可以多个实现多个父类...
2020-10-22 10:27:48
295
原创 快速下载安装Git
如果你要用安装Git的话那你不要去官网去下载，它的速度会让你怀疑人生的这里我给大家提供一个基于阿里镜像的下载链接，网址：https://npm.taobao.org/mirrors/git-for-windows/大家选择下载就可以了...
2019-11-23 10:33:43
260
1
原创 kafka消息发送的时候实现一次性语义机制，幂等操作和事务操作
kafka实现消息只被精准处理（发送）一次kafka中实现这个功能的机制主要有两种，一种是幂等操作，另一种是事务操作，幂等操作所谓的幂等操作是指一个操作无论你重复的操作多少遍，最终得到的结果都是一样的，就比如乘法中的乘1操作，无论你乘多少次1结果都是它本身，类似这种操作就叫做幂等操作。在计算机中所谓的幂等操作，就是如果一个子程序是幂等的，那它必然不能修改系统的状态，这样不管运行这个子程序多...
2019-11-18 10:09:54
703
原创 kafka系列之kafka各个版本的区别
kafka的版本比较多大致有0.7、0.8、0.9、0.10、0.11、1.0 和 2.0，其中的小版本和 Patch 版本很多下面分别岁这些版本的特性跟大家讲解下0.7，0.8版本这是最早开源时的“上古”版本了，以至于我也从来都没有接触过。这个版本只提供了最基础的消息队列功能，甚至连副本机制都没有，我实在想不出有什么理由你要使用这个版本，因此一旦有人向你推荐这个版本，果断走开就好了。Kaf...
2019-11-15 14:56:33
7502
原创 kafka生产者的（1）消息去向何方
一、消息的发送消息发送是策略：所谓分区策略是决定生产者将消息发送到哪个分区的算法。Kafka 为我们提供了默认的分区策略，同时它也支持你自定义分区策略。如果要自定义分区策略，你需要显式地配置生产者端的参数partitioner.class。这个参数该怎么设定呢？方法很简单，在编写生产者程序时，你可以编写一个具体的类实现org.apache.kafka.clients.producer.Par...
2019-11-15 12:01:24
203
原创 mysql中的sql优化
在优化sql的时候，首先要根据它的执行计划，定位到跑的慢的sql片段在哪里，然后进行有针对的优化。在书写sql语句的时候，尽可能的减少子查询，比如能直接join的，就不要在它后面加select子查询了尽量不要写*，特别是那些字段比较多的表如果表有索引，一定要主要索引生效的条件，把索引利用起来尽量用group by 替代distinct...
2019-11-15 11:37:33
82
原创 虚拟机磁盘的扩展挂载
在VMware中有两种方式拓展磁盘的大小，一种是直接在以前的基础上“扩展”磁盘，一种是添加磁盘，今天说下“拓展磁盘中的那些事”第一要扩展磁盘，必须要保证虚拟机不能有快照，如果是添加磁盘就可以然后根据VMware的界面提示选择扩展就可以了，注意，扩展只能比以前的大，不能比以前小（这里就不再截图了二、磁盘的分区fdisk -l看下你刚才给的磁盘（比如100G）在哪个盘里，一般你选择扩展磁盘...
2019-10-28 18:11:03
496
原创 集群自动化启动脚本（kafka，zookeeper，es）
一、环境所有的自动化启动脚本都要基于一个条件，那就是集群的机器直接要能ping的同，免密登入（如果不能免密登入应该也行，具体没有试过），其他的环境都是大数据那一套没什么特别的（Hadoop，spark，flink，es等）二、主要思想就是通过ssh这个命令登入到集群中其他的机器中，然后执行对应的命令，但是这个里要注意了，在执行命令的时候最好带上如下代码source /etc/profile...
2019-10-27 11:04:25
519
原创 log4j的配置
可以控制控制台的 输出类型## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information rega...
2019-10-20 17:30:40
241
原创 在idea中跑sparkStructure的报错处理方式
在开发spark的时候如果放在idea中直接跑这个程序，经常会出现这个问题，针对这个问题，我给出了下面的解决方法，亲测有用19/10/20 15:24:36 ERROR StreamMetadata: Error writing stream metadata StreamMetadata(2fc9ca74-03c5-491c-a136-a65f8e6e161e) to file:/C:/Use...
2019-10-20 16:31:27
505
2
原创 kafka重要参数配置
Broker端的参数1.log.dirs：这个参数可以跟几个文件目录，如：/home/kafka1,/home/kafka2,/home/kafka3如果有条件这几个目录最好是不同磁盘的目录2.zookeeper.connect：这里说下如果多个kafka集群都用这个zookeeper的指定方式。如：zk1:2181,zk2:2181,zk3:2181/kafa1,zk1:2181,zk...
2019-10-18 13:33:36
495
原创 kafka的操作命令，后台启动命令
1. 启动kafka./kafka-server-start.sh ../config/server.properties 前台启动nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 & 后台启动命令2. 创建topic，模拟生产者，消费者创建topicc...
2019-10-17 11:31:53
624
原创 Kafka线上集群部署方案怎么做？
可以从部署的操作系统，磁盘，带宽这三个方面入手探讨，就操作系统来说由于kafka底层IO的实现是基于Java的selector，selector在Linux上实现的机制是epoll（异步），在Windows上实现的是（select），因此它在Linux上能实现更高效的IO性能，而且Linux可以实现零拷贝机制。磁盘磁盘来说的话可以使用机械硬盘就可以了磁盘的规划我们来计算一下：每天 1 ...
2019-10-16 10:19:44
192
原创 spark中的join和cogroup算子的区别
来谈论下sparkRDD中的join和cogroup 这两个算子的区别join就是简单的吧连个RDD按照相同的key给拼在一起，能匹配上多少个就给你拼多少个，代码：private static void join() { // 创建SparkConf SparkConf conf = new SparkConf() .setAppName("join") .se...
2019-10-13 12:42:23
980
原创 flink on yarn模式下的，flink中的slot，taskmanage，parallelism，以及yarn中的container，vcore，memory它们之间的关系
第一点yarn集群上同时能跑多少任务是有限定的，这个限定就是yarn上的vcore和memory这两个参数。但是它是可以根据你的配置文件可以调的，修改yarn-site.xml文件中的（这个是yarn默认的，就算不配置也是这样） <property> <name>yarn.nodemanager.resource.cpu-vcores</n...
2019-09-24 17:03:04
3987
原创 flink on yarn模式中一提交任务就发生如下错误
java.lang.reflect.UndeclaredThrowableExceptionat org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1707)at org.apache.flink.runtime.security.HadoopSecurityContext.runSec...
2019-09-23 15:03:37
1761
原创 前几天公司gitlib上的映射网址改变了，然后idea用git提交代码的时候就出现如下的错误
11:02 Push failed: Failed with error: repository ‘http://traefik.gitlab.local/cfbond/kafaka-flink-es.git/’ not found这个问题的解决方法：不知道怎么解决
2019-09-18 11:14:06
105
空空如也
flink on yarn 模式下出现提交任务失败
2019-09-24
flink中的分流和分区有什么区别吗，分别应用到哪些应用场景中呢
2019-09-21
hdfs中可以存储几个目录吗，怎么配置的？
2019-09-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人