江湖峰哥的博客

原创 IDEA打jar

idea打jar

原创 idea禁用Run Anything

idea小技巧

转载 IDEA中的Structure模块使用详解

IDEA中的Structure模块使用详解

原创 浏览器修改默认主页(360,chrome...)

浏览器设置主页

原创 IDEA添加第三方jar包

idea添加第三方jar

原创 IDEA导入/打开项目适应本地环境

idea配置自适应

原创 IDEA默认配置文件初探

IDEA配置文件

原创 azkaban邮箱配置(基于azkaban3.9.0.0)

azkaban邮件配置

原创 java.lang.NoSuchFieldError: INSTANCE

错误摘要

原创 azkaban安装(Linux环境)

azkaban

原创 return (Comparator＜T＞ & Serializable)

lambda语法糖

原创 java 泛型初识

java泛型入门

转载 Spark Shuffle原理及相关调优

Spark Shuffle原理及相关调优阅读上面这位大佬的技术分享,个人觉得文章很精致且易懂

原创 datax sqlservr2hdfs.json模板

{ "job": { "content": [ { "reader": { "name": "sqlserverreader", "parameter": { "connection": [ { "jdbcUrl": [ "jdbc:sqlserver://ip:port;databaseName=db" ], "table": [ "tableName"

转载 idea快速将java文件打包成可以运行的jar

参考大佬这篇7.生成可执行的jar包(补充一下)在I:\myApp路径下输入如下命令：jar -cef test.CardLayoutDemo CardLayoutDemo.jar test以上命令及参数的含义如下：jar命令为java自带的专用打包工具；c代表生成新的jar包；e代表可执行的类，亦即main方法所在的类。书写时要加上包名，在本例中是后面的test.CardLayoutDemo；f代表生成的jar包的名称，在本例中是CardLayoutDemo.jar。此包名可以随意命名，没

原创 datax hdfs2mysql.json模板

运行如下命令可以查看官方文档datax.py -r hdfsreader -w mysqlwriterDataX (DATAX-OPENSOURCE-3.0), From Alibaba !Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.Please refer to the hdfsreader document: https://github.com/alibaba/DataX/blob/master/hdfs

转载 Hive中压缩使用详解与性能分析

参考大佬这篇注意:如果文件格式不是textfile(比如parquet),做测试的时候可能最终输出的文件后缀名效果不明显,例如:create external table dws_s_oaczrzst_zb33 (`XM` string COMMENT '操作人姓名',`avg_czcs` double COMMENT '平均操作次数') COMMENT '当天操作次数曲线图' row format delimited fields terminated by '|' stored as pa

原创 hadoop常用命令

1. 查看某个目录下文件数[root@tpkm-n1:logs]# hadoop fs -count -h /topkeeerp 116 227 21.6 G /topkeeerp /topkeeerp下有116个目录 一共有227个文件 占用总大小为21.6G

转载 Maven optional关键字理解

参考这篇大佬

转载 idea注解实现忽略部分代码的格式化

参考这篇大佬亲测有效

原创 ERROR: Cannot uninstall 'configobj'(安装mycli的时候)

mycli官网地址参考大佬的这篇注意官方这样讲： mycli 1.9.0中删除了对Python 2.6的支持。如果您正在运行Python 2.6，则需要安装mycli 1.8.1。[root@ylxqc:~]# python -VPython 2.7.5但是我安装的时候Python的版本是2.7的,遇到了如下的坑pip install mycliFound existing installation: configobj 4.7.2ERROR: Cannot uninstall 'conf

原创 linux下载jdk压缩包

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" https://download.oracle.com/otn/java/jdk/8u251-b08/3d5a2bb8f8d4428bbe94aed7ec7ae784/jdk-8u251-linux-x64.tar.gz?AuthParam=1589263460_2eacba391efd2ecdc4bb81

原创 Content type 'multipart/form-data;boundary=-....Ndzc1;charset=UTF-8' not supported

org.springframework.web.HttpMediaTypeNotSupportedException: Content type 'multipart/form-data;boundary=----WebKitFormBoundaryRAYPKeHKTYSNdzc1;charset=UTF-8' not supported背景: springboot工程一个controller接口@RestController@RequestMapping("/admin/product/adming

原创 mybatis plus自动生成业务代码(controller,service,entity,mapper)

<dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-generator</artifactId> <version>3.3.0</version> <!--注意3.3.0不支持正则匹配,比如我想生成数据库中以...

原创 java中关于获取当前代码执行路径的问题(System.getProperty("user.dir"))

/** * 获取项目执行时候的根路径 */public class MyUrlDemo { public static void main(String[] args) throws Exception { MyUrlDemo muDemo = new MyUrlDemo(); muDemo.showURL(); } public void showURL() throws ...

原创 springboot排除自动配置的4个方法

参考这篇比如项目中引入了mybatis,但是排错的时候想排除数据库相关的干扰,注释掉mybatis依赖,项目有报错,此时排除自动配置就派上用场了方式一:@SpringBootApplication(exclude = { DataSourceAutoConfiguration.class, DataSourceTransactionManagerAutoConfiguration.clas...

转载 SpringBoot热部署实现()devtools)

SpringBoot热部署实现(devtools)

原创 springboot多个开发环境配置文件同时存在

1. 一个yaml文件中配置多个环境spring: profiles: active: dev #这里激活开发环境 # 公共配置 application: name: ycmall-product freemarker: cache: false thymeleaf: cache: false devtools: restart:...

原创 Mysql窗口函数之组内SUM、AVG操作

-- 测试数据参考 https://www.cnblogs.com/thxj/p/12727589.htmlSELECT `name`, `course`, `score`, SUM( score ) over ( PARTITION BY `course` ) AS course_score_total , ROUND(AVG(score) over (...

原创 Mysql窗口函数之组内逐行连续SUM、AVG操作

/*测试数据 参考 https://www.cnblogs.com/thxj/p/12727589.html*/CREATE TABLE `school_score` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` char(1) DEFAULT NULL, `course` char(10) DEFAULT NULL, `sco...

转载 windows安装mysql 8.x

https://blog.csdn.net/qq_37350706/article/details/81707862

原创 图解排序之快排

def quickSort(left: Int, right: Int, arr: Array[Int]): Unit = { // 递归出口条件 if (left >= right) return val basePositon: Int = getPosition(left, right, arr) // 以基数为界,分而治之 quickSort(left, base...

原创 Hadoop copyMerge()方法合并小文件

// Hadoop的FileUtil工具类中提供了copyMerge()方法,// 它专门用来将一个HDFS目录下的所有文件合并成一个文件并输出，其源码如下 public static boolean copyMerge(FileSystem srcFS, Path srcDir, FileSystem dstFS, Pa...

原创 Spark.graph实现找有某个共同关系的数据合并聚合

/** * Description: 使用Spark.graph实现找有某个共同关系的数据合并聚合 * Author: Administrator * Date: 2020/4/14 0014 */object TempObj { def main(args: Array[String]): Unit = { val sparkSession = SparkSession....

原创 Sublime复制当前文件路径

原创 java读取两次zip压缩的文件的内容

/** * description: java读取两次压缩的文件的内容(zip文件里还是zip文件) * author: Administrator * create: 2020/4/13 0013 **/public class TestClass { public static void main(String[] args) throws Exception { //获取文件...

原创 Kafka幂等性

1.假设我们有5个请求,batch1、batch2、batch3、batch4、batch5,如果只有batch2 ack failed,1、3、4、5都保存了,而实际上batch2已经落盘了,只是在ack那一刻网络出现了问题 那么根据底层的retry机制batch2将会随下次batch重发而造成数据重复落盘 2.为了解决retry带来的数据重复落盘的问题,kafka加入了幂等性机制...

原创 TimeoutException: Timeout expired while initializing transactional state in 60000ms

艾弗森撒大沙发撒的f

原创 Invalid transition attempted from state INITIALIZING to state ABORTING_TRANSACTION

Kafka Producer端开启事物总是抛此异常信息Exception in thread "main" org.apache.kafka.common.KafkaException: TransactionalId my-transactional-id-0100: Invalid transition attempted from state INITIALIZING to state...

原创 Kafka Eagle监控组件

1. 官网下载安装包 https://codeload.github.com/smartloli/kafka-eagle-bin/tar.gz/v1.4.5 #最好用其他的下载软件下载2. 解压安装包(两次解压,最终目录结构如下) [root@bigdata131:kafka-eagle-web-1.4.5]# ls bin conf db font kms logs [root...