- 博客(167)
- 资源 (1)
- 问答 (10)
- 收藏
- 关注
RSS订阅
原创 开发必备--盘点那些我一直在使用的Idea插件
文章目录1. Alibaba Java Coding Guidelines2. Grep Console3. Rainbow Brackets4. Maven Helper5. Retrofit Rest Client 2.06. Translation7. stackoverflow8. Lombok1. Alibaba Java Coding Guidelines作用: 提高代码规范,小白入门必备的插件2. Grep Console作用: 用来更换日志颜色,已经过滤日志附带配置如下
2020-08-10 14:47:26
2140
95
原创 大数据开发必备-- 盘点使用scala语言，idea好用的一些设置
文章目录前言1. 使用ctrl+alt+v的时候自动添加类型不需要每次都手动勾选2. ctrl+/ 自动注释代码时,在代码前添加//,而不是在行首添加//3. scala自动导包设置(默认不勾选)如果还有其它scala相关的,好用的设置欢迎给我留言。前言以下的设置是基于idea 2019.3 版本,获许会有细微的不同,但大体上是不变的.1. 使用ctrl+alt+v的时候自动添加类型不需要每次都手动勾选效果如下:2. ctrl+/ 自动注释代码时,在代码前添加//,而不是在行首添加//效
2020-08-10 11:48:22
204
原创 idea/DataGrip 自定义自动生成pojo类脚本,集成lombok方式,简化开发
文章目录前言修改后生成实体类的结果如下建表语句如下具体使用1. 连接mysql后效果如下2. 选择你具体要生成实体类的表3. 点击后会跳转到一个目录,添加一个文件4. 把如下类容完整的拷贝进去5. 测试生成6. 选择生成目录然后点击ok7. 进入生成的文件夹就能看到你想要的内容了8. 关于lombok (idea可直接在插件中下载)前言自定义的原因: idea/datagrip 自带的脚本生成的pojo类需要大量的更改,不太方便,因此对此文件做了一定的修改.主要还是参考了此篇博客,不过由于与我想要的结
2020-08-06 18:12:28
2092
8
原创 Linux测试端口连通的几种方式
在很多生产环境中会需要测试端口是否连通，在很多时候生产环境中未安装 telnet 等一系列命令，这就需要我们学习更多的几种测试端口的方式。以下是对常用的几种方式进行整理。
2023-12-07 10:57:35
461
原创 一文解决 idea Maven Springboot多模块项目打包时 90% 的问题
文章目录1. 前言2. 问题3. 解决办法4. jar 包冲突5. 最后的话1. 前言之所以写这篇文章是因为在使用Maven的过程中遇到了许多问题，在这里作为记录总结2. 问题使用idea打包的时候编译偶尔成功偶尔失败，本地运行能成功，有时能打包成功但是发现使用 jar 包跑的时候会出现类找不到的情况，最终经过排查发现有部分的类打包的时候打包不进去。3. 解决办法关闭idea，找到对应项目的目录删除 .idea 文件，让 idea 去重构项目删除 Maven 本地仓库下当前项目的对应
2022-01-04 18:29:38
1742
原创 linux 普通用户配置免密登录
文章目录1. 修改配置1. 修改配置使用root 用户修改 /etc/ssh/ssh_config ，开启如下配置（每台都需要改）PasswordAuthentication yesStrictHostKeyChecking ask修改 /etc/sshd_config , 开启密码登录(每台都需要改)PasswordAuthentication yes创建 .ssh 目录su 普通用户ssh-keygen #一直回车拷贝密钥# 注意 主机名和要能识别ss
2021-12-30 18:08:53
2257
原创 prestosql / trino 连接 Elasticsearch 遇到的问题
文章目录1. 认证问题2. 证书问题3. Elasticsearch 拒绝连接最后一开始使用presto 连接elasticsearch时，发现无法进行用户名和密码进行身份的认证，在网上找了好久才知道prestosql 更名为 trino 了。最后通过安装trino 可以设置用户名和密码成功。不过在设置过程中又出现了一系列的问题，通过去github、stackoverflow、trino社区进行提问，经过网友的回答，终于解决了这个问题，在这里记录一下。1. 认证问题2021-07-21T10:28
2021-07-21 11:04:40
2517
5
原创 superset 连接时遇到的坑
1. 错误如下:Traceback (most recent call last): File "/usr/local/lib/python3.7/site-packages/elasticsearch/connection/http_urllib3.py", line 252, in perform_request method, url, body, retries=Retry(False), headers=request_headers, **kw File "/usr/local
2021-06-01 20:01:11
875
3
原创 logstash output到kafka 配置SSL 加密
文章目录1. 使用keytool来为集群的每台机器生成密钥和证书。1. 先执行下面的脚本2. 参数解释2. 配置kafka3. 遇到的问题4. 配置logstash输出到kafka的output1. 使用keytool来为集群的每台机器生成密钥和证书。1. 先执行下面的脚本会要输入很多次密码建议密码都一样#!/bin/bash#Step 1#以下注意修改时间 默认时间365keytool -keystore server.keystore.jks -alias localhost -va
2021-05-10 13:40:58
1992
2
原创 Scala 嵌套Map 获取值
def main(args: Array[String]): Unit = { val map: Map[String, AnyRef] = Map( "aaa" -> Map("bbb" -> "ccc"), "ddd" -> Map("eee" -> Map("fff" -> "ggg")), "name" -> "zhang" ) //方式一 val map1: Map[String, Any..
2021-04-14 13:37:11
1240
原创 Spark读写ES数据时遇到的问题总结
文章目录1. pom(1). 依赖(2). 仓库2. 问题一(1). 异常详情(2). 解决方法(3). 代码示例3. 问题二(1). 异常详情(2). 解决方法(3). 代码示例1. pom(1). 依赖 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache
2021-03-16 12:36:57
4151
原创 在Linux上安装Apache Superset 以及一些所遇到的坑
博主是基于Linux CentOS7环境安装文章目录1.安装依赖2. Python virtuaenv(1). 尝试之后发现报错(2). 升级python (这里是升级为python3.7)① python的下载和编译② 更新软链接③ 查看是否更新成功④ 一点说明3. 重新执行p安装Python virtualenv4. 安装superset(1). 开始安装(2). 问题一解决(3). 问题二解决(4). 问题三解决(5). 创建管理员用户5. 最后附上效果1.安装依赖yum install.
2021-02-17 19:13:21
807
原创 Kibana 报错 “undefined“ is not a configured index pattern ID Showing the default index pattern:“index“
报错详情今天在到导入数据到ES时,进入discover查询时,遇到"undefined" is not a configured index pattern ID 这个错误去网上找了半天也不知道问题在哪,后来才知道是因为Mapping映射问题,日期字段没有指定格式。在ES中日期格式的数据创建索引时需要指定格式,ES对日期要求比较严格。解决办法删除索引重新创建, 创建时使用mapping指定日期字段的格式。mapping 映射示例PUT /_索引{ "mappings": {
2021-01-10 16:22:14
2042
原创 Flink 从kafka中读取json数据，sink到elasticsearch7.x
文章目录1. 说明2. 依赖3. 详细代码1. 说明使用flink从中读取kafka中的json数据,然后把数据存储到elasticsearch7.9.1中并进行简单的校验.2. 依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instan
2020-11-15 15:54:18
3527
2
原创 一个关于流处理的坑 Task not serializable
错误详情Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: Task not serializable at org.apache.flink.api.scala.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:408) at org.apache.flink.api.scala.ClosureCleaner$.org$apache
2020-09-29 07:57:53
2217
原创 linux 终端清屏的5种方式，你会几种？
测试环境 linux centOS7.71. clear#实质上是翻页,只要往上翻还是能看到之前的记录2. ctrl + L#等价于 ctrl + L3. reset#会清除当前的屏,效率较慢,实质是刷新终端屏幕4. printf "\033c"#在linux上实测效果跟clear一样5. printf "\033[2J\033[3J\033[1;1H"#会清除屏幕和历史,清除后就会发现翻不上去了,所有历史都被清了建议可以使用 alias 来给个别名,这样只要输入 cls.
2020-09-14 08:59:08
9385
2
原创 CentOS 7.x 环境下, 最详细的 apache hadoop3.2.1 集群的安装 和配置 jobhistory
文章目录1.准备2. 下载hadoop 包,并上传到linux (上传到第一个节点)3. 进入上传目录并解压(在第一个节点上执行)4.配置环境变量 (在第一个节点上执行)5. 修改core-site.xml 文件()6. 修改hdfs-site.xml 文件添加如下内容7. 修改hadoop-env.sh 文件8. 修改mapred-site.xml 文件9. 修改yarn-site.xml文件10. 添加工作节点修改 workers文件11. 创建文件目录12. 分发hadoop到其它节点13. 初始化h
2020-09-13 01:57:06
465
转载 Logstash 的使用之 Filter (Mutate)
文章目录1、rename2、update3、replace4、convert5、gsub6、uppercase/lowercase7、split8、strip9、remove_field10、join11、mergemutate插件可以对事件中的数据进行修改，包括rename、update、replace、convert、split、gsub、uppercase、lowercase、strip、remove_field、join、merge等功能。1、rename对于已经存在的字段，重命名其字段
2020-09-03 10:42:05
2017
原创 (二) docker 常用的命令
文章目录1. 帮助命令2. 镜像命令1. 查所有本地主机上的镜像2. docker search 搜索镜像(以mysql为例)3. docker pull 下载镜像(以mysql为例)4. docker rmi 删除镜像3.容器命令1. 启动容器2.列出所有正在运行的容器3. 退出容器4. 删除容器5. 启动和停止容器的操作4.其它常用命令1.后台启动容器2.查看日志命令1. 帮助命令#查看docker的版本信息docker version #查看docker系统的详细信息docker info
2020-09-01 11:12:52
192
原创 （一） CentOS7 -- Docker 的安装、卸载
文章目录1.如果安装过旧版本的docker请先卸载2. 安装需要的包3. 设置镜像仓库(推荐使用国内阿里云docker镜像)4. 更新软件包的索引(可选)5. 安装docker6. 启动docker7. 测试启动是否成功8. 通过运行hello-world 映像来验证9. 查看一下下载的hello-world镜像10. docker 的卸载(了解)11. 配置阿里云镜像加速12. docker run 运行原理图13. 底层原理1.如果安装过旧版本的docker请先卸载yum remove docke
2020-08-27 12:02:39
1069
2
原创 (四) logstash 的安装和使用
前言博主使用的elk 版本为7.8.1,后续安装和使用的也是logstash 7.8.1文章目录前言一、下载上传二、解压三、创建conf 脚本四、启动logstash五、logstsh 插件1. input2. File3. 从ElasticSerach中读取数据一、下载上传下载地址:https://elasticsearch.cn/download/博主上传在/export/soft安装在 /export/install程序目录 /export/servers二、解压#进入解压
2020-08-26 18:26:14
304
原创 (三) Elasticsearch 和 Kibana常用的命令
文章目录1. 查看节点状态2. 查看索引3. 查看节点列表4. 增加索引5. 删除索引6. 新增document7. 搜索 type 全部数据8. 查找指定 id 的 document 数据9. 修改 documentA. 整体替换B. 只修改某个字段10. 删除一个 document11. 按条件查询(全部)12. 按照字段的分词查询13. 按照分词子属性查询14. 按照短语查询15. 模糊查询16. 查询后过滤17. 查询前过滤(推荐使用)18. 按范围过滤19. 排序20. 分页查询21. 指
2020-08-26 13:36:17
3847
原创 (二) kibana 的安装
文章目录1.下载准备2.下载后上传解压包到linux上a. 准备安装的文件夹b. 上传jar到/export/softc. 解压3. 修改配置文件1.下载准备去elk的中文社区下载历史版本主使用的是linux CentOS7 系统 + elasticsearch 7.8.1 + kibana 7.8.1下载地址如下,找到跟es对应的版本:https://elasticsearch.cn/download/2.下载后上传解压包到linux上a. 准备安装的文件夹# 上传jar包的文件夹
2020-08-25 18:42:51
163
原创 (一) Elasticsearch 的安装
文章目录1.下载准备2.下载后上传解压包到linux上a. 准备安装的文件夹b. 上传jar到/export/softc. 解压修改配置文件3. 试着启动会发现报错4. 创建新用户5. 重新启动6. 查看web 页面,看是否启动成功1.下载准备可以去elk的中文社区下载历史版本博主使用的是linux CentOS7 系统 + elasticsearch 7.8.1准备:配置好静态网络关闭了防火墙和selinux安装好了JDK1.8下载地址如下:https://elasticsear
2020-08-25 12:17:03
154
原创 HttpClient
文章目录1. 介绍2. 代码示例1. 无参get请求2. 带参get请求3. 无参post请求4. 带参post请求1. 介绍什么是httpClient?HttpClient 是Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。B. httpClient主要用来做什么?主要用来做服务器间相互间的调用2. 代码示例1. 无参get请求import or
2020-08-17 21:45:00
158
原创 spark core思维导图
部分展示如下提取链接:链接：https://pan.baidu.com/s/1pJUDpvG76SNRVzU5CnDSFA 提取码：t5yy其它的spark相关的整理sparksql思维导图structed Streaming思维导图sparkStreaming思维导图说明: 博主用的思维导图软件为MindMaster,有需要可以给我留言,也可以自行下载,有html版本,和pdf版本.最后也就是最重要的一点: 制作不易,可以的话给个点赞关注加收藏!!!...
2020-07-03 17:57:20
350
原创 spark Caused by: java.lang.ClassNotFoundException: libsvm.DefaultSource
今天学习spark-mlib时报错说找不到libsvm.DefaultSource详情如下:Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: libsvm. Please find packages at http://spark.apache.org/third-party-projects.html at org.apache.spark.sql.execution.da
2020-06-19 17:43:42
778
1
原创 spark 数据写入HBase时内存溢出了 java.lang.OutOfMemoryError: Unable to acquire 60 bytes of memory, got 0
错误详情java.lang.OutOfMemoryError: Unable to acquire 60 bytes of memory, got 0 at org.apache.spark.memory.MemoryConsumer.allocatePage(MemoryConsumer.java:127) at org.apache.spark.util.collection.unsafe.sort.UnsafeExternalSorter.acquireNewPageIfNecessary(Un
2020-06-15 22:29:06
1175
原创 oozie一直处于RUNNING 状态,任务无法提交到YARN
出错截图问题发生的原因oozie 默认设置使用的是hadoop 1.0 jobTracker端口 8021如图所示如果使用的是hadoop2.0 并且使用 yarn调度的话得修改为8032端口,修改后如图所示
2020-06-02 15:18:50
1310
原创 Hbase buckload方式加载数据报错 无法读取分区文件
错误详情Error: java.lang.IllegalArgumentException: Can't read partitions file at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:116) at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.
2020-06-01 17:55:16
731
原创 SparkSql 思维导图整理
部分详情自己整理的一份SparkSql 思维导图,后续还会有其它的思维导图分享,敬请期待!!!提取地址:链接: https://pan.baidu.com/s/1f3pMedHHnZII65AJwFx9dQ 提取码: qhjq 最后也就是最重要的一点: 制作不易,可以的话三连走一波!!!给个点赞关注加收藏!!!...
2020-05-19 20:59:11
504
原创 Structured Streaming 思维的导图整理
部分详情如下:自己整理的一份spark_streaming 思维导图,后续还会有其它的思维导图分享,尽请期待!!!提取地址:链接: https://pan.baidu.com/s/1eEQImw46XijcqWRuCU7KTg 提取码: piae最后也就是最重要的一点: 制作不易,可以的话三连走一波!!!给个点赞关注加收藏!!!...
2020-05-11 23:48:02
437
原创 spark sparkStreaming思维导图
大纲如下:部分详情如下: 自己整理的一份spark_streaming 思维导图,后续还会有其它的思维导图分享,尽请期待!!! 如有需要原文件欢迎给我浏览,留下邮箱等联系方式!!!最后也就是最重要的一点: 制作不易,可以的话给个点赞关注加收藏!!!...
2020-05-11 22:26:25
616
原创 Kettle使用 js 文件生成节假日表文件 附带2019-2020节假日文件
文章目录js 文件 (todo 标注的需要修改)kettle 操作1. 生成记录2.增加序列3. 使 js 文件中的变量名跟序列的变量名对应上,并修改url4.测试脚本文件并预览5.获取需要的字段6.使用excel输出 指定输出路径7. 使用excel输出 指定输出字段8. 执行 excel 文件内容如下(用的是19年的数据)最后js 文件 (todo 标注的需要修改)//Script her...
2020-05-02 18:18:12
801
6
原创 java 访问节假日(https)接口,获取JSON
import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.HttpURLConnection;import java.net.URL;import java.nio.charset.StandardCharsets;/** * @...
2020-05-02 17:50:12
978
4
原创 spark sql 和 hive 中求一个日期星期几
今天使用sparksql 求星期几,找了很多方法比较麻烦,还有用case的,最后总结出两种简单的,记录一下在低版本的spark sql 和hive 中求一个日期星期几 select 7- datediff(next_day(date,"Sunday"),date); select date_format(date ,'u');hive 2.2.0以后的版本使用dayofweek(d...
2020-04-28 11:48:34
2062
2019-2020 年节假日表 (excel) 文件
2020-05-02
请教一个关于正则的问题，我想替换一段字符串中的部分空格请问该如何使用正则进行替换？
2020-10-14
求大牛指点，正则中 ?: 和 ?> 的区别
2020-08-31
求大牛指点,hadoop 副本数大于节点数时,副本是怎么存放的?
2020-08-26
求大神指点, 集合算是数据结构的一种么?
2020-06-06
求大牛指点,kafka 怎么设置 batch.size 合适?
2020-04-23
spark sql 语法问题,新手求指点
2020-04-09
求大神解答 kafka 的副本存放机制?
2020-03-23
使用java正则表达式匹配日期
2020-01-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人