自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(58)
  • 收藏
  • 关注

原创 python 依赖包打包 离线下载

【代码】python 依赖包打包 离线下载。

2023-06-20 09:34:27 1464

原创 Java读取hdfs文件权限问题

权限 hdfs java

2022-08-19 15:43:56 673 1

原创 Echarts 坐标轴刻度间隔/全部显示

echart 柱状图 刻度调整

2022-08-19 09:20:19 1128

原创 springboot Error executing DDL via JDBC Statement

关键字和数据库重复 主要原因在定义数据库字段时出现了空格,特殊字符,或者与数据库关键字冲突 spring jpa dialect 配置spring.jpa.database-platform: org.hibernate.dialect.MySQL5Dialect

2022-03-08 10:20:57 803

原创 spring boot 接口返回中文乱码@Configurationpublic class GlobalConversConfiguration extends WebMvcConfigurati

@Configurationpublic class GlobalConversConfiguration extends WebMvcConfigurationSupport { @Bean public HttpMessageConverter<String> responseBodyConverter() { StringHttpMessageConverter converter = new StringHttpMessageConverter( .

2021-11-11 14:47:35 73

原创 Spring boot 常见Controller接收参数方式

@PathVariableurl/{name}@RequestParamurl?name=

2021-09-26 14:41:01 591

原创 maven json 依赖包

jackjson maven<jackjson.version>2.8.8</jackjson.version><dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-core</artifactId> <version>${jackjson.version}</version

2021-09-23 17:28:40 973

原创 Kafka数据保存时间

对所有topic起作用log.retention.hours=72log.cleanup.policy=delete对指定topic起作用./kafka-config.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity_type topics --add-config retention.ms=86400000手动删除指定topic的过期数据./kafka-topic.sh --zo.

2021-09-06 15:57:17 4900

原创 java静态和非静态

java类的成员变量有俩种:一种是被static关键字修饰的变量,叫类变量或者静态变量另一种没有static修饰,为成员变量简单说:类的静态变量在内存中只有一个,java虚拟机在加载类的过程中为静态变量分配内存,静态变量位于方法区,被类的所有实例共享。静态变量可以直接通过类名进行访问,其生命周期取决于类的生命周期。而实例变量取决于类的实例。每创建一个实例,java虚拟机就会为实例变量分配一次内存,实例变量位于堆区中,其生命周...

2021-07-01 14:50:35 140

原创 定时删除MPP日志

find /data/master/gpseg-1/pg_log -mtime +90 -name "*.csv" -exec rm -rf {} \;find /seg0/gpseg0/pg_log -mtime +90 -name "*.csv" -exec rm -rf {} \;find /seg1/gpseg1/pg_log -mtime +90 -name "*.csv" -exec rm -rf {} \;find /seg2/gpseg2/pg_log -mtime +90 -nam.

2021-06-29 14:39:44 160

原创 HTTPClients get post 请求

maven添加依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency>代码实现 getqing ...

2021-06-24 14:33:34 128

原创 外部指定log4j.properties文件位置

java -jar-Dlog4j.configuration=file:./conf/log4j.properties XXXXX.jar常用修改log4j.properties

2021-06-22 17:52:45 305

原创 maven下载jar到工程的指定目录中

mvn -DoutputDirectory=./lib -f pom.xml dependency:copy-dependenciesDoutputDirectory 输出目录后面固定

2021-06-22 09:22:09 160

原创 docker创建可以ssh的容器

生成的新镜像以centos7镜像为基础FROM centos:7MAINTAINER by jesse ([email protected])#升级系统RUN yum -y update#安装openssh-serverRUN yum -y install openssh-server#修改/etc/ssh/sshd_configRUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config# 生成sshkeyRUN ssh-keyge

2021-03-15 17:28:23 134

原创 查看mysql链接数

mysql> show status like 'Threads%'; +-------------------+-------+ | Variable_name | Value | +-------------------+-------+ | Threads_cached | 58 | | Threads_connected | 57 | ###这个数值指的是打开的连接数 | Threads_cr

2021-03-15 16:05:30 128

转载 Mysql too many connection

最近写javaee项目的时候,mysql报了too many connections的错误,百度的内容有一些有问题,所以我重新写一下我的解决方法。mysql -u root -p 回车输入密码进入mysql```shellshow processlist;```查看连接数,可以发现有很多连接处于sleep状态,这些其实是暂时没有用的,所以可以kill掉```shellshow variables like "max_connections";```查看最大连接数,应该...

2021-03-15 15:48:28 118

原创 CentOS 7 systemctl 命令整理详解

LinuxSystemctl是一个系统管理守护进程、工具和库的集合,用于取代System V、service和chkconfig命令,初始进程主要负责控制systemd系统和服务管理器。通过Systemctl –help可以看到该命令主要分为:查询或发送控制命令给systemd服务,管理单元服务的命令,服务文件的相关命令,任务、环境、快照相关命令,systemd服务的配置重载,系统开机关机相关的命令。1. 列出所有可用单元# systemctl list-unit-files2. 列出所有运..

2021-03-12 16:50:29 197

原创 macOS end home up down快捷键

Ctrl+A:到行首(达到Home键的效果)Ctrl+E:到行尾(达到End键的效果)Ctrl+N:到下一行Ctrl+P:到上一行Ctrl+K:从光标处开始删除,知道行尾fn键+左方向键是 HOMEfn键+右方向键是 ENDfn+上方向键是 page upfn+下方向键是 page down...

2021-03-11 14:10:58 184

原创 docker容器status为create状态

docker容器中created状态的含义?docker容器状态为”created”表示:容器已经被创建,但是并未启动。以下两种方式可以形成这种状态:docker容器是已经使用docker create命令创建(这种做法是为了加速容器的创建过程);docker容器是经过docker run命令创建的,但是没有启动成功;docker create命令参考:docker create。可以通过docker container rm命令来删除终止状态的容器。#删除指定名称的容器docker.

2021-03-10 16:55:46 12038

原创 docker 容器之间文件共享

实现docker容器之间文件共享可用 –volumes-from关键字实现# 匿名挂载test目录并启动镜像docker run -it --name test01 -v test imagesid /bin/bash# 退出docker containerctrl+p+q # 使用 --volumes-from 继承 test01 容器,可达到test目录的数据共享docker run -it --name test02 --volumes-from test01 imagesid /bi.

2021-03-09 12:04:30 627

原创 ntp时间同步设置

内网环境搭建NTP服务器说在前面:ntp和ntpdate区别①两个服务都是centos自带的(centos7中不自带ntp)。ntp的安装包名是ntp;ntpdate的安装包是ntpdate。他们并非由一个安装包提供。②ntp守护进程为ntpd,配置文件是/etc/ntp.conf③ntpdate用于客户端的时间矫正,非NTP服务器可以不启动NTP。简介:ntp全名 network time protocol 。NTP服务器可以为其他主机提供时间校对服务。环境准备:两台服..

2021-03-05 10:26:59 4954 1

原创 HDFS namenode和datanode简介

- HDFS集群的节点分为两类:namenode和datanode,以管理节点-工作节点的模式运行,即一个namenode和多个datanode,理解这两类节点对理解HDFS工作机制非常重要。  namenode作为管理节点,它负责整个文件系统的命名空间,并且维护着文件系统树和整棵树内所有的文件和目录,这些信息以两个文件的形式(命名空间镜像文件和编辑日志文件)永久存储在namenode 的本地磁盘上。除此之外,同时,namenode也记录每个文件中各个块所在的数据节点信息,但是不永久存储块的位置信息,因

2021-03-04 17:02:15 1650 1

原创 elasticsearch _cat命令详解

cat基础查看都有哪些cat指令GET _cat=^.^=/_cat/allocation/_cat/shards/_cat/shards/{index}/_cat/master/_cat/nodes/_cat/tasks/_cat/indices/_cat/indices/{index}/_cat/segments/_cat/segments/{index}/_cat/count/_cat/count/{index}/_cat/recovery/_cat/reco

2021-03-04 16:28:39 3449 1

原创 hdfs简介

hdfs基本概念    HDFS(Hadoop Distributed File System)是hadoop生态系统的一个重要组成部分,是hadoop中的的存储组件,在整个Hadoop中的地位非同一般,是最基础的一部分,因为它涉及到数据存储,MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统,以流式数据访问模式存储超大文件,将数据分块存储到一个商业硬件集群内的不同机器上。   &nb.

2021-03-04 16:18:57 297 1

原创 hive数据模型简介

Hive数据库。 类似传统数据库的DataBase,在第三方数据库里实际是一张表。简单示例命令行 hive > create database test_database;内部表。 Hive的内部表与数据库中的Table在概念上是类似。每一个Table在Hive中都有一个相应的目录存储数据。例如一个表pvs,它在HDFS中的路径为/wh/pvs,其中wh是在hive-site.xml中由${hive.metastore.warehouse.dir} 指定的数据仓库的目录,所有的Table数据(不包.

2021-03-02 16:48:58 656

原创 chmod命令详解

chmod简介Chmod命令主要用于修改、设置文件权限chmod 修改文件权限主要有两种方式: 字母法与数字法字母法语法:chmod (u g o a) (+ - =) (r w x) (文件名)u user 表示该文件的所有者g group 表示与该文件的所有者属于同一组( group )者,即用户组o other 表示其它用户组a all 表示这三者皆是+增加权限- 撤销权限= 设定权限r read 表示可读取,对于一个目录,如果没有.

2021-03-02 10:46:31 19982

原创 because task 0 (partition 0) cannot run anywhere due to node and executor blacklist. Blacklisting b

Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Aborting TaskSet 3.0 because task 0 (partition 0) cannot run anywhere due to node and executor blacklist. Blacklisting behavior can be configured via spark.blac

2021-03-02 10:45:10 5734

原创 java环境搭建,深入浅出了解java

jdk安装https://www.cnblogs.com/heqiyoujing/p/9502726.htmlmaven安装 https://www.cnblogs.com/zhima-hu/p/6740347.htmlidea下载地址https://www.jetbrains.com/idea/download/other.htmlidea安装https://www.cnblogs.com/libin6505/p/10487437.htmljava基础教程.

2021-03-02 09:32:56 70

原创 hive基础结构简介

hive基础架构图解    作为Hadoop的主要数据仓库解决方案,底层存储依赖于HDFS,而Hive SQL是主要交互接口,而真正的计算和执行则由MapReduce完成,它们之间的桥梁是Hive引擎。接下来,具体看下HIVE的引擎架构:hive组件介绍    Hive的主要组件包括UI组件、Driver组件(Complier、Optimizer和Executor)、Metastore组件、CLI(Comm.

2021-03-02 09:26:43 420

原创 Hive简介

文章目录hive简介hive的特点hive简介    Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。    最初,Hive是由Facebook开发,后来由Apache软件基金会开发,并作为进一步将它作为名义下Apache Hive为一个开源项目。Hive 没有专门的数据格式。 Hive 可以很好的工作在 Thrift 之上,控制分隔符,也

2021-03-01 21:38:14 365

原创 Spring data jpa @Query的各种用法

@Query 的各种用法 @Query(value = "select * from userinfo where name=?1",nativeQuery = true) List<Userinfo> test(String name); @Query("select t from Userinfo t where name=?1") List<Userinfo> test1(String name); @Query("select t f.

2021-03-01 10:07:04 731

原创 spring data jpa 链接mysql简单事例

文章目录创建工程数据库配置创建表映射的实体类创建Dao层测试创建工程 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> </dependency> <dependency> <gro

2021-02-26 16:52:20 115

原创 Navicat 连接MySQL 8.0.11 出现2059错误

原因mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password解决方法#登录mysqlmysql -uroot -ppassword #修改所有ip都可访问mysqlupdate user set host='%' where host='localhost';#切换数据库use mysql;#更改加密方式ALTER USER 'root'@'localhost' IDENTIF.

2021-02-24 19:48:48 62

原创 mysql修改密码

文章目录进入mysql如果忘记mysql密码8.0以下版本8.0以上版本进入mysqlmysql -uroot -ppassword如果忘记mysql密码#停止mysql服务net stop mysql#待mysql服务停止后,此时命令提示符窗口处于锁定状态,我们重新以管理员权限打开新的命令提示符窗口。mysqld --shared-memory --skip-grant-tables ,#在新的命令提示符窗口输入,后回车,提示输入密码时直接按回车进入。mysql -uroot -p

2021-02-24 18:44:46 58

原创 spring 配置文件映射成实体

maven 依赖jar <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-configuration-processor</artifactId> <optional>true</optional> <.

2021-02-23 16:41:20 439 1

原创 macos idea 格式话快捷键

IntelliJ IDEA在Mac下格式化代码快捷键: Command + Option + L

2021-02-23 11:32:47 221

原创 maven生命周期lifecycle和plugins介绍

Maven 的 Lifecycle 和 pluginsLifecycle生命周期clean :项目清理default:默认构建site:项目建站生命周期在这里插入图片描述其中比较重要的几个步骤如下clean用于清除之前构建生成的所有文件,其中清除了Target这个目录注:删除了install生成的所有文件validate用于验证项目是否正确,并且验证必要信息是否可用compile编译项目的源代码,主要是java文件一般是编译src/main/java和sr.

2021-02-23 10:42:40 1085

原创 This application has no explicit mapping for /error, so you are seeing this as a fallback.

This application has no explicit mapping for /error, so you are seeing this as a fallback.解决办法把主类Application提到最外层的包。

2021-02-22 16:08:20 71

原创 java执行shell命令

java 执行shell命令/** * 运行shell脚本 * @param shell 需要运行的shell脚本 */ public static void execShell(String shell){ try { Runtime.getRuntime().exec(shell); } catch (Exception e) { e.printStackTrace(); .

2021-02-22 10:20:32 2562 2

原创 查看kafka产生链接数

netstat -ano |grep kafkaport | wc -l

2021-02-14 13:13:51 1928

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除