- 博客(118)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Docker 日志存储大小限制，默认会充爆磁盘
在容器化部署的时候，因为没有指定日志的最大存储时间，导致磁盘被充爆。查看日志 一般使用docker logs -f --tail 行数 容器名称 来查看容器的运行日志，但是在容器被初始化的时候，需要指定日志的最大存储时间，因为docker默认配置中是不限制日志的大小的，会导致磁盘资源被用尽Docker 默认使用 json-file 作为其日志驱动，但并未设置日志文件的大小上限，也就是说，如果不进行额外配置，Docker 日志会持续增长，直到耗尽所有可用的磁盘空间。
2024-03-04 13:39:21
441
原创 一个JDK镜像通吃所有需要部署的应用，生成多个容器
生产过程中，一个服务制作一个镜像，有点太占用空间，由此，考虑设置一个镜像能支持多个服务的部署，通过文件挂载的模式，通过启动容器时候传递参数实现该需求。
2024-02-22 18:27:45
331
原创 主数据清洗的一般过程
在对主数据进行清洗之前，要先对主数据进行预处理。主数据预处理一般分为两个步骤，包括字段解释、数据来源、代码表等一切描述数据的信息，抽取一部分主数据作为样本数据，通过人工查看，先对主数据有直观的了解，为之后的清洗做准备。下面进入主数据清洗的核心内容，包括缺失值清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗、关联性验证、干净数据回流。
2024-01-19 16:13:37
934
原创 IOTDB 1.0.1版本单机部署
IOTDB成功在阿帕奇基金会孵化之后，增加了很多功能，测点趋势测点运算聚合等，所以，需要升级之前的数据库，升级方式可见官网文档，博主属于直接跳级安装0.12.1版本安装 见。
2023-04-03 19:07:11
815
1
原创 一招解决windows电脑禁用笔记本自带键盘问题
这段时间，笔记本上总会出现卡顿，鼠标跳跃，桌面闪烁的问题，坚持用了一周之后，情况变的严重了，打开我的电脑，可以弹出很多个窗口出来，导致系统卡死，偶尔能用，我就根据自己对电脑的了解尝试了做下修复
2022-10-21 11:54:28
4754
2
原创 华为云数据盘挂在及mysql数据库数据目录迁移到数据盘
前篇文章中安装了mysql，但是系统盘只有40G，以后肯定不够用，于是，又增加了200G的数据盘，那此时就需要挂在盘，并需要将mysql的数据存储移动到数据盘中
2022-08-31 19:27:18
775
原创 Maven私服的发布和引用-实战问题解决
在工作过程中，都会使用maven私服，将一些常用的不在公网的jar或者是自己公司的搭建的工具进行公司内部共享使用，那就需要发布工具和引用工具，本文中遇到的问题是在发布jar的时候，jar本身依赖的三方包一直加载不上来，经过反复排查，是因为在发布的时候生成的pom文件有问题，主要是因为jar对应的项目中bulid标签中的配置有问题...
2022-08-29 20:05:02
796
原创 Collectors.toMap方法使用时候value报空指针问题解决
针对于集合转换成map的时候出现value为空造成的空指针情况，进行解决在根据学生实体的名称作为key和昵称作为value的时候，当petName为空的时候会出现空指针。
2022-08-09 14:58:24
5703
1
原创 Flink使用api执行sql的时候报错
通过把需要起别名的字段放在第一个位置，或者是在最后统一起别名的方式能够解决。通过不停的尝试是因为标红的位置写的有问题。Flink使用api执行sql的时候报错。具体原因目前未知，记录备查。...
2022-07-18 17:57:31
885
原创 细谈spring 事务不生效的情况
在业务代码中，经常需要保证事务的原子性，但是有的时候，确实是出现事务没有生效，那今天梳理下事务不生效的原因。
2022-07-15 11:51:51
2016
原创 Spark SQL编程之RDD-RDD转换
背景本文使用idea编程spark版本<scala.version>2.11.8</scala.version><spark.version>2.2.0</spark.version><scala.compat.version>2.11</scala.compat.version>备注<ps>Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)</ps>...
2022-04-29 16:35:16
2269
原创 Spark SQL编程之RDD-概述
RDD简述RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合RDD属性RDD官方文档中给出5个主要的属性1 一组分区（Partition），即数据集的基本组成单位 2 一个计算每个分区的函数 3 RDD之间的依赖关系 4 一个Partitioner，即RDD的分片函数 5 一个列表，..
2022-04-28 15:48:10
846
原创 Spark SQL编程之DataSet
DataSet是什么 是Dataframe API的一个扩展，是Spark最新的数据抽象。 具有类型安全检查也具有Dataframe的查询优化特性，API风格更友好 DataSet支持编解码器，当需要访问非堆上的数据时可以避免反序列化整个对象，提升效率 样例类被用来在Dataset中定义数据的结构信息，样例类中每个属性的名称直接映射到DataSet中的字段名称 Dataframe是Dataset的特列，DataFrame=Dataset[Row]，所以可以通..
2022-04-24 17:32:11
1412
原创 Spark SQL编程之DataFrame
Spark SQL特性易整合 统一的数据访问方式 兼容hive 标准的数据链接Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用SparkSession创建在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。SparkSession是Spark...
2022-04-24 17:07:41
2268
原创 SparkSql中不能使用select($“name“, $“age“ + 1)报错的问题解决
背景在进行sparksql编程的时候，使用select($"name", $"age" + 1)会出险报错的情况，目的参数Column类型，但是报错如下图版本：<scala.version>2.11.8</scala.version><spark.version>2.2.0</spark.version><scala.compat.version>2.11</scala.compat.version>..
2022-04-24 14:30:44
2072
原创 SparSql 中DataFrame出现_corrupt_record问题解决（DataFrame多行读取JSON数据问题解决）
背景在使用sparksql创建DataFrame的时候，读取的数据包含_corrupt_record，在操作过程中产生错乱的问题，代码如下 <!-- 版本 --> <properties> <encoding>UTF-8</encoding> <scala.version>2.11.8</scala.version> <spark.version>2..
2022-04-24 11:15:20
1298
原创 黑白棋及回退功能实现(scala)
背景如下图，如何使用程序实现每个棋子在棋盘上的位置，如何记录上一步的棋盘盘面(回退)，采用什么数据结构实现思考：棋盘盘面是一个二维表，应该是一个二维数组，因为这个二维数组很多默认值是0，因此这里可以引入稀疏数组的概念稀疏数组和二维数组的关系思路1.默认棋盘是空（一个默认值为0的二维数组）2.下了黑棋的位置就改为1，白棋子的位置改为23.每一次的操作都记录为一个稀疏数组保存起来，为回退取值做准备代码package com.example...
2022-04-19 20:09:27
503
原创 Scala核心编程(12)- 模式匹配
match介绍Scala中的模式匹配类似于Java中的switch语法，但是更加强大。模式匹配语法中，采用match关键字声明，每个分支采用case关键字进行声明，当需要匹配时，会从第一个case分支开始，如果匹配成功，那么执行对应的逻辑代码，如果匹配不成功，继续执行下一个分支进行判断。如果所有case都不匹配，那么会执行case _ 分支，类似于Java中default语句。应用案例 val category: String = "vip" category ma..
2022-04-14 17:45:40
245
原创 Scala核心编程(10)-集合(上)
集合简介Scala同时支持不可变集合和可变集合 两个主要的包：不可变集合：scala.collection.immutable（类似java中数组） 可变集合： scala.collection.mutable (类似java中ArrayList)Scala默认采用不可变集合，对于几乎所有的集合类，Scala都同时提供了可变(mutable)和不可变(immutable)的版本 Scala的集合有三大类：序列Seq、集Set、映射Map，所有的集合都扩展...
2022-04-07 20:13:10
426
原创 Java8中flatMap使用以及和map的区别
flatMap<R>Stream<R>flatMap(Function<? super T,? extends Stream<? extends R>>mapper)返回由通过将提供的映射函数应用于每个元素而产生的映射流的内容来替换该流的每个元素的结果的流。每个映射的流在其内容被放入此流之后是closed。（如果映射的流是null则使用空的流）。flatMap()操作具有对流的元素应用一对多变换，然后将所得到的元素平坦化为新流的效果...
2022-03-22 16:37:10
3096
原创 一个案例弄懂文件秒传和文件断点续传的内部实现逻辑
背景最近有人问我百度云盘或者是阿里云盘等是怎么做到文件秒传的，对于大文件如果因为网络原因是否能做到断点续传。因此，我想写个文章记录下我对这个两个问题的验证和解答。相关概念秒传秒传是一种在网盘上常见的“忽略式”上传方式，是指文件传输速度非常快。当用户向网盘中上传文件时，服务器会判断当前存储中是否有该文件，如果文件不存在就执行上传操作，如果已经存在了该文件，那就直接忽略该文件的上传，提示用户文件已经秒传，并将找到的文件链接引用给该用户(方便在使用的时候找到文件)MD5...
2022-02-15 15:26:45
553
原创 基于RabbitMQ实现的订单超时功能-记录备查
背景做过电商系统的人都会遇到一个场景，就是下了订单之后，订单支付会有一个有效期，超时订单自动关闭。实现的技术有很多，再次讨论基于RabbitMQ进行实现思路这个是基于RabbitMQ的延迟队列实现的，那需要讨论下什么是延迟队列延迟队列延迟队列存储的对象是对应的延迟消息，所谓“延迟消息”是指当消息被发送以后，并不想让消费者立刻拿到消息，而是等待特定时间后，消费者才能拿到这个消息进行消费 。PS: 在 AMQP 协议中，或者 RabbitMQ 本身没有直接支持延迟队列的功...
2021-12-14 20:14:21
2670
原创 Idea 使用git操作特别卡问题解决
背景Java开发使用Idea2021.1版本，使用git版本操作的时候，特别卡，有时候甚至卡几分钟，搜索了很多资料，找到以下方式能解决。解决方案找到idea的安装目录找到标注的两个文件，并更改其他名称或直接删除，然后重试，是否能解决PS:有些不需要重启也能生效，但是有些需要重启idea，(两个文件都需要处理哦)...
2021-12-02 16:28:24
3205
6
原创 IDEA2021类明明存在但是却报错的解决方式
背景在使用idea 2021开发工具的时候，遇到过两次引用的的类虽然存在，但是却报错该类不存在的情况原因分析1，有可能是maven依赖下载的不正确2，有可能是因为开发工具缓存的问题解决方式刷新maven依赖或者是使用mvn clean命令将依赖清理之后重新加载清理缓存联想因为开发工具已经使用的很久，缓存历史比较多，也有可能会导致开发工具比较开，本人的情况是，清理了缓存使得开发也更加顺畅一些...
2021-09-24 17:56:09
6920
1
原创 rabbitmq队列数据特别多的处理方式
背景客户的生产环境采用的是RabbitMQ，数据是充传感器端上送到队列中，但是，目前需要做一个uat环境，数据源采用RabbitMQ中的数据，采用创建多个queue绑定传感器上送topic的方式进行引流；但是，测试环境没有做高可用，所以，这个地方存在queue中队列消费过慢，甚至服务器宕机不消费的问题，因此需要解决uat中queue消息过多的问题解决方式1、创建queue的时候指定Max length或者是Max length bytes参数2、增加Policies在Polici..
2021-09-23 10:57:01
1266
原创 phantomjs-linux:error while loading shared libraties:libfintconfig.so.1:cannot open shared object fi
phantomjs-linux:error while loading shared libraties:libfintconfig.so.1:cannot open shared object file or directory背景使用phantomjs-linux的时候报错应该是缺少环境依赖安装上就能运行
2021-09-23 10:44:01
7387
原创 spark中遇到mysql链接超时的问题解决
背景最近使用scala写spark的运行jar，不小心遇到一个比较傻的坑，主要是mysql方面的报错，报错如下2021-09-13 10:26:12.426 INFO 22591 --- [launcher-proc-4] o.a.s.launcher.app.Application : Exception in thread "main" com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications .
2021-09-13 10:41:46
1544
原创 gyp ERR! stack Error: Command failed: D:\Program Files\python3.8.10\python.EXE -c import sys； print
背景在前端执行npminstall的时候报此错误原因分析有些人说是因为没有装python环境，肯定是不对的，因为的环境中是python3.8看着错误提示是语法问题，查了很多资料，说都是node.js目前只支持python2,不支持python3暂且采用换成python2.7的方案解决...
2021-09-10 18:45:41
3819
原创 errno -4048npm ERR! Error: EPERM: operation not permitted, mkdir ‘D:\Program Files\nodejs\node_cache
背景win10电脑，安装node.js之后，执行npm install命令居然报错关键字：Error: EPERM: operation not permitted, mkdir 'D:\Program Files\nodejs\node_cache'全部报错日志如下D:\Java\workspace_ws\milla-vue-master>npm installnpm ERR! code EPERMnpm ERR! syscall mkdirnpm ...
2021-09-10 18:29:04
8271
10
原创 selenium.common.exceptions.WebDriverException: Message: unknown error: cannot find Chrome binary
背景在做python爬虫的时候，使用了selenium自动化工具的时候出现该问题代码如下from selenium import webdriverfrom selenium.webdriver.chrome.webdriver import WebDriverpath = "D:\Java\workspace_py\spider\project\static\chromedriver"driver: WebDriver = webdriver.Chrome(executab..
2021-09-09 14:33:55
2161
Pi数据库驱动包 PIJDBCDriver.jar
2019-12-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人