- 博客(281)
- 收藏
- 关注
RSS订阅原创 Mybatis 中的 fetchSize
简单来讲，Fetch相当于读缓存，默认Fetch Size值是10，读取10000条记录，一次数据库交互，即rs.next的操作，ResultSet会一次性从数据库服务器，得到10条记录，下次执行rs.next，就直接使用内存读取，不用和数据库交互了，但总计需要有1000次交互，如果使用setFetchSize设置Fetch Size为10000，则只需要一次数据库交互，本地缓存10000条记录，每次执行rs.next，只是内存操作，不会有数据库网络消耗，效率就会高些。
2023-10-09 14:37:21
2254
原创 Python经常遇到：Microsoft Visual C++ 14.0 or greater is required.错误
Python经常遇到：Microsoft Visual C++ 14.0 or greater is required.
2023-03-23 16:15:13
575
1
原创 Python报错：ModuleNotFoundError: No module named ‘pip‘
Python报错：ModuleNotFoundError: No module named 'pip'
2023-03-23 14:01:42
498
原创 idea编译报错：Error:Kotlin: Module was compiled with an incompatible version of Kotlin.
1. idea 编译报错信息Error:Kotlin: Module was compiled with an incompatible version of Kotlin. The binary version of its metadata is 1.5.1, expected version is 1.1.16.2. 解决办法重新编译项目Build->Rebuild Project
2022-05-17 11:17:33
7467
15
原创 Mybatis报错ORA-00911: 无效字符
今天在开发过程中遇到这么一个错误，1. ORA-00911: 无效字符Caused by: java.sql.SQLSyntaxErrorException: ORA-00911: 无效字符2. 原因是 sql 语句中加了一个分号。把分号去掉就可以了。
2022-03-22 15:05:56
3380
2
原创 elastic安装报错：max file descriptors [4096] for elasticsearch process is too low, increase to at least
一、现象因为 es 不允许使用root用户安装，在使用新建的es用户安装的时候报错如下，max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]ERROR: [3] bootstrap checks failed. You must address the points described in the following [3] lines before sta
2022-02-07 13:55:17
7981
原创 安装docker环境报错：Could not resolve host
今天在centos上安装docker环境的时候遇到这个报错，curl: (6) Could not resolve host: get.docker.com; Unknown error解决办法：1. 编辑文件vi /etc/resolv.conf2. 新增如下nameserver 119.29.29.29nameserver 8.8.8.83.重启网络service network restart...
2022-01-28 13:52:36
10091
2
原创 Nginx在Linux下的日志分割脚本
以下是分割脚本，需要日环对应的路径和日志名称，然后使用Linux自己的crontab定时任务调用sh脚本。## Nginx相关目录log_path=/home/apps/nginx/logspid_path=/home/apps/nginx/logs/nginx.pid##获取当天的 yyyy-MM-ddtoday=$(date -d "now" +%Y-%m-%d)## 执行mv操作mv ${log_path}/access.log ${log_path}/daily/access.
2021-12-20 17:19:16
1501
原创 Nginx在Windows下的日志分割脚本
以下是分割脚本，需要日环对应的路径和日志名称，让后用Windows自己的定时任务调用bat脚本。@rem 关闭脚本的每行输出@echo off@rem 获取当前时间set ToDay=%DATE:~0,4%-%DATE:~5,2%-%DATE:~8,2%@rem nginx安装路径set NginxHome=D:\dev\servers\nginx-1.16.1@rem 关闭nginx@rem net stop nginx@rem 重命名日志文件move %NginxHome%\.
2021-12-20 15:35:36
1508
原创 FastJson的坑：JSON.toJSONString 关于null值不序列化
在使用fastjson中JSON.toJSONString去转json字符串的时候遇到一个坑。1.现象null值不会被序列化，导致转出的json字符串里面丢失存在null值的字段。JSON.toJSONString(dto);转换前的实体，- dto: VisitTaskDto(actId=123, actName=xxx, prodCode=null, prodName=null)转换后，null值的字段丢失为{"actId":"123","actName":"xxx".
2021-09-08 13:49:53
2318
原创 Rest API设计时，POST和GET如何区分
在做API设计时，纠结新增的时候用POST还是PUT，更新的时候用POST还是PUT，到底改如何选择。具体还要看使用场景，这里面涉及一个幂等性的问题。PUT方法还是POST方法？这取决于这个REST服务的行为是否是幂等的，假如我们发送两个http://xxx/xxx/test请求，服务器端是什么样的行为？如果产生了两条记录，那就说明这个服务不是幂等的，因为多次使用产生了副作用了；如果后一个请求把第一个请求覆盖掉了，那这个服务就是幂等的。不要求接口幂等（比如insert），应该使用POST方法，对
2021-08-27 09:58:11
665
原创 大数据集群巡检，最佳实践记录
公司使用的大数据集群是Cloudera，定期巡检，还是查出不少问题，后面进行优化。mark下供大家参考。发现主要的几个问题如下，1. HDFS 小文件过多小文件问题是目前HDFS上存在的最大问题。可以使用hadoop fs -count命令，简单统计下文件数量较多的目录。小文件很多是临时文件，建议定期清理。并检查业务逻辑，主要是什么导致的小文件过多，看能否通过修改处理逻辑来避免。2. DNS域名解析不全很多新加的边缘节点，没有配置全部的host，导致集群内部解析不全。虽不影响程序运行，但
2021-03-29 17:56:30
782
原创 Flink 连接 MySQL 错误：The server time zone value ‘Öйú±ê׼ʱ¼ä‘ is unrecognized or represents
Flink 处理好数据后，需要 Sink 到 MySQL 保存，连接的时候报错。1. 错误描述Caused by: com.mysql.cj.exceptions.InvalidConnectionAttributeException: The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or represents more than one time zone. You must configure either the serve
2021-03-17 09:09:45
837
原创 Flink SQL 项目通用模板一
总结项目中的常用 flink sql 开发模板，供大家参考。主要分三大步：创建表执行环境。 创建输入表、输出表，并进行数据的逻辑处理。 任务执行。其中第二部是重点，细分三小步（也就是三个 tabEnv.executeSql）tableEnv.executeSql(inputTableDDL) // 1) create inputTable tableEnv.executeSql(outputTableDDL) // 2) create outputTable tableEnv.exec
2021-03-15 11:17:50
618
原创 Flink SQL 开发的代码结构
最近一直都在搞 Flink 相关的开发，清晰的代码结构有利于开发规范的统一和业务逻辑的梳理。Scala 代码结构，官网推荐的如下，// create a TableEnvironment for specific planner batch or streamingval tableEnv = ... // see "Create a TableEnvironment" section// create an input TabletableEnv.executeSql("CREATE T
2021-03-05 11:23:44
334
1
原创 Flink 使用 Scala 编程中注意的隐式转换
写代码过程中，IDE 的代码提示功能是程序员的最爱，但是在用 Scala 写 Flink 代码的过程中，经常会有不提示的情况。蛋疼。。。这个就是 Scala 的引入包的问题，常用的用下面这几个，mark 下，import org.apache.flink.streaming.api.scala._import org.apache.flink.table.api._import org.apache.flink.table.api.bridge.scala._注意后面的下划线，就是整包
2021-03-04 16:22:46
797
1
原创 Oracle 字符串批量替换
项目迁移，原来数据库中存储的 IP 地址变化了，需要批量替换下。使用 Oracle 的 replace 函数来操作，replace 函数说明replace(source,str1,str2)，把 source 中 str1 字符串替换为 str2 字符串。若 str2 为 null 或空时，相当于把 str1 字符串剔除。 replace(source,str1) ，把 source 中的 str1 字符串剔除。 regexp_replace(source,pattern_str,rep_str
2021-03-04 09:50:05
3055
1
原创 谷歌浏览器安装 elasticsearch-head 插件
谷歌浏览器安装Elasticsearch-head 插件下载该插件，地址：https://github.com/liufengji/es-head/blob/master/elasticsearch-head.crx 下载后的文件名是：elasticsearch-head.crx 打开谷歌浏览器，找到扩展程序，然后打开开发者模式，拖拽上一步的插件进来进行安装。 若提示：程序包无效：“CRX_HEDER_INVALID”，则按下面的步骤进行操作将文件elasticsearch-head.crx直接
2021-02-08 16:14:29
4213
原创 scratch win10 环境搭建
scratch 在少儿编程里面非常受欢迎，今天也来安装下，操作系统win10。1、下载 scratch推荐官网（经常打不开）：https://scratch.mit.edu/备用地址：https://scratch.software.informer.com/2、双击安装3、运行4、试用整个过程安装非常简单。。...
2020-12-14 13:23:39
2110
1
原创 springcloud中fegin第一次跨模块调用超时
问题springcloud架构的项目中，偶尔出现fegin第一次调用超时的问题，该怎么处理？现象项目是个后端接口服务，接口调用链路会涉及到多个模块间fegin的调用。现象是：有时候重启部署后或者经过很长一段空闲时间，第一次调用网关接口不成功，第二次调用的时候就好了，建立连接之后调用都正常，并且是偶发性的，不好重现。解决通过分析日志文件，多方排查，确认是fegin第一次调用超时，从源码点进去查找，发现fegin的默认超时时间是2s，这对于第一次调用来说，初始化连接的时间不够，导致超时。尤其
2020-12-04 10:58:59
1266
2
原创 CentOS7 安装 MySQL8
一、msql安装1、下载mysqlwget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm2、安装rpm包rpm -ivh mysql-community-release-el7-5.noarch.rpm3、安装mysql-serveryum install mysql-server4、重启mysqlservice mysqld restart 这时会提示：Redirecting
2020-11-24 12:08:41
125
原创 好好理解 Java 中的递归
递归的思想把规模大的问题转化为规模小的相似的子问题来解决。在函数实现时，因为解决大问题的方法和解决小问题的方法往往是同一个方法，所以就产生了函数调用它自身的情况。另外这个解决问题的函数必须有明显的结束条件，这样就不会产生无限递归的情况了。一句话总结：递归就是自己调用自己。递归的条件要素1、递归有两个重要条件，可以通过递归调用来缩小问题规模，且新问题与原问题有着相同的形式。（自身调用） 存在一种简单情境，可以使递归在简单情境下退出。（递归出口）2、递归的三要素，尝试将一个问题化简到
2020-11-24 10:18:49
1130
原创 CentOS JDK环境安装配置
centos7.5，JDK1.8，1、修改配置文件，vim /etc/profileexport JAVA_HOME=/usr/local/Java/jdk1.8.0_261export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH2、使环境变量生效（重要）source /etc/profile
2020-11-20 18:58:23
118
原创 HiveSQL和普通SQL的区别
HiveSQL和普通SQL的区别总结如下，HiveSQL对分号识别不是很智能，只要出现分号就认为是语句结尾。 HiveSQL不支持等值连接，即不支持where a.id = b.id的连接方式，HiveSQL使用join连接。 HiveSQL中没有not null，当字段为null时，使用Empty空值代替。即长度为0, 那么对它进行IS NULL的判断结果是False。 HiveSQL不支持将数据插入现有的表或分区，仅支持覆盖重写整张表。即不支持insert into，而需要使用insert
2020-11-19 09:30:48
4350
原创 2021最新Java面经系列整理，持续更新
2021最新Java面经系列整理，持续更新。。。欢迎大家关注收藏，一起加油O(∩_∩)O哈~2021最新Java面经系列 系列 内容 地址 框架篇 2021最新Java面经整理 | 框架篇（一）Spring框架 https://blog.csdn.net/shipfei_csdn/article/details/109530018 2021最新Java面经整理 | 框架篇（二）SpringMVC框架 https://blog.csdn.net/..
2020-11-14 07:06:38
18304
4
原创 2021最新Java面经整理 | 计算机网络篇
2021最新Java面经整理 | 计算机网络篇一、网络层次划分1、OSI 七层二、TCP/IP协议（重点）1、介绍TCP/IP协议是Internet最基本的协议、Internet国际互联网络的基础，由网络层的IP协议和传输层的TCP协议组成。通俗而言：TCP负责发现传输的问题，一有问题就发出信号，要求重新传输，直到所有数据安全正确地传输到目的地。而IP是给因特网的每一台联网设备规定一个地址。IP层接收由更低层（网络接口层例如以太网设备驱动程序）发来的数据包...
2020-11-12 10:49:32
4743
原创 2021最新Java面经整理 | 数据库篇（一）MySQL
2021最新Java面经整理 | 数据库篇（一）MySQL一、基础1、数据库范式第一范式：1NF是对属性的原子性约束，要求字段具有原子性，不可再分解 (只要是关系型数据库都满足1NF)。 第二范式：2NF是在满足第一范式的前提下，非主键字段不能出现部分依赖主键；解决：消除复合主键就可避免出现部分以来，可增加单列关键字。 第三范式：3NF是在满足第二范式的前提下，非主键字段不能出现传递依赖，比如某个字段a依赖于主键，而一些字段依赖字段a，这就是传递依赖。解决：将一个实体信息的数据放..
2020-11-11 17:59:31
6469
1
原创 2021最新Java面经整理 | 框架篇（五）SpringBoot框架
2021最新Java面经整理 | 框架篇（五）SpringBoot框架目录一、SpringBoot简介二、SpringBoot核心注解1、@SpringBootConfiguration2、@ComponentScan3、@EnableAutoConfiguration三、SpringBoot starter 作用在什么地方？四、常用操作1、怎么禁用某些自动配置特性？2、怎么注册一个定制的自动化配置？3、当 bean 存在的时候怎么置后执行自动配置？4、怎么使
2020-11-10 19:07:02
5932
1
原创 2021最新Java面经整理 | 框架篇（六）SpringCloud框架
2021最新Java面经整理 | 框架篇（六）SpringCloud框架SpringCloud是对Springboot使用的分布式解决方案，适合分布式、中大型的项目架构开发，现在也逐渐成为Java服务端的主流框架。使用Spring Cloud开发的应用程序非常适合在Docker和PaaS（比如Pivotal Cloud Foundry）上部署，所以又叫做云原生应用（Cloud Native Application）。云原生可以简单地理解为面向云环境的软件架构。一、SpringCloud简介.
2020-11-10 18:14:05
4746
1
原创 2021最新Java面经整理 | 框架篇（四）Dubbo框架
2021最新Java面经整理 | 框架篇（四）Dubbo框架目录一、Dubbo 的工作流程二、Dubbo 的十层架构三、Dubbo 常见配置四、服务调用1、提供者暴露一个服务的过程2、消费者消费一个服务的过程3、服务调用过程五、Dubbo 的负载均衡机制六、Dubbo 的容错机制七、Dubbo 的服务降级八、Dubbo 的动态代理策略九、Dubbo 的SPI机制十、Dubbo 的序列化协议十一、Dubbo内置了哪几种服务容器十二、Dubbo 和
2020-11-10 14:14:55
1000
1
原创 2021最新Java面经整理 | 中间件篇（六）Tomcat
2021最新Java面经整理 | 中间件篇（六）Tomcat目录一、Tomcat的整体结构1、连接器（connector）2、容器（container）3、其他二、Tomcat HTTP请求流程三、Tomcat的类加载机制（不同于JVM的类加载机制）1、Tomcat 如何实现自己独特的类加载机制？2、JVM类加载和Tomcat加载的不同四、其他问题一、Tomcat的整体结构Tomcat的本质是一个Servlet容器。一个Servlet能做的事情是：处理请求资源
2020-11-10 10:45:07
1994
原创 2021最新Java面经整理 | 中间件篇（五）Zookeeper
2021最新Java面经整理 | 中间件篇（五）Zookeeper一、ZooKeeperzookeeper=文件系统+通知机制zk是一个分布式的应用程序协调服务，比如有两台集器A、B，A对一个数据进行了操作，B是如何知道的，这个就需要zk的支持。分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协 调/通知、集群管理、Master 选举、配置维护，名字服务、分布式同步、分布式锁和分布式队列等功能。1、简介ZooKeeper是一个开放源.
2020-11-10 08:33:13
780
原创 2021最新Java面经整理 | 中间件篇（四）Nginx
2021最新Java面经整理 | 中间件篇（四）NginxNginx应该是现在最火的web和反向代理服务器，没有之一。她是一款诞生于俄罗斯的高性能web服务器，尤其在高并发情况下，相较Apache，有优异的表现。那除了负载均衡，还有静态代理、限流、缓存、黑白名单等功能。目录一、Nginx的负载均衡策略1、轮询2、加权轮询3、ip_hash（ IP 绑定）4、fair（第三方插件）5、url_hash（第三方插件）二、Nginx的进程模型1、Nginx采用多进程单线程模
2020-11-09 16:26:11
1849
原创 2021最新Java面经整理 | 中间件篇（二）Kafka
2021最新Java面经整理 | 中间件篇（二）Kafka目录一、Kafka简介1、Kafka是一个分布式流平台2、主题和日志（Topics and Logs）（工作原理）3、分布式4、Kafka的优势二、Kafka的使用场景三、Kafka的重要概念1、kafka的拓扑结构2、Kafka在Zookeeper中的存储结构五、理解好：主题（Topics）、分区（Partitions）、日志（Logs）六、Pull 模式七、kafka 的设计原理1、生产者
2020-11-09 14:48:33
2224
2
原创 2021最新Java面经整理 | 中间件篇（三）RabbitMQ
2021最新Java面经整理 | 中间件篇（三）RabbitMQ目录一、RabbitMQ 简介二、结构组成和核心组件（重点）三、工作模式（交换机类型）1、fanout（扇型交换机）2、direct（直连交换机）3、topic（主题交换机）4、headers（头交换机）四、消息的传递过程（重点）1、发送消息过程2、消费消息过程五、持久化（重点）1、队列持久化和消息持久化2、持久化原理六、事务七、确认机制（重点）1、Confirm 消息确认机制
2020-11-09 11:25:54
1363
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人