Fuly的博客

原创 Linux下批量的批量操作

docker images | grep ent-form-web |awk ‘{print $3}’ 选取出镜像id 第三列。ps -ef|grep “关键字1”|grep -v “关键字2”|cut -c 9-15|xargs kill -9。docker images | grep ent-form-web : 选取出结果带 ent-form-web的信息。ps -ef|grep “关键字1”|grep -v “关键字2”去掉含有“关键字”的进程，包含关键字1且不含关键字2。

原创 SpringCloud全家桶---常用微服务组件(1)

作用: 一些本身跟业务无关的公共逻辑,鉴权,日志,限流,跨域。sentinel(推荐) [读音: 申特闹 ]SpringCloudGateway(推荐)Eureka(不推荐)[读音: 优瑞卡]Zookeeper [读音: 如k波]LodaBalancer(推荐)Consul [读音:康寿]ribbon [读音: 瑞本]NacosConfig(推荐)* 作用: 客户端的负载均衡。Skywalking(推荐)OpenFeign(推荐)*作用: 追踪服务健康状况。Feign(不推荐)

原创 消息队列常见面试题

RocketMQ: 采用订阅发布模式(所有订阅的消费者都会接收到消息),阿里出品,每秒能处理几十万的消息,能做到毫秒级响应,在意响应时延的采用RocketMQ,如金融系统和交易系统;kafka: 订阅发布模式,兼容性最好,设计上使用大量和批量思想,性能超好,消息处理速度每秒几十万条,但响应速度没那么好;② 订阅模式无法保证消息顺序,如果要保证消费顺序,一个生产者对应一个消费者,每个实例一一对应;① 临时扩容,增加消息容量,(增加机器,或者将消息导入一个新的更大的队列中)① 队列模式可以保证消费顺序,;

原创 ES分页问题

然后我们可以通过数据返回的_scroll_id读取下一页内容，每次请求将会读取下10条数据，直到数据读取完毕或者scroll_id保留时间截止;2.3 Sliced Scroll 切片并发, 与Scroll Scan类似只是进行切片,然后并发执行;2.2 Scroll Scan 的遍历与普通 Scroll 一样，初始化存在一点差别,但没有排序功能;参考: https://juejin.cn/post/7092046739414204430。scroll=5m表示设置scroll_id保留5分钟可用。

原创 利用注解进行数据脱敏

【代码】利用注解进行数据脱敏。

原创 ES查询数据量大, 导致查不出数据

如果传参大于max_result_window 会报错,导致查询不出数据。设置 max_result_window大于或等于传参数据即可。

原创 高并发系统的设计(1)

所以只能横向扩展, 一台不够用两台,两台不够用4台, 如果系统架构设置得当,横向扩展将非常容易,而且可以根据流量进行弹性扩容缩容。分区(网络分区),网络是不稳定的,节点之间可能出现无法通讯的情况,在节点间不能通讯的时候,可以保证系统继续正常服务。从2g4核,换成32g64核,可以提高单机的性能,但是单机是有极限的,受制于硬件。高并发系统要解决的问题, 一个是服务的高并发, 一个是数据(db和缓存)。系统的并发量高,怎么办?高并发: 利用不同的负载均衡策略,将高并发转为单个服务的低并发。

原创 SpringCloud的五大组件

将权限校验的逻辑写在网关的过滤器中，后端服务不需要关注权限校验的代码，所以服务的jar包中也不会引入权限校验的逻辑，不会增加jar包大小；如果想修改权限校验的逻辑，只需要修改网关中的权限校验过滤器即可，而不需要升级所有已存在的微服务。Feign则是在Ribbon的基础上进行了一次改进，采用接口的方式，将需要调用的其他服务的方法定义成抽象方法即可。Feign(飞嗯): 负载均衡客户端，内置的Ribbon，是对Ribbon的一种封装解决方案。zuul(入欧): 网关(替换产品gateway)

原创 系统响应优化

主要针对接口响应慢。

原创 CAP理论-面试题

CAP理论其实实对分布式数据存储系统的一个定论,一个分布式系统没办法同时满足一致性©,可用性(A),分区容忍性§,由于网络不可靠,大多数分布式系统都会实现分区容忍性,之后再一致性©和可用性(A)之间选择。如果允许分区容错性§, 同时又保证俩节点都能用(可用性A),就没法保证一致性(A),如果要一致性©,就将一侧的节点设置为不可用,就无法保证可用性(A), 这三者就是一个不可能三角。AP系统: 分区故障后,系统仍可以访问,但有些是新数据,有些是旧数据(Eureka)(系统必须可用,数据错了没问题)

原创 Elasticsearch面试知识点

参考: https://zhuanlan.zhihu.com/p/33671444Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤索引(index): 一个索引简单的理解成关系型数据库,类型(type): type 相当于一个表 es7已经移除type概念映射(mapping) 相当于表结构文档(document) 相当于表中的一行数据字段(field) 相当于表中字段集群(cluster) 一个或者多个节点组成节点(node) 集群中的节点,一台机

原创 mysql判断字段是否存在 不存在则添加

mysql 判断字段是否存在, 不存在则添加

原创 mybatis-plus使用BaseTypeHandler实现数据库字段加密

数据库字段加密 mybatis_plus BaseTypeHandler

原创 使用docker-compose 搭建mqtt服务器

docker 搭建mqtt服务器

原创 利用jasypt对springboot配置项进行加密

jasypt 加密

原创 使用mysql-binlog-connector-java监听mysql的binlog

mysql监听的binlog

原创 项目中使用docker部署xxl-job

参考公司大佬的部署文档docker-compose文件version: "3.7" services: xxljob: image: xuxueli/xxl-job-admin:2.3.0 container_name: xxl-job ports: - 8180:8080 volumes: - ./tmp:/data/applogs environ

原创 ESP32-C3上运行MicroPython使用MQTT通讯

参考: https://blog.csdn.net/freemote/article/details/105348959环境: micropython ESP32-C3 腾讯云物联网IOT说明:esp32-c3的固件中 没有umqtt模块,所以需要手动引入simple.py(参考https://github.com/micropython/micropython-lib/blob/master/micropython/umqtt.simple/umqtt/simple.py)可以使用 help

原创 使用IDEA作为ESP32的开发环境(microPython)

工作常用IDEA,不想在电脑上装太多软件,之前在Idea上写Python,那么用Idea写microPython应该也是可以的,就是为了不装PyCharm,如果你一直在Idea上写python,可以照着试试环境:你window10 ,python3.7.5,IDEA(2020.3) 硬件部分ESP32-C3(10块钱买的)参考: https://blog.csdn.net/qq_43454310/article/details/114792124首先安装MicroPython插件(前提是已经安

原创 使用MQTT.fx接入腾讯MQTT平台

MQTT.fx

原创 java面试题/认证答辩 ---JUC并发包

JUC专题

原创 java面试题/认证答辩 --- 锁

锁相关专题

原创 java面试题/认证答辩 ---多线程

原创 java面试题/认证答辩 ---java内存模型(JMM)和运行内存结构(JVM)

jmmjvm调优

原创 java面试题/认证答辩 --- tomcat面试题

原创 java面试题/认证答辩 ---主流框架(springboot面试题)

springboot 常见的面试题参考:> https://blog.csdn.net/qq_41922608/article/details/108581251> https://blog.csdn.net/weixin_43469379/article/details/105604966springBoot的核心注解是什么？SpringBoot的核心注解是指启动类上面的注解 @SpringBootApplication@SpringBootApplication是一个复合

原创 java面试题/认证答辩 ---主流框架(springboot)

springboot源码解读: springboot2.4.4# https://blog.csdn.net/qq_32828253/article/details/109496848# https://zhuanlan.zhihu.com/p/95217578以下所有知识均来自于网络从main方法开始 public static void main(String[] args) { // SpringApplication.run(AjProjectApp.class, a

原创 java面试题/认证答辩 ---主流框架(mybatis)

掌握程度:熟悉：熟悉相关框架的基本开发技巧，能使用框架进行基本开发掌握：理解AOP，IOC等概念，熟悉相关框架的基本实现原理，能独立使用相关框架搭建中型产品和项目。精通：熟悉相关框架源代码，能够使用拦截器，AOP等技术进行系统安全和数据监控等复杂功能的开发综合应用：掌握相关框架实现原理，能够对框架进行扩展开发，有大型产品或项目框架选型和搭建经验，具有问题排查解决能力mybatis参考:https://blog.csdn.net/ITITII/article/details/79969447.

原创 java面试题/认证答辩 ---中间件

对中间件的掌握程度:熟悉：了解ActiveMQ/RabbitMQ/kafka等至少一种消息中间件，redis等nosql，Nginx掌握：掌握ActiveMQ/RabbitMQ/kafka等至少一种消息中间件，redis等nosql，Nginx精通：深入理解消息队列、nosql、nginx的原理和模式综合应用：具备常用中间件的性能调优、复杂问题排查能力，能在项目中熟练使用并指导开发人员redis 参考: https://blog.csdn.net/xy3233/article/details/11

原创 java面试题/认证答辩 ---网络知识

对网络知识的掌握层度熟悉：了解http和TCP，能调试http的前后端接口，解决跨越问题掌握：具备网络和协议知识和常用的网络代码攻击方式精通：精通加密解密，HTTPS等配置和应用，能识别并防止大多数常见的代码安全问题综合应用：在系统和开发中避免大多数的安全问题，能有效修改扫描出的问题参考: https://blog.csdn.net/xy3233/article/details/106433665https://blog.csdn.net/Star_CSU/article/details/9.

原创 java面试题/认证答辩 ---linux系统操作

...

原创 java面试题/认证答辩 ---数据库相关

对数据库掌握层次的定义熟悉：掌握基本sql语法，能对接数据库进行简单功能开发掌握：能独立设计应用的数据库表，掌握基本sql优化技巧精通：掌握事务隔离级别，锁，分库分表设计等概念和技术，能进行大数据量应用的数据库设计综合应用：综合使用数据库技术，独立完成大数据量下大型产品或项目的数据库设计和调优参考: https://segmentfault.com/a/1190000022635983https://blog.csdn.net/zanpengfei/article/details/12350.

原创 java面试题/认证答辩 --- git相关

git的几个层次:熟悉：能使用常用的Git命令和客户端工具管理代码掌握：熟练使用Git命令，理解Git flow精通：擅长Git合并，回退，Tag等相关的Git flow操作命令综合应用：能配合CI/CD工具开发自动脚本参考: https://www.cnblogs.com/jztan/p/6068780.html1 介绍一下gitflowGit是一种分布式版本控制系统工作原理：Workspace: 工作区，执行git add *命令就把改动提交到了暂存区，执行git pull命令将

原创 释放docker日志所占空间

查看docker日志位置(不同的系统位置可能不一样) 本文以centos为例参考: https://www.cnblogs.com/YatHo/p/7866029.html指令: journalctl -u docker.servicedocker 日志位置进入容器目录 可以看到日志 -.json.log就是日志删除日志脚本 出至: https://blog.csdn.net/wang0112233/article/details/109819709命名为delete_log .sh放在

原创 使用docker部署mysql

开发或者测试环境可以使用docker部署,生产环境不建议使用docker部署使用docker-compose部署docker-compose-mysql.yml文件version: "3.7" services: mysql: image: mysql container_name: mysql ports: - 3306:3306 - 3307:3307 environmen

原创 使用python搭建一个股票训练程序

python搭建的股票训练系统

原创 使用mplfinance和matplotlib生成动态K线图

python代码生成动态K线图

原创 kaggle下载output中的文件

kaggle的output没办法直接下载文件夹,倒是可以下载文件,当你的训练模型很多个文件的时候, 一个一个下载太慢了, 所以先将output压缩一下,然后下载就行了直接在cell中运行此代码即可import osimport zipfileimport datetimedef file2zip(packagePath, zipPath): ''' :param packagePath: 文件夹路径 :param zipPath: 压缩包路径 :return: '''

原创 numpy的一些常用方法

# -*- coding: utf-8 -*-import numpy as npdef demo_1(): ''' 维度 :return: ''' a_1 = np.array([1, 2, 3, 4, 5, 6, 7, 8]) print(a_1.shape) # 8 a_2 = np.array([[1], [2], [3], [4], [5], [6], [7], [8]]) print(a_2.shape) # 8, 1

原创 git忽略文件.gitignore配置

# 忽略指定文件HelloWrold.class# 忽略所有指定后缀的*.log*.txt*.jpg# 忽略指定文件夹/dist/bin/gen/忽略名称以指定名称结尾的的文件夹*variables/*checkpoint/*result/# 忽略指定中间名的文件夹*model*/...