自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(232)
  • 收藏
  • 关注

原创 Spring-Boot 使用JSR-107集成EHCache3.x (配置Clustered以及DISK)

最近要使用EHCache3.8,网上的文档发现很少,多半都是2.x的,偶尔有些3.x的都是相互复制粘贴一些官网的.而使用JSR-107以Program方式配置的Blog一个都没看到,而且配置DISK 的Persistence 或者 Cluster的URI的也是一个都没有,只有自己手动去找和探索.所以呢总结下.官方文档Ehcache 3.8 https://www.ehcache.org/documentation/3.8/index.htmlPOM首先是依赖的引入, cache-api 是 JS.

2021-05-31 18:12:19 967 2

原创 Spring Boot 使用 Hazelcast 作为 CacheProvider 以及 Hibernate JPA 二级缓存

之前在项目中一直用到hazelcast,但是并没有系统的总结下,今天刚好总结下.简介关于Hazelcast的介绍我就不赘述了,今天主要总结下用法.这篇帖子写的还不错,要了解的话可以看这个.https://blog.csdn.net/jiangbb8686/article/details/102499206使用POM <dependency> <groupId>com.hazelcast</groupId> .

2021-05-18 18:12:40 1052 1

原创 Spring boot 整合Neo4j 实现动态Cypher

提到spring boot整合Neo4j,一般都会提到spring-data-neo4j,使用类似于jpa的方式,使用entity去maintain,但是如果想要添加动态关系或者动态的node,就算是@Query也是不够用了使用OGM其实这个包也被spring-data-neo4j引入了,所以不必要单独引入import org.neo4j.ogm.session.Session;import org.neo4j.ogm.session.SessionFactory;import org.s.

2021-01-08 15:07:30 3213 4

原创 Neo4j apoc 整合Angular,HighChart.networkgraph,Primeng从任意节点拉出和该节点有关系的整个图 (Enhanced)

最近有个需求,其中一个子需求就是从任意节点进入,拉出和他有关系的整个图,所以研究了下APOC关于介绍就去看这篇帖子吧https://blog.csdn.net/graphway/article/details/78957415apoc.path.expand我们要使用的API就是apoc.path.expand,具体介绍看https://neo4j.com/labs/apoc/4.1/overview/apoc.path/apoc.path.expand/以及https://neo4j.co.

2020-12-30 16:40:09 628

原创 Highcharts Tilemap 自动生成正六边形蜂窝状排布算法(Angular)

上一个项目需要用到TileMap,并且给定任意数据,动态排布成正六边形。关于TileMap的排布就是最后数据的结构,我记得当时还在本子上列公式算了一会,算出来个公式。写这篇blog的时候大概过了快一年了,还花了些时间回想。X代表数据总数,Y代表正六边形正中间那一行有多少个数据,只有当Y为整数的时候,当前的X的数据量才可排布成正六边形。由于我已经不在那个项目了,sourcecode没有权限拿不到,启动不起来,只有拿官网的例图来说明,看圈内就是一个正六边形排布,把数据总数7带入公式,刚好可以得出中间数据

2020-08-28 17:11:35 1561

原创 ubuntu docker-compose 编排容器并且设置自启动

这是我的docker-compose,里面写了5个容器,一个sqlserver的db,一个airlfow,一个我的主项目,会根据里面规定好的启动顺序启动。我是先用dockerfile打好了我想使用的images,然后在docker-compose里面指定我自己打的images。第一次使用镜像部署容器就使用 docker-compose up,加不加-d看自己需求,是不是需要后台启动。WorkingDirectory这个需要指向你docker-compose.yml的路径。现在,服务将在系统启动时自动启动。

2024-03-11 16:33:34 283

原创 ubuntu 卸载miniconda3

一开始安装路径错了,需要重新安一次,就一起记录了。

2024-03-08 16:19:28 548

原创 ubuntu安装miniconda3管理python版本

这边需要使用miniconda3来管理ubuntu里面的python,记录。

2024-03-08 15:54:32 853

原创 搭建的svn 1.14.1,拉取代码时候没输入账户密码就报错 auth failed

这边在ubuntu里面搭的svn server,但是拉代码的是否一直报错 auth faield,一开始以为是有auth cache,去设置里面清楚了,windows 里面也清楚了,但是还是报错。

2024-03-07 10:01:16 183

原创 Linux Ubuntu 部署SVN

最近需要在ubuntu server上部署一个svn,记录。

2024-03-05 14:59:00 514

原创 SVN手动下载安装包编译安装之后,执行svnadmin命令报错svnadmin: error while loading shared libraries: libsvn_fs_fs-1.so.0

这边wget手动下载的svn包,编译安装之后,执行svnadmin --version却报错这个这个错误表明系统无法找到名为 libsvn_fs_fs-1.so.0 的共享库文件,这可能是由于库文件的路径未正确配置导致的。

2024-03-05 14:57:42 199

原创 VSCODE SFTP本地上传文件报错

之前都是好好的,突然今天上传文件报错。误打误撞发现解决方式这是console的具体报错的 msg,并没有告知具体原因。就很奇怪,唯一发生的事情就是之前vm发生了一次IO问题,直接shutdown了。

2024-03-01 10:38:55 302

原创 Angular ts中监听变量

这边使用angluar/core中的OnChanges接口,然后实现 ngOnChanges方法,只要变量发生了变化,这里面都可以监听到,然后就可以监听你具体想监听的变量了。这边有个需求,需要监控某个@input的变量变化,突然忘记怎么监听变量了,查了下,记录。

2024-02-28 15:53:26 260

原创 构建airflow docker,报错 raise Exception(“MSSQL database MUST have READ_COMMITTED_SNAPSHOT enabled.“)Ex

我构建airflow的镜像启动的时候报这个错,我把他的数据库指向了我自己自定义的数据库。解决方式就是在自己的数据库里面执行(记得替换db_name)ALTER DATABASE db_name SET READ_COMMITTED_SNAPSHOT ON;

2024-02-20 14:58:22 138

原创 Mlflow部署的model server报错BAD_REQUEST

一开始看到这个报错,我甚至以为我发布错模型了,以至于我这个x_predict的数据不符合他的格式,但是检查之后发现又没有问题。然后有怀疑是python版本问题,然后把训练模型的和部署server的python版本都调整到一模一样,但是依然会报这个错,很奇怪。这边部署了一个mlflow里面的model作为server,但是但我call它的invocations的预测方法的时候报错。里面有这个warning,抱着试一试的想法,用单独的虚拟环境进行安装他的包,再发布模型。用这个命令进行部署的。

2024-02-07 09:28:23 549

原创 Linux ubuntu 20.4.6安装docker

这边需要在vm中使用docker,记录下。

2024-01-31 14:48:16 435

原创 Windows11通过Hyper-V创建VM,然后通过vscode连接vm进行开发

这边需要在win11上建立vm来部署docker(这边不能用windows版本的docker destop),学习了下,记录。

2024-01-31 11:42:55 1556

原创 flask log 报错raise ValueError(‘Unable to configure handler ‘ValueError: Unable to configure handler

其实这个问题是你配置的filename,也就是生成log的文件地址,他的父文件夹不存在导致的,例如我是logs/log,我的根目录下没有logs这个文件夹,现在就需要手动创建一个logs文件夹,就可以解决这个问题了。配置完log,启动项目的时候报错,查了下,记录。我的logging.json是这样。启动项目之后,却报错。

2024-01-19 16:28:22 618

原创 pytest log配置

发现用print在console里面打不出来,所以查了一下关于pytest的log配置,记录。就可以在pytest中在console中看到print打印的东西呢。如果你只需要使用print打印日志的话,就只需要这样写。首先需要在根目录新建 pytest.ini。然后在test中这样就可以使用了。但是如果需要log配置的话。

2024-01-19 16:22:45 494

原创 Flask 3.x log全域配置(包含pytest)

最近使用到flask3.x,配置了全域的log,这边记录下首先需要创建logging的配置文件,我是放在项目根目录的,

2024-01-19 16:12:58 635

原创 Flask+ Dependency-injecter+pytest 写测试类

最近在使用这几个在做项目,因为第一次用这个,所以不免有些问题。总结下踩的坑。

2024-01-12 16:27:56 492

原创 sqlalchemy 监听所有实体插入以及更新事件

重要的就是@event.listens_for,这里。监听公共类,所有继承了它的实体的插入更新都会被监听到,然后就是对里面的字段进行统一的操作就行了,不用再每次插入或者更新进行手动修改了。这边使用的是flask+dependency-injecter+sqlalchemy,有一个公共类,想插入或者更新的时候对公共类某些字段进行统一操作。这个是公共类:包括一些基础字段,所有的实体都会继承这个类。

2024-01-12 16:15:57 657

原创 sqlalchemy 事务自动控制(类java aop)

然后comtextmanger里面就是我们的处理代码了,我们主要依靠with代码块来控制,在yield之前的属于__init__,在yield之后属于__exit__,也就是当with代码块结束之前,如果发生任何报错,我们都会进行rollback操作,并且raise(这部分需要error handler来做了,这里就不赘述了),然后如果什么错误都没有发生,就检测transaction是否还是active,如果是就commit,然后关闭session。然后在repo里面写具体代码就行了。

2024-01-11 14:42:53 597

原创 Grafana UI 入门使用

最近项目上需要使用Grafana来做chart,因为server不是我在搭建,所以就不介绍怎么搭建grafana server,而是谈下怎么在UI上具体操作使用了。

2024-01-03 15:45:47 1530 1

原创 Grafana Refused to display ‘http://{ip:port}/‘ in a frame because it set ‘X-Frame-Options‘ to ‘deny‘

最近项目在使用grafana,想用embed的方式用iframe把在grafana上建好的chart import进项目里面,但是发现FE的console里面报错Refused to display 'http://{ip:port}/' in a frame because it set 'X-Frame-Options' to 'deny',查了下,记录。这个问题的根本是grafana服务器的配置修改。你可以在Grafana UI里面的。

2024-01-03 10:15:20 537

原创 Excel formulas 使用总结(更新中)

最近在写task assigment的时候学习到的,记录下。首先它所有需要写赋值formuls都要用开头。

2023-12-28 09:44:10 843 1

原创 UserWarning: Field “model_server_url“ has conflict with protected namespace “model_“.

我看到有人提出把pydantic 降级来修复问题,但是我不确定这样做会不会影响mlflow某些功能,而且这个告警也没有影响到我现有的功能,就暂时没有做。我这边是项目里使用到了mlflow,启动项目的时候老是有这个两个告警,虽然没有影响到什么功能,但是每次启动都看到。让new bing和chatGPT修复了半天也依然不行,就感觉出来了可能是个bug了,果然在github上看到了,有很多人也遇到了这个问题。

2023-12-19 15:20:10 1074

原创 python项目中获取相对磁盘的绝对路径 os.path.abspath

这边需要配置一个相对于磁盘的绝对路径。这个路径在我的工作路径下,但是发布的环境不同,这个路径前缀也就不一样呢,于是查了下。然后用log吧这个打印出来就可以看到是相对于磁盘的绝对路径了。例如你需要配置的路径是是。

2023-12-14 15:39:54 435

原创 Python 中 Thread 线程的用法

线程是一种并发执行的方式,可以让你的程序在等待某些事件的同时,执行其他的任务。这样,线程就会开始运行,调用指定的函数,并传入相应的参数。线程的运行是异步的,也就是说,它不会阻塞主线程的执行,而是在后台进行。- alive: 线程的存活状态,是一个布尔值,表示线程是否还在运行。- name: 线程的名称,可以在创建时指定,也可以通过setName()和getName()方法修改和获取。这样,主线程就会暂停,直到线程运行完毕。- ident: 线程的标识符,是一个整数,可以通过ident属性获取,但不能修改。

2023-12-07 15:46:15 592

原创 Flask 3.x + dependency-injector 4.xAttributeError: ‘Provide‘ object has no attribute ‘xxxx‘

我遇到当然不属于这里的任何一种,我发现我在整理项目结构的时候,把blueprint往目录深处放了,之前是和application.py同一目录,现在出问题了,就怀疑是目录的问题,移出来之后果然不报错了.然后一点一点排查,发现了问题根源,那就是。还有一种情况就是在Containers 中定义的问题,这里我就不展示了,只是把Containers 贴出来,这里一般就是忘记定义而已,很好检查。这就是初学的时候很容易犯的一个错误,编译器不会告诉你错了,启动项目也没问题,知道call到这个api了就会报这个错.

2023-12-05 21:21:45 580

原创 Flask 自定义template和静态文件路径

这边使用flask的时候希望规范下路径,就需要重新移动默认的template的路径,所以就需要自定义路径了,查了下。就直接在app.py里面进行修改,加两个属性,第一个就是放html的第二个就是放css/js那些静态文件的。修改完记得重新启动,热部署无法加载这个修改。

2023-12-04 17:23:42 821

原创 pyenv local x.xx.x不生效

3.需要保证pyenv的path环境变量比之前本地的python优先级要高(我就是这个问题,把pyenv在path中变量提到本地原来python之前就可以了)我本地原来有个python,之后用pip安装了pyenv,使用pyenv新安装了一个python,设置某个local的时候发现不生效。这种情况需要检查3个地方。2.需要重新开一个cmd。1.有没有生成这个文件。

2023-11-27 17:11:47 552

原创 pyenv修改国内镜像

pyenv安装发现很慢,默认是中心库,需要修改下国内镜像。这两个镜像二选一,然后重开一个cmd,然后执行。更新下,然后就可以使用国内镜像了。

2023-11-27 16:57:49 1059

原创 python中pprint()与print()

这里有两个对象在一个arry里面,普通的print直接全部打印出来,而pprint则是会把每个独立的对象进行换行,增加可读性。平常经常使用print(),今天突然看到pprint(),好奇查了下,记录。统而言之,pprint()更适合打印结构化数据,对于可读性有很大的提升。

2023-11-24 17:45:51 434

原创 MLFlow 入门(Model管理,生命周期管理)

MLflow是一个开源平台,专门为了帮助机器学习的从业者和团队处理机器学习过程中的复杂性而设计的。MLflow关注机器学习项目的完整生命周期,确保每个阶段都是可管理的、可追溯的和可复现的。MLflow目前提供了几个关键的组件:MLflow AI Gateway:通过安全、简单的API与最先进的LLM进行交互。MLflow LLM Evaluate:简化LLM和提示的评估。MLflow Tracking:记录和查询实验:代码、数据、配置和结果。

2023-11-24 17:24:07 689

原创 Highchart chart设置时区

直接在str里面加上你需要的时区就行了。这就是一个完整的str。

2023-11-16 15:42:48 118

原创 Java Elasticsearch 按一定时间间隔(timeInterval)循环查询数据

的话,date_histogram查询出来的聚合只会有8am-9am,9am-10am,10am-11am,11am-12am这几个的聚合,不会有8am之前的聚合出现,照理来说,会出现12个聚合,不管有没有数据都有聚合返回,只不过某些聚合出来docCount是0而已。所以需要加上这个条件。目的就是防止出现0数据不会返回,例如我只有8am到12am内有数据,现在是12am,timeInterval是一小时,总共时间跨度是12小时。例如这个chart的前半段,虽然聚合出来没有数据,但是也需要展示0数据。

2023-11-14 15:49:32 590

原创 WARNING: Ignoring APKINDEX.2c4ac24e.tar.gz: No such file or directory

在jenkins上执行apk list python3 没有任何返回,只有这个警告,于是查了一下,记录。这个警告是由于你的apk缓存索引文件损坏或丢失导致的。在你的apk命令之前执行update来重建或更新缓存索引。在你的apk命令中添加--no-cache选项。

2023-10-31 16:19:01 179

原创 Sql 中的 Replace方法

最近需要改代码中写入db的一段content,但是已经存入的也不能删,就查了Replace下用法。然后把com换成simplilearn.org。这是原来的table。

2023-10-31 11:09:31 125

原创 python 检查文件夹是否存在并且创建

【代码】python 检查文件夹是否存在并且创建。

2023-10-27 17:35:49 163

把csv按日期分隔成不同文件

python把csv根据不同日期分隔成多个csv

2023-09-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除