- 博客(98)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 python程序内存泄漏的解决方法
笔者在实际应用过程中，利用python解析交易数据，其中的方法是对文件夹进行遍历，然后根据里面的每个文件进行单独的解析，也就是用到了多层循环，结果导致内存占用越来越大，以至于最终内存满了而程序崩溃退出。但是因为笔者的程序调用了外部API，这个相对比较难查找，因此弃用。在上述代码中，每次使用os.system进行调用之后，都会自动进行内存资源的回收。笔者查询了好多方法，包括直接使用gc进行内存回收， gc.collect()而很明显的一个现象就是程序人工中断退出之后，内存快速回收。
2023-12-01 19:21:15
820
原创 virtualbox中windows11开机自动登录设置
但是实际测试发现，必须windows11的用户登录该系统之后该应用才能启动，否则尽管windows11系统启动了但是用户没有登录的情况下还是没有启动该应用。笔者在实际应用过程中，使用了Vritualbox系统安装windows11，然后在windows11中部署了相关应用，需要在开机之后自动启动该应用。在windows11中进行设置用户自动登录，需要用到注册表，因此在运行输入框 输入 regedit 回车，启动注册表界面。ok，闲言少叙，接下来说说具体如何设置。
2023-12-01 19:15:40
682
原创 利用python实现文件压缩打包的功能
需要注意的是，上面的代码实际上只执行了一个打包的功能，根本没有对文件进行压缩，所以打包之后的文件大小没有什么变化，这显然不是我想要的。那么如果已经存在该压缩文件，现在想往该压缩文件里面追加文件，是否可以？其中的模式 w表示如果没有该文件则创建该文件，如果有该文件则覆盖。结果发现，外甥打灯笼--- 照舅（旧），对多个参数值进行尝试。这就需要对ZipFile函数的具体参数有所了解。实际上肯定可以的，只需要将w改成a即可。实际上肯定可以的，只需要将w改成a即可。
2023-12-01 19:10:05
532
原创 深度学习---自有图像数据集划分
当然 前提是将自有图像数据集已经按照分类进行了预处理，每个分类的图像作为一个单独的目录。要对自有图像数据集进行图像分类，首选需要将自有图像数据集划分为train和val(或者test）数据集。在执行了上述代码之后，实现了自有图像数据集的划分，然后就可以利用该数据集进行模型训练了。
2023-08-13 18:56:47
447
原创 linux系统关机前自动执行脚本的相关设置方法
编写 service文件： vim /usr/lib/systemd/system/custom_shutdown.service。可以根据以上内容修改其中的ExecStart=/scripts/automonitor.sh 为自己想要的内容。有的时候在实际使用过程中，需要在linux 关机或者重启前自动执行脚本，这可以通过systemctl命令来实现。然后 systemctl enable custom_shutdown.service。即可在关机或者重启的时候执行上述指定的脚本。
2023-07-03 19:59:29
843
原创 Linux系统缩短关机/重启时间的方法
然后修改 /etc/systemd/system.conf，具体命令如下： vim /etc/systemd/system.conf。在Linux系统中，有的时候需要重启或者关机，但是因为要关闭其中的相关进程导致关机过程中等待好久，所以有必要进行调整。默认是90s，可以修改为如上的5s之类的。欢迎访问，查看更多内容。
2023-07-03 19:58:53
363
原创 loki 的memberlist查看
即可将以上的不同loki进程整合为一个整体。loki作为目前比较 通用的日志类数据管理软件，使用起来具有一定的门槛。loki既可以支持单机版使用，也可以为了应对大规模数据而采用集群模式进行部署。假设loki的查询地址为 http://127.0.0.1:3000 那么查询网址为： http://127.0.0.1:3000/ring。而在集群模式下，需要在配置文件中用到memberlist字段进行内部的令牌环管理。
2023-07-03 19:34:34
359
原创 vector 数据流查询命令
A lightweight, ultra-fast tool for building observability pipelines，vector在日常运维数据采集中也具有非常重要的作用。而在实际使用过程中，往往需要看到vector是否已经接收到数据，是否已经对外发送数据，也就是所谓的数据流查询命令。
2023-07-03 19:17:27
268
原创 安装gym指定版本
笔者近期接触深度强化学习，想按照网上的相关资料实际操作和学习一番，而深度强化学习的实例中，很多都用到了gym这个库。有关这个gym库的介绍，笔者在此不再赘述，只简单说一下实际使用过程中遇到的问题。
2023-05-29 16:07:10
2824
1
原创 windows系统中安装目标检测平台detectron2
detectron2是Facebook研发并开源的目标检测平台，包含了大量业内最具代表性的目标检测、图像分割、关键点检测算法等。第二步： 根据python版本选择Jpype进行安装 https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype。但是笔者这里安装的时候报错了，忽略该问题，直接跳转到上面安装Detectron2，发现成功安装。笔者在执行第一行命令进行下载的时候，完全没有问题。但是第二行则直接报错，相关错误如下：。笔者经查询，解决方案如下：。
2023-04-21 09:23:18
1141
1
原创 采集主机log日志并发送至loki的方法
在ubuntu以及Centos等主机系统中，会产生一些系统日志信息，这些信息有助于后续查找故障原因，提升主机运行质量。因此本文简单介绍一下，如何将这些信息主动发送至Loki系统中予以持久化保存。
2023-02-09 14:31:45
1200
原创 离线脱机版个人笔记软件的选择
笔者平时在工作过程中，经常有一些心得体会或者操作手册之类的内容需要记录，之前一直是采用word版本或者网络文章blog等方式予以记录。但是总觉得不是特别方便，要么受限于网络，不方便上网的地方无法使用，要么是文章组织形式比较糟糕，查询文章比较困难。笔者经过搜索，发现网友们有推荐为知笔记WizNote，支持在线写笔记，也可以通过docker下载的方式获取离线版本，并且离线版本可以做到免费，只是受到一些限制。但是笔者经过使用发现有点不太方便（需要安装docker等，或许是笔者太懒了）。另外有网友推荐思..
2022-01-29 15:36:59
4191
原创 ubuntu20.04 安装onos
是由ON.Lab使用Java及Apache实现发布的首款开源的SDN网络操作系统，主要面向服务提供商和企业骨干网。ONOS的设计宗旨是满足网络需求实现可靠性强、性能好、灵活度高。此外，ONOS的北向接口抽象层和API支持简单的应用开发，而通过南向接口抽象层和接口则可以管控OpenFlow或者传统设备。笔者尝试在ubuntu20.04版本中安装onos，起初按照网上的相关攻略，先安装bazel，然后下载onos的源代码进行编译。结果运行bazel build onos的时候，错误百出，有些文章指出是网络的
2021-09-27 14:50:07
2153
1
原创 mininet基本操作
mininet是由斯坦福大学基于Linux Container架构开发的一个进程虚拟化网络仿真工具，可以创建一个包含主机，交换机，控制器和链路的虚拟网络，其交换机支持OpenFlow，具备高度灵活的自定义软件定义网络。在ubuntu系统中安装mininet比较简单，直接通过命令行安装即可：apt install mininet安装完成之后，即可在终端使用mn命令进行相关操作。不过这种方式相对比较抽象，不是特别直观。mininet2.2.0版本之后包含了miniedit程序，可以进行可视化的配.
2021-09-26 13:45:51
1681
原创 MLFlow最简单实例
近几天接触到一个开源的机器学习实验管理平台MLFlow，它独立于第三方机器学习库，可以与任何机器学习库、任意语言结合。本文介绍一个最简单的实验例子：安装很简单：pip install mlflow简单实例代码：import osfrom mlflow import log_metric,log_param,log_artifactif __name__ == '__main__': log_param("sim param",5) log_metric("foo",..
2021-09-09 17:20:02
931
2
原创 selenium循环打开多个网页导致内存耗尽的解决办法
近几天使用了Selenium模拟打开浏览器获取网页数据，因为需要打开多个网页所以采用的是for循环的方式，随着程序的运行时间越来越久，发现内存占用越来越多。原来的代码大体如下：
2021-09-09 14:23:21
3537
3
原创 Ubuntu的backspace、上下左右箭头失效的解决办法
重装ncurses-base后重启终端即可。输入命令：sudo apt install ncurses-base
2021-07-08 11:10:32
1167
原创 python程序 自动启动运行并防止启动两个以上进程
汗，近期需要运行一个python程序，但是受限于网络环境等具体因素，会偶尔中断崩溃。希望在程序中断运行之后，自动重新启动，所以采用的是crontab机制：*/5 * * * * python3 /test.py > /test.log上述命令表示每五分钟执行一次 python3 /test.py > test.log 命令。但是与此同时，也不希望同时运行两个python3 /test.py命令。因此需要在源代码里面进行判断：import psutilimport sys.
2021-06-26 18:45:53
1270
原创 mysql用户口令中含有特殊字符@的情况下，如何正确链接数据库
dbConnect=create_engine(f'mysql+pymysql://{userName}:{urlquote(password)}@{dbHost}:{dbPort}/{dbName}?charset=utf8')
2021-06-21 15:45:44
5800
1
原创 Prometheus中如何查询所有的度量名称（metrics names)?
Prometheus自带了Promql查询语言，可以查询丰富的数据内容。笔者近期才开始接触Promql，相当于是这方面的菜鸟中的菜鸟，很想知道Prometheus采集的时序序列数据中，有哪些度量
2021-05-28 15:16:57
4710
原创 Prometheus常用的exporter列表
原创文章， 欢迎转载（但需注明出处：https://blog.csdn.net/booklijian/article/details/116491288）Prometheus针对不同类型的数据采用不同的exporter程序，现简单罗列如下：Linux类操作系统相关数据的采集程序node_exporter https://github.com/prometheus/node_exporterSNMP类采集程序 snmp_exporterhttps://github.com/prometh...
2021-05-07 14:54:27
2411
原创 Ubuntu20.04 系统中设置dns并生效
原创文章， 欢迎转载（但需注明出处：https://mp.csdn.net/editor/html/116272306）如题，Ubuntu 20.04 LTS 版本安装之后，发现偶尔报错 Temporary failure in name resolution，搜索一番之后大部分意见认为是系统的DNS设置不全面，建议重新设置一下DNS。按照网上的文章，直接修改的是/etc/resolv.conf ，原文内容如下：nameserver 127.0.0.53options edns0 tr...
2021-05-07 14:03:58
24513
12
原创 Ubuntu20.04 系统中安装vncserver----新方法，更好用
原创文章， 欢迎转载（但需注明出处：https://mp.csdn.net/editor/html/116272306）如标题所示，此前本人曾经写过一篇类似的文章，《Ubuntu 20.04系统中安装vncserver》，但是该方法安装的vncserver模式总是有点不太习惯，毕竟不是gnome风格的。所以此处介绍一种更好的方法，目前一切使用正常。 apt-get install gnome-session-flashback根据提示可能还需要安装gnome-terminal、nautilus
2021-04-29 16:52:59
1833
1
原创 Thanos部署运行过程中，报错context deadline exceeded，具体解决办法
如题，笔者近期部署使用了Thanos，并且采用的是receive模式，采用了多个receive节点，结果运行的时候发现报错了，具体信息如下：level=error ts=2021-02-01T02:46:59.386889118Z caller=handler.go:330 component=receive component=receive-handler err="context deadline exceeded" msg="internal server error"level=erro.
2021-04-27 16:23:09
22928
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人