- 博客(416)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 关于2021年个人公众号总结
兜兜转转，又过了一年，2022年来了，自己又老了一岁，娃也长大了一岁，无聊的年底迎来了一波又一波的数字化考核，假的让人瞠目结舌。人生啊，处于上有老下有小的境地，工作呢，在甲乙丙丁戊各方中周...
2022-01-04 15:20:44
1280
1
原创 关于2020年个人公众号总结
年关将近，又到了一年一度的总结时候，本来写的好好的总结材料，结果没保存好，只好提笔重写写到哪里算哪里了。2020年是特别的，一场突如其来的新冠疫情从武汉爆发迅速席卷到全国，然后全世界也沦陷了，几乎影响和改变了每个人的生活，时至今日还在我们的生活中时不时的制造一些麻烦。疫情深刻地改变了全球政治、经济和人们的生活。对中国来说,中国方案和中国抗疫行动为世界在灾难面前保持了一份稳定的信心。也正因为中国方案和行动卓有成效,才迎来中国经济的稳步复苏和国内生活秩序的迅速恢复。这一成绩点亮了世界,也点亮了人们的内心。也
2020-12-30 00:35:32
953
1
原创 关于我的公众号和公众号文章索引，请大家关注，谢谢
2019年公众号文章索引。有兴趣，大家可以关注，谢谢。目前差不多将近90篇了，有质量高的有质量低的，有懈怠的时候也有如期交付的时候，不管怎么样，算是坚持下来了，希望明年会更好。总的来说，搞技术要沉下来，不求尽如人意，但求问心无悔。链接太难搞了，偷偷懒，只贴标题和分类了。文章 类型 关于大数据运维能力的一些思考 IT业界 去IOEorNot? I...
2020-02-04 15:25:14
972
原创 关于FastAPI文档无法显示的问题
Python调试和部署总会碰到各种各样的问题，Python的版本问题，各种包的版本问题，Python的调试和部署快成了一门玄学，这次遭遇到的是FastAPI文档界面无法显示的问题，中间也测试过几种方案。FastAPI部署后，各页面均正常响应，除了文档页，经查证是FastAPI接口文档中默认使用的是https://cdn.jsdelivr.net/npm/[email protected]/...
2024-03-12 09:30:33
438
原创 QGIS文章五——对遥感影像进行土地类型分类—监督分类（dzetsaka : classification tool）
dzetsaka classification tool是QGIS的强大分类插件，目前主要提供了高斯混合模型分类器、Random Forest、KNN和SVM四种分类器模型，相比于SCP(Semi-Automatic Classification)，他的一个特点就是功能专一，操作简单。从十一月开始一直忙于写个可研材料，持续忙了20天，此外关于训练这事儿，主要因素一个是数据标注，一个是摸索工具，另外...
2023-11-22 22:47:16
1218
原创 QGIS文章五——对遥感影像进行土地类型分类-选择遥感影像
关于下载遥感影像的地方有很多：1、国家综合地球观测数据共享平台（https://www.chinageoss.cn/）2、地理空间数据云（https://www.gscloud.cn/）3、美国地质勘探局官网（https://earthexplorer.usgs.gov/）一来几乎所有网站都需要注册，国内网站还需要审核下载，并且需要等待，此外下载下来之后，会发现分辨率太低，还远不如天地图/高德地图...
2023-10-06 09:05:50
300
原创 关于GIS数据分类方式
GIS数据有很多种分类方式，按照数据结构可分为矢量数据、栅格数据、DEM数据，还可以再细致的分为数据库格式、点云格式、3D格式，也可以按照各厂家和标准类别来分等等。笔者也是GIS小白，在这里把收集到的素材略加整理，万一碰到形形色色的GIS文件，不至于显得太意外。一、栅格数据栅格数据由像素组成。它们通常间隔规则且呈方形，但不必如此。栅格通常看起来像素化，因为每个像素都有自己的值或类。1. netCD...
2023-10-04 08:05:48
245
原创 QGIS文章三——模拟风暴潮水淹
之前工作中处理过风暴潮的数据，也获取到了不同等级台风水淹的DEM数据，不过还是很好奇是怎么推演出来的，最近一段时间看QGIS比较多，加上看到了一篇文章《GIS软件进行风暴潮沿海洪水建模》，于是简单尝试了一下，我也东施效颦了一把。主要目的是看一下海口市在风暴潮1米、2米、5米、10米情况下的水淹情况，当然这个肯定不精准，未考虑到承灾体、城市建设等情况。前置条件：还是承接上文，把海口高程地图从海南的...
2023-10-03 08:05:12
111
原创 QGIS文章二——DEM高程裁剪和3D地形图
经常看到别人基于高程文件制作出精美的3D地图，笔者按照互联网几种制作方式进行尝试后，写的DEM高程裁剪和3D地形图教程，或许其中有一些错误的，也请指出。本文基于海南省的shp文件和海南省DEM高程文件，制作海口地区的3D地形图。前置条件：1、下载DEM高程文件到 https://dwtkns.com/srtm30m/ 下载2、获取海南省各市县边界shp文件自行到互联网搜索3、参考前文配置天地图底图...
2023-10-02 17:16:45
537
原创 QGIS文章一——实现天地图加载
无论是农业科学还是海洋科学，对地图的处理和数值模型的计算是少不了的，地图是可视化的基础，先有了基础再进行开始某些复杂处理，进而开始模拟推演，最后进行数值模拟和计算。QGIS（原称Quantum GIS）是一个自由软件的桌面GIS软件。它提供数据的显示、编辑和分析功能。QGIS是一个用户界面友好的桌面地理信息系统，可运行在Linux、Unix、Mac OSX和Windows等平台之上。QGIS是基于...
2023-10-01 17:25:03
381
1
原创 基于Yolov8网络进行目标检测（三）-训练自己的数据集
前一篇文章详细了讲解了如何构造自己的数据集，以及如何修改模型配置文件和数据集配置文件，本篇主要是如何训练自己的数据集，并且如何验证。VOC2012数据集下载地址：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/coco全量数据集下载地址：http://images.cocodtaset.org/annotations/annotations_train...
2023-09-16 00:00:19
3238
6
原创 基于Yolov8网络进行目标检测（二）-安装和自定义数据集
关于Yolov8的安装在前一个环节忽略了，其实非常简单，只需要以下两个步骤：1、安装pytorchpip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1182、安装ultralyticspip install ultralytics为什么把目录结构单独拿出来扯呢？这个和训...
2023-09-15 00:00:57
718
原创 基于Yolov8网络进行目标检测（一）-介绍和预测
之前提到过目标检测模型分为两类。一类是two-stage，将物体识别和物体定位分为两个步骤分别完成，这一类的典型代表是R-CNN, fast R-CNN, faster-RCNN家族。他们识别错误率低，漏识别率也较低，但是由于网络结构参数的计算量大，导致其检测速度慢，不能满足实时检测场景。为了解决精度与速度并存的问题，另一类方式出现了，称为one-stage, 典型代表是Yolo, SSD, Yo...
2023-09-13 01:25:40
982
原创 基于Pytorch构建Faster-RCNN网络进行目标检测（二）——预训练模型和预测
CoCo的全称是Common Objects in Context，是微软团队提供的一个可以用来进行图像识别的数据集，包括检测、分割、关键点估计等任务，目前用的比较多的是Coco2017数据集。Coco2017数据集是一个包含有大量图像和标注数据的开放数据集，它是微软公司在COCO项目基础上发展而来。这个数据集主要包含了种场景下的图片，包括人物、动物、物品等各种目标。同时，它还包含了很多不同的属性...
2023-09-08 00:00:53
680
原创 基于Pytorch构建Faster-RCNN网络进行目标检测的一段插曲-安装GPU环境
因工作原因，原来的台式机工作站发生了变更，除了GPU显卡（NVIDIA GeForce GTX 1660显卡变成了NVIDIA Quadro P2200显卡）以外，其他配置都差不多，从网上查阅NVIDIA Quadro P2200相当于NVIDIA GeForce GTX 1660显卡。NVIDIA Quadro P2200是一款NVIDIA品牌的显卡，制作工艺为28纳米。NVIDIAQuadro...
2023-09-05 16:53:22
101
原创 基于Pytorch构建Faster-RCNN网络进行目标检测（一）
尽管R-CNN是物体检测的鼻祖，但其实最成熟投入使用的是faster-RCNN，而且在pytorch的torchvision内置了faster-RCNN模型，当然还内置了mask-RCNN，ssd等。既然已经内置了模型，而且考虑到代码的复杂度，我们也无需再重复制造轮子，但对模型本身还是需要了解一下其原理和过程。FasterRCNN 的整体框架按照功能区分，大致分为4个模块，分别是特征提取网络ba...
2023-09-04 12:30:18
584
原创 关于目标检测鼻祖R-CNN论文
R-CNN系列论文是使用深度学习进行物体检测的鼻祖论文，其中fast-RCNN 以及faster-RCNN都是沿袭R-CNN的思路。R-CNN全称region with CNN features，其实它的名字就是一个很好的解释。用CNN提取出Region Proposals中的featues，然后进行SVM分类与bbox的回归Rich feature hierarchies for accurat...
2023-08-23 00:00:42
86
原创 关于图像分类、图像识别和目标检测异同
计算机视觉是人工智能领域的一个重要分支，它旨在构建能够理解和处理图像、视频等视觉信息的计算机系统。在计算机视觉领域中，图像分类、图像识别和目标检测是三个重要的任务，当然目标跟踪、图像生成也是新的方向和延伸。其实下面这幅图已经非常准确地说明图像分类、图像识别和目标检测的区别和共同点。 一、图像分类 图像分类的目的是将一张图像分到某个预定义的类别中。一般意义上的图像分类是指单标签分类，和...
2023-08-22 00:00:21
580
原创 基于Pytorch构建DenseNet网络对cifar-10进行分类
DenseNet是指Densely connected convolutional networks（密集卷积网络）。它的优点主要包括有效缓解梯度消失、特征传递更加有效、计算量更小、参数量更小、性能比ResNet更好。它的缺点主要是较大的内存占用。DenseNet网络与Resnet、GoogleNet类似，都是为了解决深层网络梯度消失问题的网络。Resnet从深度方向出发，通过建立前面层与后面层之...
2023-08-21 00:00:13
214
原创 基于Pytorch构建ResNet网络对cifar-10进行分类
何凯明等人在2015年提出的ResNet，在ImageNet比赛classification任务上获得第一名，获评CVPR2016最佳论文。自从深度神经网络在ImageNet大放异彩之后，后来问世的深度神经网络就朝着网络层数越来越深的方向发展，从LeNet、AlexNet、VGG-Net、GoogLeNet。直觉上我们不难得出结论：增加网络深度后，网络可以进行更加复杂的特征提取，因此更深的模型可以...
2023-08-20 12:34:29
123
原创 基于Pytorch构建GoogLeNet网络对cifar-10进行分类
GoogLeNet是2014年Christian Szegedy提出的一种全新的深度学习结构，在这之前的AlexNet、VGG等结构都是通过增大网络的深度（层数）来获得更好的训练效果，但层数的增加会带来很多负作用，比如overfit、梯度消失、梯度爆炸等。inception的提出则从另一种角度来提升训练结果：能更高效的利用计算资源，在相同的计算量下能提取到更多的特征，从而提升训练结果。incept...
2023-08-19 01:42:53
185
原创 基于Pytorch构建VGG-16Net网络对cifar-10进行分类
VGGNet发布于 2014 年，作者是 Karen Simonyan 和 Andrew Zisserman，该网络表明堆叠多个层是提升计算机视觉性能的关键因素。VGGNet 包含 11层或13层或16层 或 19 层，主要由小型的 3×3 卷积操作和 2×2 池化操作组成。基本组成部分是：1. 带填充以保持分辨率的卷积层；2. 非线性激活函 数，如ReLU；3. 汇聚层，如最大池化层。VGG 的...
2023-08-17 08:40:40
188
原创 基于Pytorch构建AlexNet网络对cifar-10进行分类
AlexNet网络是CV领域最经典的网络结构之一了，在2012年横空出世，并在当年夺下了不少比赛的冠军。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg,GoogLeNet。AlexNet和LeNet的设计非常类似，但AlexNet的结构比LeNet规模更大。AlexNet的结构比LeNet规模更大，AlexNet包含8层变换，其中包含5层卷积和2层全连接隐藏层，以及最后的一个全连接的...
2023-08-16 00:58:27
537
原创 基于Pytorch构建LeNet网络对cifar-10进行分类
LeNet5诞生于1994年，是最早的卷积神经网络之一，是Yann LeCun等人在多次研究后提出的最终卷积神经网络结构，是一种用于手写体字符识别非常高效的网络。一般LeNet即指代LeNet5。LeNet5 这个网络虽然很小，但是它包含了深度学习的基本模块：卷积层，池化层，全连接层，是其他深度学习模型的基础。LeNet5由七层组成（不包括输入层），每一层都包含可训练权重。通过卷积、池化等操作进行...
2023-08-15 10:10:34
183
原创 PyQT模块、类、控件介绍
最近在搞一些基于PyQT的开发，开发过程中一直对PyQT相关模块、类、控件比较模糊，于是花了一些力气，去收集和整理了一下PyQT的一些基础，希望对大家有帮助！PyQT模块QtCore模块涵盖了包的核心的非GUI功能，此模块被用于处理程序中涉及的时间、文件、目录、数据类型、文本流、链接、QMimeData、线程或进程等对象。QtGui模块涵盖了多种基本图形功能的类，包括但不限于：窗口集、事件处理、2...
2023-08-02 10:10:44
189
原创 基于PyQt5开发图像标注版本5终版-多标注框+标注标签+高亮和删除标签+打开图片文件+保存标注格式...
随着功能越来越多，代码也越来越多，为了让这个标注原型工具有始有终，给他加了两个按钮，打开图片文件，保存标注文件，代码也到了解耦的时候了，这次一共涉及到三个python文件，其实还可以将UI和逻辑做进一步解耦，另外最后也懒了，关于保存标注文件的代码并未真正完成，一来最近事情多了起来，一来不值得为一个原型投入太多精力，后面完整版的也不会发出来。所以这个图像标注原型版本也接近了尾声。ui_labelCh...
2023-07-27 10:30:08
773
20
原创 基于PyQt5开发图像标注版本4-多标注框+标注标签+高亮和删除标签
4.0版本在3.0版本基础上增加了双击某个位置时，如果这个位置在标注框内，则对选中的标注框进行标识出来，同时提示是否要删除当前选中的标注框，进行删除处理。在这个版本中首先需要增加双击事件，在双击事件中对当前鼠标位置是否属于某个标注框进行遍历，某个位置可能属于多标注框时，则按照先入后出的原则，进行删除。在绘制事件中主要是对当前位置所在的标注框进行区分显示。其他代码基本未变。一、修改MyLabel代码...
2023-07-26 10:00:42
335
原创 基于PyQt5开发图像标注版本3-多标注框+标注标签
这个图像标注版本在前面多标注框基础上，增加了标注标签的选择，同时修正了一下之前绘制最后一个标注框的显示问题，现在看起来更像一个标注软件了。参照labelImg的样式定义了一个自定义Dialog窗口，在这个窗口中加载了标注标签列表文件，同时这个标签是要必须选择的，或者取消。对多标注框的代码重新做了优化，一个是关于正在绘制的标注框的显示问题，如果标签取消，则不予绘制，如果选择了标签才绘制出来一、通过q...
2023-07-25 00:00:32
378
原创 基于PyQt5开发图像标注版本2-多标注框
在网上能看到的图像标注版本多是图像标注版本1的代码，但图像标注不仅只保存一个标注框，通常都是多个标注框，而且要把这些标注框信息记录下来，当然代码也是在网上找到的，做了一些改动。多标注的秘诀就在于增加一个bboxList列表，记录每次释放鼠标时的起始结束位置以及其他信息，在绘制事件中，将过往的bboxList存储的点位信息重新绘制出来。一、在MyLabel初始化过程中，增加一个self.bboxLi...
2023-07-24 08:00:13
223
1
原创 基于PyQt5开发图像标注版本1-基本标注框
关于图像标注软件，业界已经有LabelImg、Labelme、VATIC、Label Studio、Prodigy、Datasaur等开源或商业的工具。由于某种需要，本人需要开发一款数据标注工具，也尝试过阅读Labelme和LabelImg代码，但无奈水平有限放弃了，最后决定借鉴其标注界面和思想。此外图像标注，之前试过simpleGUI，但交互性有点弱，决定用pyqt5重构一下，图像标注主要包括图...
2023-07-23 09:12:44
454
1
原创 使用supervisor+uvicorn部署FastAPI应用
之前通过gensim和chatyuan部署了两个机器人，其中gensim用于提供检索机器人，chatyuan用于提供生成式机器人，为了提供web接口服务，又部署了FastAPI,FastAPI 是一个高性能 Web 框架，用于构建 API应用，FastAPI内置了一个uvicorn服务，uvicorn 是一个闪电般快速的 ASGI 服务器，基于 uvloop 和 httptools 构建。但部署在...
2023-05-04 18:30:14
1593
1
原创 通过docxtpl 自动生成数据库设计文档
docxtpl这是一个比较冷门的 Python 库，而且库中的函数也不多，才几个，但功能却很专一。如果说 docx 库的强大在于生成我们想要的 Word 文档，那么 Docxtpl 库的存在就是将这些文档按固定格式输出。今天在编写数据库结构文档，想到如此重复的工作，自然有系统办法实现，就找到了这个库。docxtpl是基于python-docx和jinja2开发出来的库。他通过对docx文档模版加载...
2023-03-07 16:26:59
562
原创 通过seaborn对全球204个国家和地区进行定量分析
数据集为全球204个国家和地区的经济、外贸、寿命、疫情数据，主要以2021年数据为基准，部分缺失国家采用了2020年的数据。本文通过seaborn对世界数据进行定量和定性分析。国际组织评定一个国家是否属于发达国家所考虑的指标除了该国的GDP规模之外，还会考虑其人均GDP/GNI、工业化水平、国民生活水平和它拥有的技术基础设施数量。除此之外，不过国际组织还会根据自身针对的领域特点，加入其他的考核因素...
2023-03-05 08:05:04
286
原创 通过Python爬取和解析海口历史天气
通过Python做数据分析，首先需要数据源，数据源有多种获取方式，一种来自数据库，一种来自表格，一种是自力更生到互联网上爬取数据。当然小批量数据可以直接拷贝下来即可，定期更新的或大批量或者有规律的数据建议还是通过爬虫获取。Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库，简单来说，它能将HTML的标签文件解析成树形结构，然后方便地获取到指定标签的对应属性。通过...
2023-02-28 00:11:12
124
转载 关于PostgreSQL解锁笔记
第一次在PostgreSQL中解锁，做下记录，仅此而已锁表通常发生在 DML（ insert 、update 、delete ）语句中，例如：程序 A 对 A 表的 a 数据 进行修改，修改过程中产生错误，没有 commit 也没有 rollback ，这个时候程序 B 对 A 表的 a 数据进行修改，会产生资源正忙的异常，也就是锁表。下面是解锁过程select oid from pg_class...
2023-02-21 10:39:29
416
转载 解决No module named pip问题
做下笔记，总是碰到no module named pip错误，安装不能按照，更新不能更新，每次都得搜索一下，这次记一下，希望后续好找一些python -m pip install --upgrade pip输入运行后如果出现错误“no module named pip”，则运行以下指令：python -m ensurepipeasy_install pippython -m pip install...
2023-02-17 00:25:06
293
原创 记录一下PostgreSQL的备份和还原
工作原因，记录一下PostgreSQL的备份和还原，无他pg_dump是用于备份一种PostgreSQL数据库的工具。即使数据库正在被并发使用，它也能创建一致的备份。pg_dump不阻塞其他用户访问数据库（读取或写入）。pg_dump只转储单个数据库。要备份一个集簇中 对于所有数据库公共的全局对象（例如角色和表空间），应使用 pg_dumpall。转储可以被输出到脚本或归档文件格式。脚本转储是包含...
2023-02-08 12:34:18
327
原创 Yolo实用指南（step by step）之四yolov5预测数据
多劫多难的预测数据路程，看起来距离胜利已经伸手可及，但确折腾了整整好几天。1、第一次经历，参考Yolo实用指南（step by step）之三yolov5训练自己的数据集在训练数据和验证数据都已经OK了，但在预测数据的时候，一直没有预测框出来，经过核查发现pred tensor都是nan。网上各种方案都有，有的说是pytorch版本不对，有的说是yolov5和权重版本不对，有的要改代码，反正折腾了...
2023-01-30 16:36:21
523
转载 2023年除夕守岁
鞭炮声声辞旧岁，红灯高高照吉祥，春联红红写如意，水饺香香包幸福，酒杯满满碰快乐，短信条条送祝福，春节到，愿你合家欢乐，福寿安康，春节愉快!...
2023-01-21 09:32:51
79
原创 Yolo实用指南（step by step）之三yolov5训练自己的数据集
关于yolov5训练自己的数据集的文章网上已经有一大把，自己之前也摸索了数据标注有一阵子，可一直迟迟未动手，感觉对原理不熟悉，很多东西浮光掠影有些肤浅，思来想去还是花了整整一天实践一下吧，毕竟这是基础。凡是写东西，必然会借鉴别人的内容和代码，毕竟造轮子不是玩的，当然文章中提到的必然是自己经历和解决过的。每个人经历的问题千奇百怪，自己亲自动手解决或者自己到网上找方案解决或者想办法规避，都是解决问题的...
2023-01-11 01:38:49
2169
2
SQLSERVER2008存储结构二_GAM、SGAM、PFS、IAM、DCM、BCM.doc
2010-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人