- 博客(64)
- 资源 (10)
- 收藏
- 关注
RSS订阅转载 scikit-learn 线性回归算法库小结
https://www.cnblogs.com/pinard/p/6026343.html转载至刘建平老师博客。
2022-07-04 19:59:44
210
原创 Python数据分析学习系列 十六 IPython的内容
资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载第2章中，我们学习了IPython shell和Jupyter notebook的基础。本章中，我们会探索IPython更深层次的功能，可以从控制台或在jupyter使用。Ipython维护了一个位于磁盘的小型数据库，用于保存执行的每条指令。它的用途有：这些功能在shell中，要比notebook更为有用，因为notebook从设计上是将输入和输出的代码放到每个代码
2022-06-21 19:43:31
456
原创 Python数据分析学习系列 十五 NumPy高级应用
资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载本章包括了一些杂乱的章节，不需要仔细研究。NumPy的ndarray提供了一种将同质数据块（可以是连续或跨越）解释为多维数组对象的方式。正如你之前所看到的那样，数据类型（dtype）决定了数据的解释方式，比如浮点数、整数、布尔值等。ndarray如此强大的部分原因是所有数组对象都是数据块的一个跨度视图（strided view）。你可能想知道数组视图arr[::2,:
2022-06-21 19:42:09
411
原创 Python数据分析学习系列 十四 数据分析案例
资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载本书正文的最后一章，我们来看一些真实世界的数据集。对于每个数据集，我们会用之前介绍的方法，从原始数据中提取有意义的内容。展示的方法适用于其它数据集，也包括你的。本章包含了一些各种各样的案例数据集，可以用来练习。案例数据集可以在Github仓库找到，见第一章。#14.1 来自Bitly的USA.gov数据2011年，URL缩短服务Bitly跟美国政府网站USA.gov
2022-06-21 19:40:13
4269
2
原创 Python数据分析学习系列 十三 Python建模库介绍
资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载本书中，我已经介绍了Python数据分析的编程基础。因为数据分析师和科学家总是在数据规整和准备上花费大量时间，这本书的重点在于掌握这些功能。开发模型选用什么库取决于应用本身。许多统计问题可以用简单方法解决，比如普通的最小二乘回归，其它问题可能需要复杂的机器学习方法。幸运的是，Python已经成为了运用这些分析方法的语言之一，因此读完此书，你可以探索许多工具。本章中，
2022-06-21 19:38:35
1874
原创 Python数据分析学习系列 十二 数据聚合与分组运算
资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载前面的章节关注于不同类型的数据规整流程和NumPy、pandas与其它库的特点。随着时间的发展，pandas发展出了更多适合高级用户的功能。本章就要深入学习pandas的高级功能。这一节介绍的是pandas的分类类型。我会向你展示通过使用它，提高性能和内存的使用率。我还会介绍一些在统计和机器学习中使用分类数据的工具。表中的一列通常会有重复的包含不同值的小集合的情况。
2022-06-21 19:24:22
444
原创 Python数据分析学习系列 十一 时间序列
资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载时间序列（time series）数据是一种重要的结构化数据形式，应用于多个领域，包括金融学、经济学、生态学、神经科学、物理学等。在多个时间点观察或测量到的任何事物都可以形成一段时间序列。很多时间序列是固定频率的，也就是说，数据点是根据某种规律定期出现的（比如每15秒、每5分钟、每月出现一次）。时间序列也可以是不定期的，没有固定的时间单位或单位之间的偏移量。时间序列
2022-06-21 19:21:26
954
原创 Python数据分析学习系列 十 数据聚合与分组运算
资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载对数据集进行分组并对各组应用一个函数（无论是聚合还是转换），通常是数据分析工作中的重要环节。在将数据集加载、融合、准备好之后，通常就是计算分组统计或生成透视表。pandas提供了一个灵活高效的gruopby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。关系型数据库和SQL（Structured Query Language，结构化查询语言）能够如
2022-06-20 10:05:14
1383
原创 Python数据分析学习系列 九 绘图和可视化
资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载信息可视化（也叫绘图）是数据分析中最重要的工作之一。它可能是探索过程的一部分，例如，帮助我们找出异常值、必要的数据转换、得出有关模型的idea等。另外，做一个可交互的数据可视化也许是工作的最终目标。Python有许多库进行静态或动态的数据可视化，但我这里重要关注于matplotlib（http://matplotlib.org/）和基于它的库。matplotlib是
2022-06-13 10:11:00
1004
原创 Python数据分析学习系列 八 数据规整：聚合、合并和重塑
资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载在许多应用中，数据可能分散在许多文件或数据库中，存储的形式也不利于分析。本章关注可以聚合、合并、重塑数据的方法。首先，我会介绍pandas的层次化索引，它广泛用于以上操作。然后，我深入介绍了一些特殊的数据操作。在第14章，你可以看到这些工具的多种应用。层次化索引（hierarchical indexing）是pandas的一项重要功能，它使你能在一个轴上拥有多个（两
2022-06-13 09:20:23
383
原创 Python数据分析学习系列 七 数据清洗和准备
资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载在数据分析和建模的过程中，相当多的时间要用在数据准备上：加载、清理、转换以及重塑。这些工作会占到分析师时间的80%或更多。有时，存储在文件和数据库中的数据的格式不适合某个特定的任务。许多研究者都选择使用通用编程语言（如Python、Perl、R或Java）或UNIX文本处理工具（如sed或awk）对数据格式进行专门处理。幸运的是，pandas和内置的Python标准
2022-06-08 10:03:54
823
原创 Python数据分析学习系列 六 数据加载、存储与文件格式
访问数据是使用本书所介绍的这些工具的第一步。我会着重介绍pandas的数据输入与输出，虽然别的库中也有不少以此为目的的工具。输入输出通常可以划分为几个大类：读取文本文件和其他更高效的磁盘存储格式，加载数据库中的数据，利用Web API操作网络资源。pandas提供了一些用于将表格型数据读取为DataFrame对象的函数。表6-1对它们进行了总结，其中read_csv...
2022-06-06 09:51:57
617
原创 Python数据分析学习系列 五 pandas入门
Python数据分析学习系列五资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载pandas是本书后续内容的首选库。它含有使数据清洗和分析工作变得更快更简单的数据结构和操作工具。pandas经常和其它工具一同使用，如数值计算工具NumPy和SciPy，分析库statsmodels和scikit-learn，和数据可视化库matplotlib。pandas是基于NumPy数组构建的，特别是基于数组的函数和不使用fo
2022-05-31 11:01:34
504
原创 Python数据分析学习四 NumPy基础：数组和矢量计算
Python数据分析学习系列四资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载NumPy（Numerical Python的简称）是Python数值计算最重要的基础包。大多数提供科学计算的包都是用NumPy的数组作为构建基础。NumPy的部分功能如下：ndarray，一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。用于对整组数据进行快速运算的标准数学函数（无需编写循环）。用于读写磁盘数据
2022-05-30 14:19:17
1156
原创 问题记录mount: /mnt/zpi-road-test-upload: bad option； for several filesystems (e.g. nfs, cifs)挂载出错
我在Ubuntu18.04上挂载盘时出现错误：运行：sudo mount -a报错：mount: /mnt/zpi-road-test-upload: bad option; for several filesystems (e.g. nfs, cifs) you might need a /sbin/mount.<type> helper program.解决方法：sudo apt-get install virtualbox-guest-utils参考链接：http
2022-05-30 13:40:46
320
原创 Python数据分析 环境准备
安装conda具体参考：（个人电脑系统不同，可以自行csdn或b站搜索安装）https://blog.csdn.net/qq_53564294/article/details/120535377?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165361307716781667857211%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_
2022-05-27 09:00:50
92
原创 Python数据分析学习 三 Python的数据结构、函数和文件
Python数据分析学习系列三资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载本章讨论Python的内置功能，这些功能本书会用到很多。虽然扩展库，比如pandas和Numpy，使处理大数据集很方便，但它们是和Python的内置数据处理工具一同使用的。我们会从Python最基础的数据结构开始：元组、列表、字典和集合。然后会讨论创建你自己的、可重复使用的Python函数。最后，会学习Python的文件对象，以及如何
2022-05-27 08:55:09
372
原创 Python数据分析学习 二
Python数据分析学习系列二资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载第2章 Python语法基础，IPython和Jupyter Notebooks当我在2011年和2012年写作本书的第一版时，可用的学习Python数据分析的资源很少。这部分上是一个鸡和蛋的问题：我们现在使用的库，比如pandas、scikit-learn和statsmodels，那时相对来说并不成熟。2017年，数据科学、数据分
2022-05-26 10:17:12
491
原创 Python数据分析学习 一
Python数据分析学习系列一资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载第1章 准备工作1.1 本书的内容本书讲的是利用Python进行数据控制、处理、整理、分析等方面的具体细节和基本要点。我的目标是介绍Python编程和用于数据处理的库和工具环境，掌握这些，可以让你成为一个数据分析专家。虽然本书的标题是“数据分析”，重点却是Python编程、库，以及用于数据分析的工具。这就是数据分析要用到的Pyth
2022-05-25 17:54:10
1828
原创 YOLOv3学习——损失函数
YOLOv3学习——损失函数文章目录YOLOv3学习——损失函数损失函数损失函数上面从概念上将输出特征图上的像素点与预测框关联起来了，那么要对神经网络进行求解，还必须从数学上将网络输出和预测框关联起来，也就是要建立起损失函数跟网络输出之间的关系。下面讨论如何建立起YOLOv3的损失函数。对于每个预测框，YOLOv3模型会建立三种类型的损失函数：表征是否包含目标物体的损失函数，通过pred_objectness和label_objectness计算。 loss_obj = paddle.nn
2022-02-13 20:22:49
2220
原创 YOLOv3学习——特征提取与候选区域
YOLOv3学习——特征提取文章目录YOLOv3学习——特征提取前言卷积神经网络提取特征根据输出特征图计算预测框位置和类别建立输出特征图与预测框之间的关联前言卷积神经网络提取特征在上一节图像分类的课程中，我们已经学习过了通过卷积神经网络提取图像特征。通过连续使用多层卷积和池化等操作，能得到语义含义更加丰富的特征图。在检测问题中，也使用卷积神经网络逐层提取图像特征，通过最终的输出特征图来表征物体位置和类别等信息。YOLOv3算法使用的骨干网络是Darknet53。Darknet53网络的具体结构
2022-02-12 20:00:45
3770
原创 YOLOv3学习——锚框和候选区域
YOLOv3学习之锚框和候选区域单阶段目标检测模型YOLOv3R-CNN系列算法需要先产生候选区域，再对候选区域做分类和位置坐标的预测，这类算法被称为两阶段目标检测算法。近几年，很多研究人员相继提出一系列单阶段的检测算法，只需要一个网络即可同时产生候选区域并预测出物体的类别和位置坐标。与R-CNN系列算法不同，YOLOv3使用单个网络结构，在产生候选区域的同时即可预测出物体类别和位置，不需要分成两阶段来完成检测任务。另外，YOLOv3算法产生的预测框数目比Faster R-CNN少很多。Faster
2022-02-08 16:54:58
8586
13
原创 目标检测：数据预处理——图像增广
文章目录一、数据增多（图像增广）主要作用：常用方法：二、使用步骤1.引入库2.读入数据总结一、数据增多（图像增广）在计算机视觉中通常对图像做一些随机的变化，产生相似但又不完全相同的样本。主要作用：扩大训练数据集，抑制过拟合，提高模型泛化能力。常用方法：随机改变亮度，对比度颜色随机填充随机缩放随机裁剪随机翻转二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pypl.
2022-01-29 19:57:57
3778
原创 目标检测基础
对计算机而言，能够“看到”的是图像被编码之后的数字，但它很难理解高层语义概念，比如图像或者视频帧中出现的目标是人还是物体，更无法定位目标出现在图像中哪个区域。目标检测的主要目的是让计算机可以自动识别图片或者视频帧中所有目标的类别，并在该目标周围绘制边界框，标示出每个目标的位置，如 图1 所示。图1：图像分类和目标检测示意图图1（a）是图像分类任务，只需识别出这是一张斑马的图片。图1（b）是目标检测任务，不仅要识别出这是一张斑马的图片，还要标出图中斑马的位置。目标检测发展历程在上一节.
2022-01-28 00:24:08
513
原创 计算机视觉——卷积神经网络基础
计算机视觉——卷积神经网络基础文章目录计算机视觉——卷积神经网络基础一、计算机视觉的发展历程二、卷积神经网络卷积（Convolution）卷积计算填充（padding）步幅（stride）感受野（Receptive Field）多输入通道、多输出通道和批量操作卷积算子应用举例池化（Pooling）ReLU激活函数批归一化（Batch Normalization）丢弃法（Dropout）总结一、计算机视觉的发展历程计算机视觉的发展历程要从生物视觉讲起。对于生物视觉的起源，目前学术界尚没有形成定论。
2022-01-27 19:58:59
444
原创 医学图像读取查看
项目场景：对于一些三维的医疗图像，我们不能正常的读取观察对于一些特定格式的医学图像我们不能直接查看，处理。因此我推荐一个非常好用的工具：https://download.csdn.net/download/pidzhengding/19514459?spm=1001.2014.3001.5503可以使用它，打开图像观察，并且可以对目标区域进行标记。可以用来制作数据集非常好用。...
2022-01-03 00:23:53
9433
原创 三维图像的Dice系数计算
项目场景：三维图像的Dice系数计算问题描述：通常我们用目标分割网络，预测结果后。为了得知网络的准确度，可以计算其Dice系数，通过比较其系数，可以得知网络的准确性。import numpy as npimport nibabel as nibdef cal_subject_level_dice(prediction, target, class_num=2):# class_num是你分割的目标的类别个数 ''' step1: calculate the dice of ea
2022-01-03 00:07:45
4252
7
原创 二维图像Dice系数计算
项目场景：计算二维图像的Dice系数问题描述：通常我们用目标分割网络，预测结果后。为了得知网络的准确度，可以计算其Dice系数，通过比较其系数，可以得知网络的准确性。import numpy as npimport cv2from PIL import Imageif __name__ == '__main__': y_true_path = 'E:/AI-challenge/2021/results/label_show/'（这个是标签的文件地址） y_pred_path
2022-01-02 23:57:12
2045
原创 基于OpenCV的摄像头测距（2022-1-1）
基于OpenCV的摄像头测距前言去年暑假参加了一个比赛，比赛内容中需要确定目标的位置 本来想全用户图像完成的，最后发现不是很符合要求，最终放弃。比完赛之后，就忙别的事了。直到现在突然想试试摄像头测距。就来了一、测距原理摄像头单目测距原理及实现空间的深度或距离等数据的摄像头。人的眼睛长在头部的前方，两只眼的视野范围重叠，两眼同时看某一物体时，产生的视觉称为双眼视觉。双眼视觉的优点是可以弥补单眼视野中的盲区缺损，扩大视野，并产生立体视觉。f为摄像头的焦距，c为镜头光心模型的主要依据公式为f
2022-01-01 21:46:51
18075
33
原创 飞桨常规赛：常规赛：PALM眼底彩照视盘探测与分割 6月第2名方案 2021-7-25
飞桨常规赛：常规赛：PALM眼底彩照视盘探测与分割 6月第2名方案比赛地址： https://aistudio.baidu.com/aistudio/competition/detail/85AI Studio地址： https://aistudio.baidu.com/aistudio/personalcenter/thirdview/725102一、赛题介绍1. 赛题简介常规赛简介飞桨（PaddlePaddle）以百度多年的深度学习技术研究和业务应用为基础，是中国首个开源开放、技术领先、功能
2021-07-25 19:58:55
2149
原创 PALM病理性近视预测 2021-07-04
飞桨常规赛：PALM病理性近视预测 6月第3名方案【常规赛：PALM病理性近视预测】方案比赛地址： https://aistudio.baidu.com/aistudio/competition/detail/85一、赛题介绍1. 赛题简介PALM病理性近视预测常规赛的重点是研究和发展与病理性近视诊断相关的算法。该常规赛的目标是评估和比较在一个常见的视网膜眼底图像数据集上检测病理性近视的自动算法。具体任务是将提供的图像分为病理性近视眼底彩照和非病理性近视眼底彩照，其中，非病理性近视眼底彩照包括正常
2021-07-04 16:21:58
619
4
转载 CT影像中的窗宽窗位设置2021-06-24
为什么有窗宽窗位？医学图像领域的关键技术窗技术，是CT检查中用以观察不同密度的正常组织或病变的一种显示技术，包括窗宽(window width)和窗位(window level)。由于各种组织结构或病变具有不同的CT值，因此想要显示某一组织结构细节时，应该选择适合观察该组织或病变的窗宽和窗位，以获得最佳显示。这里写图片描述窗宽窗宽是CT图像上显示的CT值范围，在此CT值范围内的组织和病变均以不同的模拟灰度显示。而CT值高于此范围的组织和病变，无论高出程度有多少，均以白影显示，不再有灰度差异；.
2021-06-24 23:05:59
8698
转载 图片的float类型和uint8类型转换(图片格式错误)2021-06-06
def rgb1gray(f, method = 'NTSC'): #防止三通道相加溢出，所以先转换类型 # /255是为了把范围限制在[0,1]之间 f = f.astype(np.float32) / 255 #获取图像的三通道 #法一用cv：b,g,r = cv2.split(f) #法二自己分离： b = f[:,:,0] g = f[:,:,1] r = f[:,:,2] if method == 'average
2021-06-06 11:24:21
2018
原创 混合使用CrossEntropyLoss（）和Dice Loss（）两个损失函数的公式定义
混合使用交叉熵损失函数CrossEntropyLoss（）和Dice Loss（）两个损失函数，来解决，此函数的混合定义为：其中，,分别为批处理中第c类和第n个像素的目标标签和预测概率,Y和P分别是视网膜图像真值和预测结果,C和N分别表示批处理中数据集类数和像素数。在模型总输出时定义一个 函数用来对不同的层次的输出进行加权总和。此函数的定义为：其中d为输出深度,设置分配给每层输出的权重相同,即：...
2021-05-17 16:49:06
6395
11
原创 Open CV系列学习笔记（二十五）数字验证码识别 2021-02-18
Open CV系列学习笔记（二十五）数字验证码识别 OpenCV+Tesserct-OCR OpenCV预处理 Tesserct-OCR验证码识别Tesserct-OCR去 http://pythonware.com/products/pil/https://pypi.python.org/pypi/pytesseract去年装必须的API代码：import cv2 as cvimport numpy as npfrom PIL import Imageimport te
2021-02-18 11:11:43
175
原创 Open CV系列学习笔记（二十四）人脸检测 2021-02-18
Open CV系列学习笔记（二十四）人脸检测人脸检测人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，而真正进入初级的应用阶段则在90年后期，并且以美国、德国和日本的技术实现为主；人脸识别系统成功的关键在于是否拥有尖端的核心算法，并使识别结果具有
2021-02-18 10:56:01
378
原创 Open CV系列学习笔记（二十三）分水岭算法2021-02-15
Open CV系列学习笔记（二十三）分水岭算法分水岭算法所谓分水岭算法有好多种实现算法，拓扑学，形态学，浸水模拟和降水模拟等方式。分水岭算法(Watershed Algorithm)，是根据分水岭的构成来考虑图像的分割。现实中我们可以或者说可以想象有山有湖的景象，那么那一定是水绕山，山围水的情形。当然在需要的时候，要人工构筑分水岭，以防集水盆之间的互相穿透。而区分高山（plateaus）与水的界线，以及湖与湖之间的间隔或 都是连通的关系，就是分水岭（watershed）。分水岭分割方法，是一种基于拓扑
2021-02-15 11:40:18
314
原创 Open CV系列学习笔记（二十二）其他形态学操作 2021-02-15
Open CV系列学习笔记（二十二）其他形态学操作顶帽又称礼帽，是原始图像与进行开运算之后得到的图像的差。因为开运算到来的结果是放大了裂痕或者局部低亮度的区域，因此，从原图中减去运算后的图，得到的效果图突出了比原图轮廓周围的区域更明亮的区域，且这一操作和选择的核的大小相关。顶帽运算往往用来分离比邻近点亮一些的斑块。当一幅图像具有大幅的背景的时候，而微小物品比较有规律的情况下，可以使用顶帽运算进行背景提取。代码：def hat_gray_demo(image): gray = cv.cv
2021-02-15 11:32:59
119
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人