- 博客(37)
- 问答 (5)
- 收藏
- 关注
RSS订阅
原创 python广深地区房价数据的爬取与分析
本项目收集了广东省二手房数据，着重分析广深地区的房价。首先采用统计分析的方法对数据进行初步分析，大致了解房价分布及其影响因素；随后调用百度地图API，实现数据地图可视化。最后采用机器学习方法建模预测，并比较了几种常用回归模型的预测效果。基本符合一个完整数据分析案例的要求，采用直观的数据可视化方式展示数据，并通过数据分析为二手房购买者提供建设性意见。但仍有很多不足的地方，如并没有对数据进行特征工程，没有进行特征的转换和筛选，机器学习模型的调参也比较简略，因此预测能力还有很大的提升空间。...
2019-08-05 23:01:12
23600
46
原创 在Jetson Xavier NX上运行openpose
毕设需要在Jetson nx上跑openpose。花了前后一周时间，爬尽所有坑，吐血整理1、试过像在服务器一样配置openpose，结果一运行就killed。2、试过重装cuda和cudnn，以为是版本的问题，结果把板子搞崩了最后看到一位博主 小乖的晴天的文章，才踏入正轨。准备阶段查看NX相关组件NX配有cuda10、Cudnn8和opencv4。这些版本是可以运行openpose的，不需要必须适配官方的版本下载源码github链接下完发现有个问题，里面3rdparty的caffe和pyb
2021-01-13 16:29:59
2466
16
原创 SSD pytorch训练自己的数据集（windows+colab）
SSD pytorch训练自己的数据集下载转换数据集使用Colab对于一个小白，想对自己数据的训练实在不容易，花了好几天时间，翻阅了很多资料，在此做个总结我的环境是windows+cpu，没有N卡！本文并将讲解用Colab进行训练默认已配置好Pytorch环境下载1、SSD pytorch代码下载https://github.com/amdegroot/ssd.pytorchgithub下载慢的话，可以在码云导入再下载2、VGG预训练模型下载(https://99baiduyun.com/fi
2020-05-27 10:28:35
2025
5
原创 txt文件转换为XML python
很多目标检测的模型都是默认需要VOC的文件输入格式手上数据label是txt文件。为了避免不必要的bug，还是选择转换下格式将数据按VOC形式放置文件夹内容Annotations存放生成的XML文件JPEGImagesJPG图片ImageSets标明训练集测试集的txt文件Labelsstxt格式的Label文件# -*- coding: utf-8 -*-from xml.dom.minidom import Documentimport
2020-05-27 08:22:20
5210
5
转载 pytorch detach() item() cpu() numpy()理解
在深度学习训练后，需要计算每个epoch得到的模型的训练效果的时候，一般会用到detach() item() cpu() numpy()等函数。例如import torch.optim as optimimport torch.utils.dataimport torch.backends.cudnn as cudnnfrom torch.autograd import Variable...
2020-04-27 23:58:14
6978
原创 Task3 二手车数据特征工程
Task3 特征工程特征工程是什么特征工程方法特征工程是什么有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用特征工程方法常见的特征工程包括：1、异常处理：通过箱线图（或 3-Sigma）分析删除异常值；BOX-COX 转换（处理有...
2020-03-27 10:23:37
334
原创 Task2:数据的探索性分析（EDA）
Task2:数据的探索性分析（EDA）什么是EDAEDA目标主要工作导入、观察数据数据概况判断数据缺失判断数据异常了解预测值的分布特征分为类别特征和数字特征数字特征分析什么是EDA探索性数据分析（Exploratory Data Analysis，简称EDA），是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结...
2020-03-23 23:13:49
522
原创 Pytorch实现Fashion-mnist分类任务
Fashion_mnist分类任务数据概况数据处理对输入进行归一化数据增强定义Resnet网络训练与测试完整代码数据概况Fashion-mnist经典的MNIST数据集包含了大量的手写数字。十几年来，来自机器学习、机器视觉、人工智能、深度学习领域的研究员们把这个数据集作为衡量算法的基准之一。你会在很多的会议，期刊的论文中发现这个数据集的身影。实际上，MNIST数据集已经成为算法作者的必测的数...
2020-03-01 22:09:42
4520
1
原创 pytorch_task10 GAN
task10GANGAN给定这样一个模型，我们可以对类似于训练数据分布的综合数据点进行采样。例如，给定大量的面孔照片，我们可能希望能够生成新的真实感图像，看起来好像它可能来自同一数据集。这种学习称为生成建模。GAN的核心思想是，如果我们不能将假数据与真实数据区分开，那么数据生成器就很好。在统计中，这称为两次抽样检验-回答是否从同一分布中得出数据集X = {x1，…，xn}和X’= {x1’...
2020-02-28 11:35:04
170
原创 pytorch_task9目标检测基础、图像风格迁移、图像分类
task9目标检测基础生成多个瞄框交并比图像风格迁移图像分类目标检测基础目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground-truth bounding box）。不同的模型使用的区域采样方法可能不同。这里我们介绍其中的一种方法：它以每个像素为中心生成多个大小和宽高比（aspect rati...
2020-02-28 11:16:08
399
原创 pytorch_task6批量归一化、残差网络、凸优化、梯度下降
task6批量归一化对全连接层做批量归一化对卷积层做批量归⼀化预测时的批量归⼀化ResNet残差块（Residual Block）ResNet模型DenseNet批量归一化1、对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近2、批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而...
2020-02-25 21:30:05
174
原创 AlexNet、VGG、NiN、GoogLeNet
AlexNet与LeNet对比AlexNet模型构建与LeNet对比LeNet: 在大的真实数据集上的表现并不尽如⼈意。1.神经网络计算复杂。2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。AlexNet首次证明了学习到的特征可以超越⼿⼯设计的特征，...
2020-02-21 15:11:26
248
原创 LeNet-pytorch-FashionMNIST分类识别
LeNetLeNet模型构造读入数据和数据预览定义device定义网络计算准确率训练测试LeNet1、使用全连接层的局限性：图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。对于大尺寸的输入图像，使用全连接层容易导致模型过大。2、使用卷积层的优势：卷积层保留输入形状。卷积层通过滑动窗口将同一卷积核与不同位置的输入重复计算，从而避免参数尺寸过大。LeNet...
2020-02-20 21:12:57
865
原创 pytorch_task5 卷积神经网络基础；leNet；循环神经网络进阶
卷积神经网络本节我们介绍卷积神经网络的基础概念，主要是卷积层和池化层，并解释填充、步幅、输入通道和输出通道的含义。二维卷积层本节介绍的是最常见的二维卷积层，常用于处理图像数据。二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小...
2020-02-19 14:28:02
179
原创 pytorch_task4机器翻译及相关技术；注意力机制与Seq2seq模型
机器翻译机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。步骤：1、数据预处理。将数据集清洗、转化为神经网络的输入minbatch2、分词。字符串—单词组成的列表3、建立词典。单词组成的列表—单词id组成的列表4、Encoder-Decode...
2020-02-19 14:19:54
234
原创 pytorch_task3过拟合欠拟合；梯度消失爆炸；循环神经网络
Task3过拟合、欠拟合及其解决方案训练误差、泛化误差模型选择验证数据集K折交叉验证过拟合欠拟合概念模型复杂度过拟合、欠拟合及其解决方案训练误差、泛化误差前者指模型在训练数据集上表现出的误差。后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。模型选择验证数据集从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择...
2020-02-18 15:14:04
152
原创 pytorch_Task2(文本预处理、语言模型、循环神经网络）
----------文本预处理读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型其他分词工具语言模型n元语法时序数据采样随机采样相邻采样文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本strip移除字符串头尾指定的字符（默认为空格或换行符）或字符...
2020-02-13 23:56:01
285
原创 pytorch_Task1（线性回归、softmax、多层感知机）
———————线性回归损失函数优化器-随机梯度下降pytorch实现课后题目softmax基本概念分类问题神经网络图直接使用输出层的输出有两个问题计算效率交叉熵损失函数线性回归损失函数在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。 它在评估索引为i的样本误差的表达式为优化器-随机梯度下降当模型...
2020-02-12 23:31:02
383
原创 pytorch_权值初始化
权值初始化梯度消失与爆炸梯度爆炸初始化网络权值方差梯度消失Xavier初始化（适用饱和函数）Kaiming初始化（适用于非饱和）十种初始化方法梯度消失与爆炸梯度爆炸要使网络输出不能太大不能太小初始化网络权值方差为了使输出方差为1，将网络权值的方差设为 def initialize(self): for m in self.modules(): ...
2020-02-10 11:55:43
785
原创 python实现SI、SIS、SIR、SIRS、SEIR、SEIRS模型
传染病传播模型SISISSIRSIRSSEIR（相比较贴合新冠状病毒）SEIRS在家闲着无事，搜了一些关于传染病模型的知识，在此做个总结。SI最简单的SI模型首先把人群分为2种，一种是易感者(Susceptibles)，易感者是健康的人群，用S表示其人数，另外一种是感染者(The Infected)，人数用 I来表示。假设：1、在疾病传播期间总人数N不变，N=S+I2、每个病人每天接...
2020-02-07 22:02:50
25873
12
原创 Pytorch池化层、线性层、激活函数层
层池化层最大池化、平均池化pytorch实现池化（下采样）最大池化平均池化pytorch实现反池化（上采样）最大值反池化线性层激活函数层sigmoidtanhrelu池化层最大池化、平均池化pytorch实现池化（下采样）最大池化冗余信息剔除、减小运算量平均池化相对于最大池池化的图像亮度较小pytorch实现反池化（上采样）最大值反池化img_reconstruct =...
2020-02-05 21:49:16
942
原创 pytorch卷积层
卷积层卷积卷积运算卷积维度nn的卷积操作nn.Conv2d尺寸变化：转置卷积尺寸计算卷积卷积运算卷积维度nn的卷积操作nn.Conv2d尺寸变化：转置卷积尺寸计算...
2020-02-05 14:45:31
183
原创 pytorch_nn.Module
nn.Module模型创建步骤torch.nnnn.Module属性模型容器nn.Sequentialnn.ModuleListnn.ModuleDict代码示例AlexNet模型创建步骤torch.nnnn.Module属性模型容器nn.Sequentialnn.ModuleListnn.ModuleDict代码示例import torchimport to...
2020-02-05 11:58:59
171
原创 pytorch_Dataloader与Dataset
Dataloader与DatasetDataLoaderbatch_size、epoch、iteration关系Dataset数据读取机制DataLoaderbatch_size、epoch、iteration关系Dataset数据读取机制
2020-01-30 12:13:58
330
原创 pytorch自动求导与逻辑回归
自动求导与逻辑回归自动求导逻辑回归自动求导retain_graph设为True,可以进行两次反向传播逻辑回归import torchimport torch.nn as nnimport matplotlib.pyplot as pltimport numpy as nptorch.manual_seed(10)#========生成数据=============sa...
2020-01-23 13:54:17
246
原创 pytorch图
图计算图动态图计算图import torchw = torch.tensor([1.],requires_grad=True)x = torch.tensor([2.],requires_grad=True)a = torch.add(w,x)a.retain_grad()b = torch.add(w,1)y = torch.mul(a,b)y.backward()...
2020-01-22 08:49:13
103
原创 Tensor的基本操作
Tensor操作张量操作张量的拼接和切分切分张量的索引张量变换数学运算实现线性回归张量操作张量的拼接和切分cat不会扩张维度，stack会在新创建的维度上拼接切分张量的索引索引要为torch.long通过.ge.gt的方法生成布尔张量张量变换-1表明该维的变换根据其他维度数学运算实现线性回归import torchimport matplotlib.p...
2020-01-21 15:36:21
319
原创 初识Tensor
TensorTensor概念新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Tensor概念标量没有方向...
2020-01-20 08:30:42
176
原创 基因填补交叉验证
在研究缺失基因填补的项目中，导师要求对其他算法的效果进行五次五折交叉验证，每次需要将数据划分为五份，每份数据将待填补的数据集的非0部分随机掩五分之一，生成五份数据作为训练集输入算法，与输出结果的掩码部分进行评估。import numpy as npimport pandas as pdfrom sklearn.model_selection import KFoldseed=[np.ran...
2020-01-13 15:59:23
310
原创 线性回归算法总结
通常对于一组特征数据和其标记值：(x1,y1)(x_1, y_1)(x1,y1), (x2x_2x2, y2y_2y2), …, (xnx_nxn, yny_nyn)，在使用特征值xix_ixi对yiy_iyi进行预测时，根据习惯，如果y_i是连续的，则称这种操作或者技术为回归；如果y_i是离散的，则通常称为分类。...
2020-01-11 10:25:41
3472
1
原创 Python txt文件操作
文件打开f = open("data.txt","r") #设置文件对象f.close() #关闭文件#为了方便，避免忘记close掉这个文件对象，可以用下面这种方式替代with open('data.txt',"r") as f: #设置文件对象 str = f.read() #可以是随便对文件的操作读文件读入到字符串中f = open("data.t...
2020-01-11 10:00:26
300
原创 查询基础--SELECT、运算符
SELECT语句基础列的查询SELECT 子句中列举了希望从表中查询出的列的名称，而 FROM 子句则指定了选取出数据的表的名称。#查询特定的列SELECT < 列名 > ，…… FROM < 表名 > ；#查询全部的列SELECT *FROM < 表名 >;接下来，我们尝试从第 1 章创建出的 Product （商品）表中，查询出图...
2020-01-08 23:33:10
1933
1
原创 SQL概要及表
SQL概要及表的创建SQL概要SQL语句及种类DDL（Data Definition Language，数据定义语言）DML（Data Manipulation Language，数据操纵语言）DCL（Data Control Language，数据控制语言）基本书写规则表的创建命名规则数据类型数据约束合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个...
2020-01-08 08:38:48
237
原创 利用Python进行足球远动员分析
利用Python进行足球远动员分析分析步骤1、明确需求与目的数据预览提出问题2、数据预处理数据清洗缺失值异常值重复值数据转换3、数据分析问题1问题2问题3问题4问题5问题64、总结分析步骤1、明确需求与目的身为一个足球资深球迷，本人对足球远动员的一些比赛数据非常感兴趣。足球运动员孰强孰弱的争论喋喋不休，不妨让数据来说话，让数据来体现？数据预览拿到数据，首先要明确各个列标签的含义Nam...
2019-07-10 17:24:29
2683
1
空空如也
fiddler手机设置代理后无法联网怎么解决？救救救！采用有赏！
2019-07-07
爬取房天下的问题。无法请求，状态404怎么解决
2019-07-05
MATLAB作业的两个很简单的问题，但我不知道指令怎么打，求各位大佬指导下
2018-12-03
写了个简单的豆瓣音乐TOP250的爬虫，不知道为什么打印不出来也没有报错，求大神解答
2018-11-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人