little_yan_yan-CSDN博客

原创 pytorch自己定义数据集加载到深度学习模型

pytorch自己定义数据集加载到深度学习模型我们并不想只使用pytorch提供的mnist、cifar10、cifar100等公开数据集，有的时候我们也想使用自己的数据集训练模型，那么问题来了，如何把我们自己的数据集封装成深度学习可以使用的格式就成了一个脑袋的问题。本文就是记录一下自己是如何解决这个问题的，提供一个实例，大家就可以照葫芦画瓢实现自己心中所想。import torchimport torch.utils.data as Dataimport numpy as npx = torch

2021-04-27 21:46:29 1037

原创 Pytorch实现一个简单分类模型

Pytorch实现一个简单分类模型在本小节主要带领大家学习分类任务的代码编写，另外，本人参考的学习资料为【莫烦Python】，有兴趣观看视频的同学可以观看视频资料https://www.youtube.com/user/MorvanZhou。特别声明：本人写该博客的目的其一是自己学习了一些知识做一下记录，另外也是为【莫烦Python】做下推广，我是看了他的视频，感觉使用pytorch有种上手的感觉。第一步：引入所需调用的package编写os.environ[“KMP_DUPLICATE_LIB_O

2021-04-25 17:21:19 4999 2

原创 Pytorch实现一个简单回归模型

Pytorch实现一个简单回归模型之前学习了一些简单的tensor基础知识，现在我们就由浅入深学习如何使用pytorch实现神经网络，完成回归任务和分类任务。在本小节主要带领大家学习回归任务的代码编写，另外，本人参考的学习资料为【莫烦Python】，有兴趣观看视频的同学可以观看视频资料https://www.youtube.com/user/MorvanZhou，该作者讲解的很详细，推荐大家前往学习，特别是像我这种初入深度学习领域的小白。本人写该博客的目的其一是自己学习了一些知识做一下记录，另外也是为【

2021-04-25 17:02:57 1395

原创 pytorch基本语法学习（三）

pytorch基本语法学习（三）经过两个小节的学习，本小姐是基础知识的最后一个，主要是tensor的拼接与拆分，还会简单介绍一些相关的tensor数学运算和统计。tensor的拼接 cat & stacka = torch.FloatTensor(4, 3, 28, 32)b = torch.FloatTensor(9, 3, 28, 32)c = torch.FloatTensor(9, 3, 28, 32)d = torch.FloatTensor(4, 5, 28, 32)pr

2021-04-22 20:47:18 207

原创 pytorch基本语法学习（二）

pytorch基本语法学习（二）经过pytorch基本语法学习（一）的学习，已经对tensor有的基本的认识，在这节的学习中，将是非常非常重要的一节，因为在深度学习图像领域是经常使用到的知识。整装待发，进入学习状态…1. tensor维度变化 viewa = torch.FloatTensor(2,3,4)print('a = ', a) #a = tensor([[[ 1.4013e-45, 0.0000e+00, 0.0000e+00, 0.0000e+00],

2021-04-22 17:02:11 135

原创 pytorch基本语法学习（一）

Pytorch基础语法学习（一）因为之前的研究主要是机器学习，所以很少用到tensor张量，最近的一些研究课题都是基于深度学习为基础的，不得不逼自己学习一下深度学习的框架。最早接触深度学习时使用的框架是tensorflow，通过交流学习发现很多的课题组已经转向pytorch的框架，想了想自己的基础，本身tensorflow框架也一样不熟悉，那就直接入手pytorch吧。tensorflow的框架不完美但最流行，社区强大，适合生产环境。而pytorch具有简洁、速度、易用、活跃的社区。接下来我就写一下自己学

2021-04-22 15:09:12 315 1

原创 python，将灰度图像指定像素变为红色，或其他颜色

这里我们以fashion-mnist数据集的图像为例。在附代码之前，我们先展现一下最终要达到的效果图。上图中，修改后图像有6个像素点被修改为了红色，修改的像素点的位置可有自己指定。接下来附上代码。# -*- coding:utf-8 -*-from PIL import Imageimport numpy as npimg = Image.open(r"E:\new_life_202009\ImageConvertStudy\13.png")img_rgb = img.convert("RG

2021-03-04 16:04:55 6838 6

原创胶囊网络（Capsual Network）

胶囊网络近日学习深度神经网络了解到胶囊网络，且胶囊网络解决了CNN的一些缺点，通过查阅资料决定按照自己的理解整理一下。1. 简单了解胶囊网络首先胶囊网络（Capsual Network）是NeurIPS 2017的一项工作。作者首先总结了当前卷积神经网络的限制与不足：①CNN通过池化操作获得invariance，有助于分析，但是同时一些局部信息也会丢失。如果数据发生旋转、倾斜，其效果会很差 ②CNN很解释部分与整体之间的位置关系。当前针对问题1现有两种方法解决方案，一是数据增强，通过对训练样本进行旋转

2021-01-21 17:37:36 16039 1

原创 Mnist数据集转存csv文件，csv文件图像可视化

MNIST数据集转换格式成csv文件本小宝也是因为需求，需要跨一下研究领域，因为之前都是处理的csv文件（即所研究对象提取的特征姨csv文件进行存储）没有怎么接触过处理图像数据，所以一接触起来有点不知所措。搜集了很多资料，发现都不适合我，最后我就转变了思路，那就把图像数据转成csv文件不就好了。接下来我将介绍一下我的操作流程。1.使用的公开MNIST数据集的样子，MNIST数据集的下载大家可以搜一下会有很多小宝贝们为大家提供下载链接。下载后的MNIST数据集与解压之后的样子如下图所示：2.MNIS

2020-12-30 13:17:00 3050 6

原创 skmultiflow使用自己的csv文件训练模型并保存实验结果

skmultiflow使用skmultiflow是基于scikit-multiflow包的，scikit-multiflow官方文档官方文档中有写里面API的具体使用方法，但是本人经过阅读发现并没有自己所需的类型，本人所需有的是自己提供训练数据集，而不是官方文档中调用相关数据生成包生成的训练数据集，并且我们还希望可以将实验结果保存下来。接下来我将告诉大家如何实现的：1.先给大家展示一下代码和运行后的实验结果：from skmultiflow.meta import AdaptiveRandomFore

2020-10-05 21:54:42 1148 1

原创 Tensflow：tf.contrib.learn.DNNClassifier（）模型的保存与复用以iris为例

python版本：3.5tensorflow版本：1.4.0在学习tensorflow深度学习应用时，很多资料以iris为例，并列举了很简单的例子，如本文下述代码。但是我们在搜集，将训练好的深度神经网络保存后，如何复用做测试时，就会搜到很多关于session相关的内容，但是又与自己好不容易学习的这个简单示例不匹配。本人也遇到同样的问题，查阅了很多博客都大同小异，并不是自己所需要的。接下来我将介...

2020-03-02 18:24:09 731

原创 python：编写一个求菲波那奇数列的递归函数，输入n值，使用该递归函数。

题目：编写一个求菲波那奇数列的递归函数，输入n值，使用该递归函数，输出如下图形。例如：当n=6时。 0 0 1 1 0 1 1 2 3 0 1 1 2 3 5 8 0 1 1 2 3...

2020-02-07 17:27:00 1687

原创 python编程小练习：输入n值，使用递归函数，求杨辉三角形中各个位置上的值，按照如下形式打印输出图形。例如：当n=6时。

本人递归学习的不牢固，因此找了一些与递归相关的编程题做练习，巩固加深印象。题目：输入n值，使用递归函数，求杨辉三角形中各个位置上的值，按照如下形式打印输出图形。例如：当n=6时。 1 1 1 1 2 1 1 3 3 1 1 4 6 ...

2020-02-07 16:18:59 3520

原创 python，将嵌套列表转为非嵌套列表

有的时候写程序需要处理各种简单而又复杂的数据结构的转变，而这个时候就会想用那种方式更简洁有效。将嵌套列表转变为非嵌套列表也是时不时的需求，下面就用一种简单快捷的方式实现目标。第一种方法是通过调用python的itertools包非常简单明了。a的输出结果为[1,2,3,4,5,6,7,8,9] import itertools a = [[1,2,3],[4,5,6],...

2019-10-12 10:59:58 2837

原创 Python：怎样用线程将任务并行化？

最近为了提高自己所写代码的执行效率，阅读了很多关于进程，线程的实现方法，但总体而言，为认为该博客写的是最有条理的推荐大家阅读Astropeak该博客以递进的形式从为每个子任务创建一个线程，限制线程数目，使用线程池（Thread Pool），使用消息队列，终止子进程等部分进行介绍，并指明每种方法处理过程中存在的缺点，一片很好的学习文章。接下来我将用大数据量亲测，希望能达到理想的状态。...

2019-09-19 22:09:16 222

原创 ubuntu下截图及自由截图

自由截图方式可以截取自己想要的内容部分1.打开系统设置->键盘，进入shortcuts(快捷键)选项2.点击左下脚 + 号，Name（名称）选项随意取名；Command（命令）选项填： gnome-screenshot -a注意gnome-screenshot -a命令，gnome-screenshot与-a有空格键3.点击应用4.点击刚才自己新添加Name，右面显示Di...

2019-05-29 15:20:43 1236

原创 sklearn生成的决策树转换为规则树

使用sklearn调用DecisionTreeClassifier可以很简单的实现决策树算法，然而对于实现者而言并不知道树的结构是什么样子的，也不知道决策树模型如何做出的决策，本文将决策树模型以规则的形式展现出来，并且实现可视化，方便读者理解。实现的代码如下：# -*- coding: utf-8 -*-from sklearn.externals.six import String...

2019-05-24 11:53:11 7210 4

原创 ubuntu下可视化随机森林（python sklearn）

已有环境pycharm1.安装graphviz在终端输入：apt-get install graphviz，可能有的同学提示权限不足，则输入 sudo apt-get install graphviz后按回车，输入计算机密码，此时输入密码是没有任何显示的。2.可以直接使用pycharm安装依赖包graphviz，另一种方法在终端输入pip install graphviz进行安装。...

2019-05-22 21:06:30 1154 1

转载 Adaboost 算法的原理与推导

0 引言无心啰嗦，本文结合邹博之决策树与Adaboost的PPT，跟他讲Adaboost指数损失函数推导的PPT（第85~第98页）、以及《统计学习方法》等参考资料写就，可以定义为一篇课程笔记、读书笔记或学习心得，有何问题或意见，欢迎于本文评论下随时不吝指出，thanks。 1 Adaboost的原理 1.1 Adaboost是什么 AdaBoo...

2019-05-08 17:22:11 413

原创 sys.argv[1]出现IndexError: list index out of range错误原因

argv[1]：sys.argv[]是用来获取命令行参数的，sys.argv[0]表示代码本身文件路径，所以参数从1开始。Sys.argv[ ]其实就是一个列表，里边的项为用户输入的参数。出现该错误的原因是你的py文件是在类似于pycharm这样的IDE中运行产生的。其sys.argv[]是从Terminal的方式打开终端中运行py文件传递的参数，用文字描述不如用图直观明了。例如：1....

2019-01-07 22:02:28 19106 5

原创《C4.5 Programs for Machine Learning》剪枝，U25%（0，6）=0.206

本文是参考https://blog.csdn.net/appleyuchi/article/details/83834101，经自己整理后的精简版。公式1中的e为原文中的E。Coeff如何计算如下公式：Deviation[i],Deviation[i-1],val[i],val[i-1]通过查表得，下面列出表的内容：Val[] = { 0, 0.001, 0.005, ...

2018-12-27 21:58:04 492

原创关于sklearn中MINST数据的读取报错OSError: could not read bytes

运行：from sklearn.datasets import fetch_mldatamnist=fetch_mldata('MNIST original')出现如下图所示错误：解决方法：通过其它方法获取mnist-original.mat文件，在当前文件夹下面新建mldata文件夹，并放入.mat文件，同时在datasets.fetch_mldata时需指定data...

2018-11-20 10:40:00 3711 3

原创 python，离线安装包下载地址

很多同学在使用pip安装安装包时，总是出错，出现这种问题时，第一想到的方法就是离线的下载所需的安装包，然后在使用pip离线安装避免在线出现的问题。现在分享一下离线安装包下载的地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/...

2018-11-05 17:09:02 4869

原创 python，实现多线程

多线程：#-*- coding:utf-8 -*-import threadingimport timedef target(): print("the current threading %s is runing"%(threading.current_thread().name)) seed = ["a", "b", "c"] for each in see...

2018-11-02 16:54:57 180

原创 from sklearn.cross_validation import train_test_split，train_test_split下出现红色波浪线

大家可能会遇到这样的问题，明明from sklearn.cross_validation import train_test_split在一台电脑上运行没有任何问题，但是换了一台电脑就出现如下图所示的问题，显示没有该模块。图中为灰色的原因是我的代码中未调用该包，只是为了解决问题而举例。如何将该问题解决，方法是将from sklearn.cross_validation import tra...

2018-11-02 15:55:48 17394 9

原创 python，嵌套列表去重

日常小知识整理。1.单列表去重，代码如下：#-*-coding:utf-8-*-a=[1,2,3,4,1,2,3,4]a=list(set(a))print(a)#输出：[1, 2, 3, 4]2.嵌套列表去重，代码如下：#-*-coding:utf-8-*-b=[[1,2,3,4],[1,2,3,4],[1,2,3,4]]b = [list(t) for t in...

2018-10-26 19:14:41 6585

原创 Pycharm,出现Invalid VCS root mapping The directory \\\解决方法

在python的学习中，当打开从别的渠道获得的python项目代码，用pycharm打开出现Invalid VCS root mapping The directory **\**\**\**的错误，出现这种问题如何解决呢，现在小编就告诉大家解决方案：按照图片指示操作点击即可：第一步：第二步：第三步：第四步：第五步：执行完以上的步骤，还错误就会...

2018-10-23 11:21:50 68974 8

原创 Bagging，Boosting，Random Forest

由于近期研究课题的变化，所以又涉猎的新的知识领域，本文只是对三个容易混淆的算法进行了汇总，其内容都是参考的其他博主的内容，本人只是编制在了一起。主要内容如下：Bagging即套袋法，其算法过程如下：1.从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法（也叫自助采样）抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被...

2018-10-22 17:20:29 305

原创荣耀pro无线路由器配置成无线交换机

登录荣耀路由Pro的配置管理界面，默认情况下路由器的登录网址是192.168.3.1。单击“我的Wi-Fi”，设置荣耀路由Pro的“Wi-Fi名称”和“Wi-Fi密码”。上网设置部分依然按照配置无线路由器的配置信息。单击“更多功能 > 网络设置 > 局域网”。关闭“DHCP”开关。用网线将荣耀路由Pro的LAN接口与上层的交换机或者路由器相连接。现在，您的无线路由器已经成...

2018-10-21 20:24:44 6414 1

原创 python，将双嵌套列表写入csv文件

import pandas as pddef write_csv(datalist,path): test=pd.DataFrame(data=datalist) test.to_csv(path, encoding='gbk') return testtotal=[[1,2,3],[4,5,6],[7,8,9]]path='E:\h_o.csv'write_cs...

2018-10-07 11:06:44 4780

原创 python,sklearn实现PCA

本文使用的数据类型是数值型，每一个样本7个特征表示，所用的数据如图所示：图中A,B,C,D,E,F,G列表示六个特征，H表示样本标签。每一行数据即为一个样本的六个特征和标签。实现PCA算法的代码如下：from sklearn.decomposition import PCA as sklearnPCAfrom matplotlib import pyplot as pltim...

2018-10-06 21:45:16 4762

原创 python程序打包成exe可执行文件

1.安装pyinstaller模块：2.验证安装成功pyinstaler，该步骤只是为了心理安慰：3.将自己的python文件打包成exe：输入命令：pyinstaller -F **\**\**.py，如图里标黄所示，-F 后面内容为你想打包的python文件。4.打包成后，本示例会在C:\Users\Administrator下生产两个文件夹和一个文件，如下...

2018-09-29 19:45:47 34180 8

原创基于sklearn实现支持向量机（SVM）算法（python）

本文使用的数据类型是数值型，每一个样本6个特征表示，所用的数据如图所示：图中A,B,C,D,E,F列表示六个特征，G表示样本标签。每一行数据即为一个样本的六个特征和标签。实现SVM算法的代码如下：from sklearn import svmimport csvfrom sklearn.cross_validation import train_test_splitfrom...

2018-09-12 16:17:58 5037 5

原创基于sklearn实现随机森林（RandomForest）算法（python）

本文使用的数据类型是数值型，每一个样本6个特征表示，所用的数据如图所示：图中A,B,C,D,E,F列表示六个特征，G表示样本标签。每一行数据即为一个样本的六个特征和标签。实现RandomForest算法的代码如下：from sklearn.ensemble import RandomForestClassifierimport csvfrom sklearn.cross_va...

2018-09-12 16:14:09 29258 12

原创基于sklearn实现贝叶斯（NaiveBayes）算法（python）

本文使用的数据类型是数值型，每一个样本6个特征表示，所用的数据如图所示：图中A,B,C,D,E,F列表示六个特征，G表示样本标签。每一行数据即为一个样本的六个特征和标签。实现贝叶斯算法的代码如下：from sklearn.naive_bayes import GaussianNBfrom sklearn.naive_bayes import BernoulliNBfrom s...

2018-09-12 16:08:02 10804

原创基于sklearn实现多层感知机（MLP）算法（python）

本文使用的数据类型是数值型，每一个样本6个特征表示，所用的数据如图所示：图中A,B,C,D,E,F列表示六个特征，G表示样本标签。每一行数据即为一个样本的六个特征和标签。实现MLP算法的代码如下(分类)：# =============神经网络用于分类=============from sklearn.neural_network import MLPClassifierimp...

2018-09-12 15:59:36 26266 12

原创基于sklearn实现LogisticRegression算法（python）

本文使用的数据类型是数值型，每一个样本6个特征表示，所用的数据如图所示：图中A,B,C,D,E,F列表示六个特征，G表示样本标签。每一行数据即为一个样本的六个特征和标签。实现LogisticRegression算法的代码如下：from sklearn.linear_model import LogisticRegressionimport csvfrom sklearn.cr...

2018-09-12 15:53:21 6094

原创基于sklearn实现KNN算法（python）

本文使用的数据类型是数值型，每一个样本6个特征表示，所用的数据如图所示：图中A,B,C,D,E,F列表示六个特征，G表示样本标签。每一行数据即为一个样本的六个特征和标签。实现KNN算法的代码如下：from sklearn.neighbors import KNeighborsClassifierimport csvfrom sklearn.cross_validation i...

2018-09-12 15:47:30 2712 2

原创基于sklearn实现Bagging算法（python）

本文使用的数据类型是数值型，每一个样本6个特征表示，所用的数据如图所示：图中A,B,C,D,E,F列表示六个特征，G表示样本标签。每一行数据即为一个样本的六个特征和标签。实现Bagging算法的代码如下：from sklearn.ensemble import BaggingClassifierfrom sklearn.tree import DecisionTreeClass...

2018-09-12 15:43:07 10964

原创基于sklearn实现Adaboost算法（python）

本文使用的数据类型是数值型，每一个样本6个特征表示，所用的数据如图所示：图中A,B,C,D,E,F列表示六个特征，G表示样本标签。每一行数据即为一个样本的六个特征和标签。实现Adaboost算法的代码如下：from sklearn.ensemble import AdaBoostClassifierimport csvfrom sklearn.cross_validation...

2018-09-12 15:34:16 8117