- 博客(136)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 数据集扩增--水平和垂直翻转
这几天在做一个图像分割的比赛，涉及到一点数据增强的内容，为了使数据集的容量变得大一点，所以使原始数据集进行水平和垂直翻转。代码如下：水平翻转：'''Python批量实现图像水平、垂直翻转函数功能：扩大数据量'''import PIL.Image as imgimport ospath_old = r"./data/masks"path_new = r"./data/mask_1"filelist = os.listdir(path_old)total_num = len(file
2021-09-26 14:11:47
1334
原创 动手学习深度学习（一）
最近在B站上发现一个宝藏课程，动手学习深度学习，打算这个暑假把这个课程学完，为以后的学习先奠定一下基础。老师讲的很详细，在上课的时候还有答疑问题，挺好的，值得去学一学。老师的讲课是以PyTorch框架为基础的，我之前正好学过这方面的内容。一、数据操作#数据操作#生成一维数据x = torch.arange(12)print(x)print(x.shape)#改变形状y = x.reshape(3,4)print(y)print(y.shape)#生成全0张量prin.
2021-07-23 21:08:37
443
原创 大数据系统开发综合实践（一）
又来了新的任务，需要学习一些大数据开发的相关操作，其实之前学过一些内容，但是当初没有好好学，现在还得重新学习起来。大数据系统中各种模块的作用HDFS：分布式文件系统，用来存储数据YARN：用于资源调度，CPU、内存之类的Map Reduce：用于计算，基于磁盘Spark：用于计算，基于内存sqoop：用于将关系数据库和hadoop之间进行转换Flume：日志收集namenode：名称节点，作用是知道数据具体在哪datanode：数据节点，存储数据sec..
2021-06-30 16:56:34
1530
原创 数据库应用实验（五）GeoMesa与HBase Ganos
GeoMesa 是开源的基于分布式计算系统的面向海量时空数据查询与分析的工具包，GeoMesa的定位是一个基于分布式数据库的用于海量空间数据处理的数据引擎(SDE)，或者叫数据库中间件，目的在于使用户可以在分布式NoSql数据库中存储和管理海量空间数据。GeoMesa作为空间大数据处理套件，本身不存储数据，数据存储依赖底层的分布式数据库，如HBase，Accumulo等。HBase Ganos是阿里云推出的一款包含管理「空间几何数据」、「时空轨迹」、「专题栅格」、「遥感影像」的时空大数据引擎系统。系统兼
2021-06-29 20:48:45
1163
1
原创 数据库应用实验（四）Phoenix+HBase
接着上一篇数据库应用实验，这篇博客主要是搞明白Phoenix+HBase，刚开始接触这两个名词，一点都不理解这是干什的，一顿搜索B站的讲解，才大致了解这是干什么的。HBase是一个NOSQL(not onlysql)的数据库，能够实时读写大量的数据。单张表就可以做到10亿*百万列数据量的级别。Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC，Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，
2021-06-28 15:17:23
631
原创 数据库应用实验（三）Python操作Redis
之前我也利用过Redis做过项目，项目需求是对于常用的数据库查询，用Redis做缓存，使得整个项目得查询速度更快，现在又要重新捡起这些知识，学过的知识，在大脑中有印象，复习起来应该很快。Rediszhi'hi...
2021-06-17 16:24:39
235
1
原创 数据库应用实验（二）Python操作MySQL
上一篇博客准备数据集，这一篇博客主要是利用sql语句查询数据和利用Python操作MySQL。sql的增删改查select * from 表名 where
2021-06-17 11:19:45
642
原创 数据库应用实验（一）准备数据集
不知不觉现在和6月份了，从我实习结束，都过了两个月了，在这两个月中，我经历很多，学习了深度学习，学习了Pytorch，和室友出去游玩，送别室友去工作，知道了或者又不知道什么是喜欢，总而言之，这两个月you...
2021-06-10 19:41:39
337
原创 PyTorch基础（八）Visdom安装与使用
之前学了很多知识点，自己有种似懂非懂的感觉，学的知识还得需要时间沉淀以下，所以今天就学点简单的知识就从图书馆回去了。这篇博客主要是如何安装Visdom，一种可视化工具。一、安装
2021-05-31 20:35:52
759
原创 PyTorch基础（七）迁移学习
迁移学习的含义就是利用别人训练几周或者几个月的模型参数作为自己的模型参数，通过使用其他人预训练的权重，这样很可能就会得到很好的性能。还有一种情况，将他人训练的模型的前面的层数都冻住，类似于一个...
2021-05-31 10:35:24
1404
2
原创 PyTorch基础（六）搭建ResNets网络模型
上一篇博客学习了如何搭建Inception网络，这篇博客主要讲述如何利用pytorch取搭建ResNets网络。上一篇博客中遗留了一个问题，就是1*1卷积核的作用，第一个作用是减少参数，第二个作用shi
2021-05-28 19:49:33
529
3
原创 PyTorch基础（五）搭建Inception网络模型
上一篇博客中写了如何搭建基础的CNN网络，然后我又学习了比基本高级一点的神经网络框架，Inception框架，这个框架的核心作用就是不需要人为决定使用哪个过滤器，或者是够需要池化，而是由网络自己决定这些参数，你可以给网络添加这些参数可能的值，然后把这些输出连接起来，让网络自己学习这些参数，网络自己决定采用哪些过滤器组合。这篇博客利用Inception网络来训练mnist数据集，关键在于如何搭建Inception那个部分的网络架构。1、Inception网络图形从上面这张图片中可以看出，共有.
2021-05-27 20:10:39
2725
2
原创 PyTorch基础（四）搭建简单卷积神经网络
前一阶段一直在准备毕业论文和软设的考试，终于忙完了，接着学习PyTorch，这篇博客主要讲述，如何利用PyTorch搭建简单的CNN网络来识别mnist数据集。搭建CNN网络的主要步骤如下：1、导入库文件2、数据处理3、下载数据集4、构建DataLoader5、构建模型6、构建损失7、构建优化器8、训练模型9、测试模型这也是我这一篇文章的目录，这也是pytorch搭建模型的一个基本流程。1、导入库文件import torchimport numpy.
2021-05-26 17:43:51
2954
8
原创 PyTorch基础（三）回归与分类
昨天终于把毕业论文的所有事情都完成了，之前学的一些深度学习知识有些又不记得了，一点点的复习，不过，复习起来还是比较容易的的，看一遍书，大致又都记起来了。学到了卷积神经网络，先利用pytorch搭建简单模型，然后再想着利用pytorch搭建别人的网络模型。搭建模型的步骤准备数据集 设计模型，计算y_hat，同时构造计算图 构建loss 构建优化器 训练更新线性回归问题import torch#准备数据集x_data = torch.tensor([[1.0],[2.0],[3.0
2021-05-14 09:47:49
419
原创 PyTorch基础（二）线性回归
这篇博客利用PyTorch做了一个简单的线性回归的项目。一、线性回归的求解可以分为3步：1、确定模型2、确定损失函数3、利用梯度下降求出w、b二、导入库并构造数据集import torchimport matplotlib.pyplot as pltimport numpy as npplt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #
2021-04-26 17:02:24
322
原创 PyTorch基础（一）
一边学习吴恩达老师的深度学习课程，一边学习PyTorch深度学习框架，这篇博客就来记录昨天学习的PyTorch基础知识。tensor性质import torchimport numpy as npa = torch.tensor([1,2,3],dtype=torch.int)print(a)#形状print(a.shape)#属性print(a.dtype)#维度print(a.ndim)#数据生成#生成2*3全1矩阵b1 = torch.ones(2,3)#生成3
2021-04-26 14:33:44
140
原创 深度学习（三）单隐藏层的平面数据分类
接着吴老师的思路进行实验，开始搭建一个具有一个隐藏层的神经网络。一、导入数据集和画图导入数据集之前需要两个文件，具体请参考【数据】import numpy as npimport pandas as pdfrom matplotlib import pyplot as plotfrom testCases import *import sklearnfrom sklearn import datasetsfrom sklearn import linear_modelfrom p
2021-04-24 15:04:32
1425
原创 深度学习（二）课程一测验作业
吴老师的第一周课程还有其他作业，这篇博客中，我只总结自己认为重要的，并且是自己薄弱的地方1、tanh激活函数通常比隐藏层单元的sigmoid激活函数效果更好，因为其输出的平均值更接近于零，因此它将数据集中在下一层是更好的选择2、权重和偏差初始化为零会导致第一个隐藏层中的每个神经元节点将执行相同的计算。 所以即使经过多次梯度下降迭代后，层中的每个神经元节点都会计算出与其他神经元节点相同的东西，而在logistic回归中权重和偏置可以为03、前向传播和反向传播中使用的“cache”，用于前向传播中计
2021-04-23 15:16:38
517
原创 机器学习（五）逻辑回归处理iris多分类问题
这可能是我这一阶段机器学习的最后一篇博客了，接下来就是要学习深度学习的有关知识了，因为后期我的主要目标还是放在深度学习上。这篇是利用sklearn来处理iris多分类问题，主要就是数据的处理，对于模型算法问题，采用【拿来主义】直接用别人的轮子。...
2021-04-21 16:59:05
1598
3
原创 机器学习（四）逻辑回归解决二分类问题
接着进行逻辑回归项目的训练，我在进行这个训练的过程中，遇到了自己无法解决的问题，在接下来的博客中会提到，我用的解决办法都不适用，最后用到了sklearn库，发现这是真香，完全不用自己造轮子， 但是对于初学者，还是要弄懂里面的原理，才有助于以后的学习。一、导入库和数据集数据集是前两列100个学生的两科成绩，最后一列是是否被大学录取。34.62365962451697,78.0246928153624,030.28671076822607,43.89499752400101,035.84740
2021-04-20 19:47:51
1301
原创 机器学习（三）多变量线性回归正规方程解法和梯度下降解法
处理完单变量线性回归的梯度下降解法，跟着黄老师的实验思路，开始处理多变量的线性回归，也有两种解决方式，一种是正规方程，另一种是梯度下降，这篇博客主要是利用这两种思路解决问题。一、导入库文件import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport matplotlib as mplfrom mpl_toolkits.mplot3d import Axes3Dplt.rcParams['font.sa
2021-04-18 20:05:44
1058
原创 机器学习（二）单变量线性回归梯度下降解法
今天我又复习了一下昨天写的博客，发现数据集有问题，怎么会出现负数呢，我有查看了黄老师给的数据集，又仔细想了一下，收益可以是负数嘛，是自己多虑了。这篇博客接着写单变量线性回归的梯度下降解法，最关键最重要的就是梯度下降解法，不仅在这个问题中能用到，在以后的其他问题中也都能用到。一、导入所需库import numpy as npimport pandas as pdimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['Si
2021-04-17 17:53:46
820
原创 机器学习（一）单变量线性回归正规方程解法
从这周开始学习的机器学习，之前的我一直致力于学习信息系统这方面的知识，深知自己距离其他组员的差距还有很大，所以这段时间，还是以机器学习、深度学习、毕业论文主要学习方向，接下来还有六级、软件考试等，总之，事情做完了一件总会有其他事情过来找你。我是跟着吴恩达老师和温州大学的黄海广老师的学习视频的，我看吴恩达老师的视频，他讲的通俗易懂，具体的项目实战利用的黄海广老师的实验课代码，具体代码可以到黄老师的公众号上去看。目前我也正在学习Numpy、pandas、matplotlib库，这些都是机器学习的必须要会的知
2021-04-16 17:53:07
575
原创 Numpy练习（三）
将数组a中大于30的值替换为30，小于10的值替换为10思路一：np.clip(a,10,30)的含义就是对a数组进行剪枝，小于10的值置为10，大于30的值置为30a = np.random.uniform(1, 50, 20)b = np.clip(a,10,30)print(b)思路二：利用np.where(a<10,10,a)：意思是，对于a数组，将小于10的数值置为10a = np.random.uniform(1, 50, 20)b = np.where(a&l.
2021-04-13 19:30:49
1686
原创 Numpy练习（二）
交换数组arr中的列1和列3注意切片和赋值返回的是视图，视图改变，原数组也会改变import numpy as nparr = np.arange(9).reshape(3, 3)temp = arr[:,0].copy()arr[:,0] = arr[:,2]arr[:,2] = tempprint(arr)不得不说，答案比我想的好import numpy as nparr = np.arange(9).reshape(3, 3)print(arr)# [[0 1 2
2021-04-12 21:02:56
1382
1
原创 Numpy练习（一）
以下表达式运行的结果分别是什么?(提示: NaN = not a number, inf = infinity) nan不是一个数字 inf是无穷大0 * np.nan 结果为nannp.nan == np.nan 结果为Falsenp.inf > np.nan 结果为Falsenp.nan - np.nan 结果为nan0.3 == 3 * 0.1 结果为False将numpy的datetime64对象转换为datetime的datetime对象。【知识点：时...
2021-04-12 15:32:14
3487
原创 初学Spark
这篇博客是记录自己开启大数据学习之旅的开端，这是自己从来没有踏入过的领域，之前都是在利用java做一些小系统，增删改查，或者利用Java做一些APP，不过经过一位老师的指导，自己开始慢慢的接触大数据。都说万事开头难，的确，我在搭建Spark单机环境的时候，遇到了各种各样的错误，从昨天下午到现在，我终于搞好了，中间甚至有了挫败感，但是最终还是搭建好了，回头看来，都是小错误，自己没有细心。大数据的课程还是推荐厦门大学林子雨的，我就是一点点开始学的。Spark的概述和框架就不说了，因为牵涉到具体的原理，我也不
2021-03-05 21:56:03
328
原创 Geolife数据集基本分析与001轨迹绘图
从一个老师那里第一次了解还有这样的一个数据集，老师给我的任务就是对这个数据集进行一下简单的操作，那我就想着001号人物的运动轨迹画出来吧Geolife数据集简介（https://www.microsoft.com/en-us/download/details.aspx?id=52367）这个GPS轨迹数据集是在182名用户（2012年8月)的时间里(2007年4月在(微软亚洲研究）格里夫项目中收集的。该数据集的GPS轨迹由一系列时间戳点表示，每个点都包含纬度、经度和高度的信息。该数据集包含1762.
2021-03-01 22:33:13
7445
1
原创 重拾Python
学的东西不用，就会慢慢的不记得，但是一旦你想拾起来它的时候，也会非常轻松。好久没有用Python了，最近有个任务，就是分析Geolife数据集，有得把Python给捡起来。花了一天就基本学会了python的语法，之前的知识印在了脑子里，只需要过一遍就行。过一遍之后我发现用的最多数据结构还是列表和字典，我之前做的爬虫和小系统都是利用列表和字典居多。列表的常用方法：增加：append() extend() insert()删除：pop()clear() remove()其他：count(..
2021-03-01 21:42:27
142
原创 C语言经典100题（二）
这一连好多天睡觉都不踏实，做了很多奇怪的梦，内心很不安，总觉得万一没过分数线自己的努力就白费了，总而言之，就是不自信的表现，与其想这么多，不如踏踏实实的学习。接着上一篇的C语言，又写了几道我认为好的题目。题目：求n的阶乘和我看到这道题目就觉得这道题很简答啊，没有什么好写得，就是双层循环嘛，我写的如下：#include<stdio.h>int main(){ //不考虑超出存储范围的情况 int n; int res = 0; int i; int j; int te
2021-02-23 23:05:12
154
原创 否定之否定
这些天，自己一直处于一种游离的状态，找不到自己内心真正想要的东西。不过今天晚上，自己想明白了，这一切都源于自己太闲了，不知道要干什么，对于自己定下的目标没有任何的动力，越来越来同意马克思理论中的否定之否定规律，我之前在发展，然后否定自己，发展，否定，我感觉自己就处在这个不断的循环中。今天晚上，自己出去跑步，原来运动是真的可以让自己忘记压力，忘记对未来不确定性的忧虑，忘记对日常生活琐事的厌烦，忘记对不知道如何把握爱情和学习关系的界限。从现在开始，距离自己实习结束还有一个多月，继续自律一个多月，看看这一个多月后
2021-02-22 23:26:00
596
5
原创 C语言经典100题（一）
之前在复习数据库和Java，现在也在开始启动复习C语言，我准备写个专题，关于自己见到的关于C的一些题目，方便自己迎接考试。题目：假设今天是星期日 则a的b次方天是星期几这道题目的本质就是求除以7的余数是多少，如果直接算出a的b次方，有可能会超出C的存储范围，所以为了避免这种情况，要每计算一次，就要取一下余数#include<stdio.h>int main(){ int a; int b; int i; int temp = 1; scanf("%d%d",&
2021-01-24 10:16:08
3070
原创 重拾MySQL
完成了考研这个任务，准备考软件设计师，刚开始复习，发现之前学的所有知识全部都忘记了，JavaWeb，数据库，Android等等都忘记了，现在只能按照软件设计师的要求来进行复习，最开始我选择的是数据库，在我看来，一个软件最重要的就是数据库了，数据库设计好了，剩下的就是就是增删改查了。这篇文章就是重新复习MySQL数据库的知识。这篇文章主要从以下几个方面来复习MySQL：1、MySQL的登陆与退出2、DDL3、DML4、DQL5、字段的约束、外键6、表与表之间的关系、三大范式7、
2021-01-20 21:00:52
105
原创 黑马旅游网（四）总结
本来想每完成一个小小的功能的时候就写一篇博客，但是想法很美好，现实却很残酷，代码实现了，但是博客落下了。今天上午，终于完成了黑马旅游网的编码，这个过程很长，从最初自己电脑的maven不能使用，自己一点点的下载jar，然后一边学习Spring，一边写黑马旅游网，在这个过程中间，自己真的学到了很多知识，我觉得自己可以利用BootStarp和SSM写一个完整的小项目，所以接下，我的任务就是在写一个后台管...
2019-12-22 11:17:45
1112
1
原创 利用IDEA整合SSM框架
这一阵子一直在学习SSM框架，但是一开始学Spring时候，真的很难，不知道她到底在讲啥，所以我就放弃了Spring，开始学习SpringMVC，这个学起来就很简单，花了３天时间就学好了，然后是学习Mybatis框架，这个框架学的也挺快的，然后在我学习Spring，就好像有点懂了。这篇博客就是对SSM框架的整合，搭建一个完整的SSM运行环境。刚开始搭建环境的时候是非常兴奋的，干劲十足，但是写着...
2019-12-13 23:41:15
268
1
原创 再刷一遍经典排序算法！！！（数据排序）
上一篇博客写了关于大数算法的内容，有兴趣的可以去看看，这周我们开始写关于数据排序的算法，这个问题算是老生常谈的问题，我记得我之前就利用C、python、Java写过，但是，这次算是一个复习一下几个经典的排序算法。一、选择排序其基本思想就是：从未排序的数据元素中选择一个最小的（以递增排序为例）放在未排序数据元素之前即可。示例代码：package ACM_Sort;import ...
2019-12-07 17:17:57
150
原创 Mybatis实现增删改查
学习完实现第一个Mybatis第一个程序之后，要开始写一个最最最基本的增删改查了。这篇文章主要会讲述以下几个方面的内容：一、第一个Mybatis的重构二、Mybatis主配置文件的介绍三、Mybatis实现简单的增删改查首先开始第一个部分一、第一个Mybatis的重构学了好几个持久层的框架，发现他每一个框架都需要进行编写工具类，Mybatis也不例外。package ...
2019-12-07 14:33:51
499
原创 BootStrap基本使用
这几天在学习BootStrap，发现前端的知识真的非常复杂，要记得知识点特别多，而且自己也不会设计界面，自己写的界面也不好看，没办法，只能硬着头皮去尝试，去写一些基本的前端界面。对于BootStrap的框架我不做介绍，因为我自己也是不太懂，但是我知道怎么用的。以下的代码都是一些小小demo，便于自己以后查找使用吧！1、基本的框架：<!DOCTYPE html><h...
2019-12-07 14:07:06
165
原创 第一个Mybatis程序
今天开始学了mybatis，之前就听说这个框架，所以这次就来尝试一下。MyBatis 是一款优秀的持久层框架，它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。MyBatis 可以使用简单的 XML 或注解来配置和映射原生类型、接口和 Java 的 POJO（Plain Old Java Objects，普通老式 Java...
2019-12-03 23:50:00
121
javaweb.docx
2020-05-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人