懒骨头707

原创 使用神经网络（ICNet）对航拍图片(遥感图像)进行图像语义分割+膨胀预测后处理优化（数据集+代码+最终训练模型）

所有代码，数据集和模型下载地址：https://github.com/wangye707/ICNet-paddlepaddle本博客主要做部分内容讲解1.数据集介绍以及预处理1.1数据集介绍上图中左侧为航拍原图，右侧为标签（类别标签 像素值分别为 0，1，2，3，4，所以人的肉眼不能够分辨出区别，本文对标签进行可 视化处理 （实际训练中不做可视化处理），植被用绿色，道路用黑色，建筑用灰色， 水体用蓝色，以及其背景用白色标注）1.2图片裁剪、镜像和旋转裁剪：镜像和选装：.

原创 分布式深度学习框架--百度paddlepaddle的环境搭建以及测试代码

一、搭建环境      分布式paddle的环境和tensorflow的环境很相似，在我之前的博客中已经写得非常清楚了      我的是 python3.6+cuda9+cudnn7+ubuntu16.04      博客链接：https://blog.csdn.net/qq_28626909/article/details/85007363      搭建好环境知道我们开始安装p...

原创 分布式深度学习环境配置，NVIDIA驱动+cuda+cudnn+docker

假设设备中已经安装了python3.61.安装NVIDIA驱动   在Ubuntu的操作系统上，输入ubuntu-drivers devices 查看推荐驱动我的推荐是NVIDIA384，然后输入sudo ubuntu-drivers autoinstall按推荐安装。之后输入nvidia-smi弹出gpu信息即代表安装成功二，安装cuda...

原创 分布式Tensorflow中同步梯度更新tf.train.SyncReplicasOptimizer解读（backup_worker的用法）

在tensorflow的训练中，分布式可以大大的加快模型训练速度，但是分布式怎么分配和参数设定，都和SyncReplicasOptimizer这个函数有很大关系。 操作系统：Ubuntu16.04 运行环境：python3.6,nvidia384(4块)，tensorflow-gpu1.10+cuda+cudnn(根据自己实际gpu配置) ...

原创 机器学习之文本分类（附带训练集+数据集+所有代码）

我本次对4类文本进行分类（（所有截图代码和数据集最后附带免费下载地址））主要步骤：1.各种读文件，写文件2.使用jieba分词将中文文本切割3.对处理之后的文本开始用TF-IDF算法进行单词权值的计算4.去掉停用词5.贝叶斯预测种类文本预处理：除去噪声，如：格式转换，去掉符号，整体规范化遍历的读取一个文件下的每个文本中文分词...

原创 机器学习文本分类（实时预测）

原博客链接：https://blog.csdn.net/qq_28626909/article/details/80382029本博客属于在之前的博客中添加的功能，废话不说，直接上简化版代码：#!D:/workplace/python# -*- coding: utf-8 -*-# @File : TFIDF_svm_wy.py# @Author: WangYe# @Date : 2020/11/29# @Software: PyCharm# 机器学习之文本分类（附带训练集+数据集

原创 图像语义分割中的图片融合

图片融合是语义分割中的一个可视化处理方法，如下图所示：具体用python实现方法：import cv2import numpy as npimg1 = cv2.imread('11112.png') #原图路径print(img1.shape)img2 = cv2.imread('1111.png') #掩膜图片路径，保证两个图...

原创 用python实现对数组排序，输出坐标

如题，我们对[1,3,2]这样的数组进行排序，我们想要他的顺序坐标，那么输出就是（从大到小）[1,2,0]首先，用到了 enumerate 这个内置函数：我们先看下这个函数的作用：a = [1,3,2]for i in enumerate(a): # print(i)运行截图我们可以看出，他把每个数字的坐标存在了第一位这里我们放出完整代码：a =...

原创 Git常用命令

原创 用tensorflow实现ASSP层

如题，deeplabv3中提供的网络图如下所示：tensorflow 的代码实现如下所示：def atrous_spatial_pyramid_pooling(inputs, filters=256, regularizer=None): #ASPP层 ''' Atrous Spatial Pyramid Pooling (ASPP) Block ''' ...

原创 Tensorflow：ValueError: Cannot create a tensor proto whose content is larger than 2GB

报错完整信息如下：Traceback (most recent call last): File "deeplab_model.py", line 272, in <module> image_batch,label_batch = get_Batch(train_list,label_list,batch_size) File "deeplab_model.py...

原创 用Python不调用库函数直接实现二进制的转化

如题，话不多说，直接上代码#!D:/workplace/python# -*- coding: utf-8 -*-# @File : 二进制中1的个数.py# @Author: WangYe# @Date : 2019/6/19# @Software: PyCharmdef NumberOf1(n): # write code here list1 = []...

原创 Linux下使用tmux挂载后台

1.安装tmuxapt-get install tmux2.输入 tmux进入它的指定界面tmux 3.在tmux终端输入指令（这里举例 ls）4.ctrl + b，然后输入 d 退出5.输入查看后台指令tmux ls6.切换 0 号进程tmux attach -t 0...

原创 （已修改）机器学习之文本分类（附带训练集+数据集+所有代码）

本博客是我对之前博客进行的一些优化，对文件的处理，以及添加更多的注释让大家在NLP，文本分类等领域能够更快的让代码跑起来。原文链接：https://blog.csdn.net/qq_28626909/article/details/80382029关于TF-IDF，朴素贝叶斯，分词，停用词等前面的博客（原文链接开头以贴出）已经讲得非常详细了，这里就不啰嗦了，本博客是讲如何将代码跑起来，因为...

原创 3分钟学会用python处理图片(矩阵)填充的简单方法

如题，特别是在做图像处理的时候，我们遇到了一个图片是500*500*3的，另一个是600*500*3的，我们不论是做深度学习还是算欧氏距离啊什么总是因为这些图片的维度不同而头疼，但是很遗憾，你们这个头疼的问题在3分钟之后即将再也不复存在，为什么需要三分钟呢？因为我的博客你阅读需要三分钟！！！直接上代码！！！！#!D:/workplace/python# -*- coding: utf-...

原创 （Google）谷歌笔试算法题：要求相邻的两个数都不小于或者不大于其本身的排序

如题，要求相邻的两个数都不小于或者不大于其本身的排序， 那么也就是说每个数字必须同时大于等于或者小于等于它左右两边的数字，例如 3>=2<=6,那么这里2就是同时同于等于3且小于等于6，那么如果多来点数据就是 3>=2<=6>=5<=10>=2<=6题目描述可能本身比较模糊，我们举例来看：一组数据，比如已经排序好了（排序好的数据看着...

原创 Linux下docker容器的打包（导出）

如题，linux下有时候我们使用别人的镜像，使用完成之后还要继续用，但是断开终端之后就结束了，下一次重新进入就和新的一样，很不方便，所以我们每次用完之后导出保存就可以，下次便可以继续使用1.首先看看当前哪个是你自己正在用的镜像docker ps第一个是我当前在用的容器，所以我记住它的ID2.导出sudo docker export e8d281e9c002> wa...

原创 LInux下使用docker镜像（tensorflow-gpu），无敌菜鸟弱智法，一看就会。

在当今这个复杂的环境下，每个人对于服务器的环境都是非常的CXK感觉，所以docker就能很好地解决这个问题，即已经装好的环境！！！！开始进入正题：1.查看已经存在的镜像docker images2.进入镜像docker run -t -i b1c7fb836eac /bin/bash这里b1c7fb836eac 是镜像的ID，就是上图的IMAGE ID , ...

原创 OneDrive:你似乎无权访问该选项，请确保你拥有允许同步该选项所需的适当权限

如题，onedrive开启自动同步的时候有时候会出现这个问题。那么大一个红叉叉，看着很不爽，点进去一看，是这样的：，然后再点进去，那么怎么办呢？我们找到这个尚未被同步的文件，然后右键，属性->安全->编辑然后选择你onedrive账户的选权限然后就应用之后就可以自动同步了~...

原创 Python：程序员向程序媛表白的方法

如题，在进行表白的时候，我们要先伪装一下，不然都是同行，一下就看出来了。上代码：#!D:/workplace/python# -*- coding: utf-8 -*-# @File : heart.py# @Author: WangYe# @Date : 2019/4/23# @Software: PyCharm#!D:/workplace/python# -*- c...

原创 Python超级简单的方法将图片转换为矩阵或者将矩阵转换为图片

如题，我们用到两个工具包，一个PIL，一个numpy直接上代码，上注释，走起#!D:/workplace/python# -*- coding: utf-8 -*-# @File : face_prepare.py# @Author: WangYe# @Date : 2019/4/17# @Software: PyCharmfrom PIL import Imagei...

转载 DeepLab V3 论文笔记

本博客转载于知乎，原文链接：DeepLab V3 论文笔记论文：Rethinking Atrous Convolution for Semantic Image Segmentation论文最早版本arXiv上的发表时间是2017.06Abstract在本文中，我们重新回顾了空洞卷积在语义分割中的应用，这是一种显式调整滤波器感受野和控制网络特征响应分辨率的有力工具。为了解决...

原创 TypeError Fetch argument 0.02 has invalid type class 'numpy.float32' must be a string or Tensor

如题，在使用Tensorflow最后sess.run中喂数据的时候出现了上述问题，下面是我的代码：results,test_loss,accuracy=sess.run( fetches=(h,mse,accuracy), feed_dict={ X_p:t...

原创 Python阿里面试题：给定一个非负整数数组，你最初位于数组的第一个位置。 数组中的每个元素代表你在该位置可以跳跃的最大长度。 你的目标是使用最少的跳跃次数到达数组的最后一个位置。

如题：给定一个非负整数数组，你最初位于数组的第一个位置。数组中的每个元素代表你在该位置可以跳跃的最大长度。你的目标是使用最少的跳跃次数到达数组的最后一个位置。示例:输入: [2,3,1,1,4]输出: 2解释: 跳到最后一个位置的最小跳跃数是 2。 从下标为 0 跳到下标为 1 的位置，跳 1 步，然后跳 3 步到达数组的最后一个位置。思路：每到一个位置...

原创 Pycharm中debug的技巧：交互式测试和断点测试

如题，用pycharm编写python代码已经非诚流行了，但是想spyder那样直接可以在结果中测试变量很多同学可能还不清楚，那么我来给大家看看pycharm怎么实现，首先我们放一段测试代码：#!D:/workplace/python# -*- coding: utf-8 -*-# @File : debug.py# @Author: WangYe# @Date : 2019/4...

原创 Tensorflow：空洞卷积（Atrous convolution) atrous_conv2d的代码实现

一、参考文献https://blog.csdn.net/mao_xiao_feng/article/details/78003730https://blog.csdn.net/davincil/article/details/80902366二、概念空洞卷积的基本概念则是扩大卷积核，例如下图（作图为标准卷积核，有图为空洞卷积核）： 这里使用...

原创 用卷积神经网络(CNN)实现cifar_10图像识别分类

一、资源链接无数据集纯代码链接：https://pan.baidu.com/s/1w20ZUkwaYw22qXIRWw2NXA提取码：csco带数据集和代码链接: https://pan.baidu.com/s/1OTu17l_9tk7Vg45m1BokNw提取码：w7o9二、资源格式一共4个文件，三个为py代码文件，另一个是数据集。目录尽量存放在一起，我的目录是这样...

原创 tensorflow:ImportError: cannot import name 'abs'

如上图，我们导入tensorflow的时候报出了这个 abs 的错误。那么问题的原因 网上是这么解释的：因为和protobuf版本不兼容造成的，因此需要卸载重新安装所以我们卸载 tensorflow和protobuf，然后重新安装tensorflow就可以了pip uninstall tensorflow protobuf --yespip install -...

原创 python最简单的方法安装虚拟环境

如题，由于和其他人的pip包存在不同的依赖关系，因此需要安装一个与其他人隔离的环境环境：ubuntu16.04+python3.5wangye@p100:~/ICT$ pip3 install virtualenv导入包之后我们新建一个自己的文件夹，并且进去wangye@p100:~$ mkdir wy_pythonwangye@p100:~$ virtualenv wy_p...

原创 牛客网：六一儿童节，老师带了很多好吃的巧克力到幼儿园。每块巧克力j的重量为w[j]，对于每个小朋友i，当他分到的巧克力大小达到h[i] (即w[j]>=h[i])，

题目描述六一儿童节，老师带了很多好吃的巧克力到幼儿园。每块巧克力j的重量为w[j]，对于每个小朋友i，当他分到的巧克力大小达到h[i] (即w[j]&gt;=h[i])，他才会上去表演节目。老师的目标是将巧克力分发给孩子们，使得最多的小孩上台表演。可以保证每个w[i]&gt; 0且不能将多块巧克力分给一个孩子或将一块分给多个孩子。输入描述:第一行：n，表示h数组元素个数 第二行：n...

原创 牛客网：有两个用字符串表示的非常大的大整数,算出他们的乘积，也是用字符串表示。不能用系统自带的大整数类型。

题目描述有两个用字符串表示的非常大的大整数,算出他们的乘积，也是用字符串表示。不能用系统自带的大整数类型。输入描述:空格分隔的两个字符串，代表输入的两个大整数输出描述:输入的乘积，用字符串表示示例1输入复制72106547548473106236 982161082972751393输出复制70820244829634538040848656...

原创 牛客网：给定一个无序数组，包含正数、负数和0，要求从中找出3个数的乘积，使得乘积最大，要求时间复杂度：O(n)，空间复杂度：O(1)

题目描述给定一个无序数组，包含正数、负数和0，要求从中找出3个数的乘积，使得乘积最大，要求时间复杂度：O(n)，空间复杂度：O(1)输入描述:无序整数数组A[n]输出描述:满足条件的最大乘积示例1输入3 4 1 2输出24代码：#!D:/workplace/python# -*- coding: utf-8 -*-# @File : ...

原创 牛客网：一个数如果恰好等于它的各因子（该数本身除外）子和，如：6=3+2+1，则称其为“完数”；若因子之和大于该数，则称其为“盈数”。求出2 到60 之间所有“完数”和“盈数”

题目描述一个数如果恰好等于它的各因子（该数本身除外）子和，如：6=3+2+1，则称其为“完数”；若因子之和大于该数，则称其为“盈数”。求出2 到60 之间所有“完数”和“盈数”，并以如下形式输出： E: e1 e2 e3 ......(ei 为完数) G: g1 g2 g3 ......(gi 为盈数)输入描述:无输出描述:按描述要求输出（注意EG后面的冒号之后有一个空格）...

原创 牛客网：设N是一个四位数，它的9倍恰好是其反序数（例如：1234 的反序数是4321），求N的值。

题目描述设N是一个四位数，它的9倍恰好是其反序数（例如：1234 的反序数是4321），求N的值。输入描述:无输出描述:每行一个数，表示满足题目要求的数。代码：back_num_str = []num_str = []for i in range(1000,10000): back_num = i * 9 res = 0 back_...

原创 牛客网：某人有8 角的邮票5 张，1 元的邮票4 张，1 元8 角的邮票6 张，用这些邮票中的一张或若干张可以得到多少中不同的邮资？

题目描述某人有8 角的邮票5 张，1 元的邮票4 张，1 元8 角的邮票6 张，用这些邮票中的一张或若干张可以得到多少中不同的邮资？输入描述:无输出描述:输出一行，表示题目所求。代码：#!D:/workplace/python# -*- coding: utf-8 -*-# @File : 邮票.py# @Author: WangYe# @Date :...

原创 牛客网：打印所有不超过n（n>256）的，其平方具有对称性质的数。如11*11=121。

题目描述打印所有不超过n（n&lt;256）的，其平方具有对称性质的数。如11*11=121。输入描述:无输出描述:每行一个数，表示对称平方数。代码：n = 256#print(10**2)top = 0for i in range(1,256): mul = i * i if mul &gt; 10: #在两位数开始找 f...

原创 ModuleNotFoundError: No module named 'pip._internal'

  如题：     我的环境是：Ubuntu16.04+python3.6出现问题的原因是因为在ubuntu用户下装了，没在root权限下安装。解决方法：1.下载pipcurl https://bootstrap.pypa.io/get-pip.py -o get-pip.py2.安装新pippython3 get-pip.py --force-re...

原创 设有n个正整数，将他们连接成一排，组成一个最大的多位整数（Python）

题目描述设有n个正整数，将他们连接成一排，组成一个最大的多位整数。如:n=3时，3个整数13,312,343,连成的最大整数为34331213。如:n=4时,4个整数7,13,4,246连接成的最大整数为7424613。 输入描述:有多组测试样例，每组测试样例包含两行，第一行为一个整数N（N&lt;=100），第二行包含N个数(每个数不超过1000，空格分开)。 ...

原创 ubuntu下解决安装dlib的问题（python）

一、报错      很多安装dlib是给python用的一个库，但是直接pip安装会提示错误，直接下载安装wheel也会报错，所以我这里有一种创建动态链接库的方法二、安装git     在Ubuntu下，安装git的方法自己百度，安装好了之后测试ubuntu@tesra11:~$ git usage: git [--version] [--help] [-C &lt;path&...

原创 报错：tensorflow.python.framework.errors_impl.UnknownError: Could not start gRPC server

如题：tensorflow.python.framework.errors_impl.UnknownError: Could not start gRPC server环境：Ubuntu16.4，tensorflow-gpu1.10原因：分布式tensorflow中的ps或者worker进程为杀死解决方案：ps -aux|grep python然后杀死和分布式有关的进程：...