独孤尚亮dugushangliang-CSDN博客

原创 PIE-Engine使用哨兵1影像提取洪水范围

1 背景洪涝灾害是突发事件，具有持续时间短、危害性大等特征。基于卫星遥感技术，人们可实现快速、准确的洪涝淹没范围提取，直观地显示其空间分布及其动态变化和发展规律，从而使得其在洪涝灾害监测中发挥着越来越重要的作用。光学传感器，如MODIS、Landsat TM等均被用于提取洪水淹没范围。但是洪灾发生时，天气往往多云多雨，光学传感器波段不能穿透云层，因此无法获取有效地面信息。星载合成孔径雷达（SAR）具有全天候、全天时的工作能力和宽覆盖的优势，不受云、雨、雾的影响，可在夜间工作，尤其适合洪涝淹没范围监测。

2022-01-26 18:36:18 4073 2

原创栅格的二元回归

有时候我们会用到残差趋势法，例如以植被覆盖度为因变量、以气温和降水为自变量，逐像元建立二元线性回归模型，逐像元得到回归方程的系数；其次，利用气温和降水数据以及回归模型的系数，建立模型模拟得到气候影响下的植被覆盖度的预测值；最后，基于遥感影像获得的植被覆盖度观测值与基于回归模型模拟得到气候影响下的预测值做差值计算，得到的结果即为植被覆盖度残差，表示了人类活动对植被覆盖的影响。今天分享一下栅格的二元回归系数计算方法。1 二元回归系数计算二元回归系数系数的计算公式网上书上有计算公式，这里不再赘述。这里介绍

2021-12-30 14:46:55 3084 3

原创重标极差分析 Hurst指数计算

在时间序列分析中，有时候会用到hurst指数，今天分享Hurst指数的计算方法。1 介绍本节介绍出自《地理数学方法：基础和应用》一书【第 21 章时间序列的 R/S 分析】 R/S 分析是一种基于长程相关思想的时间序列分析方法。这种方法由 H. E. Hurst 于 1965 年最先提出，后来伴随着非线性理论的发展而成长起来。 Hurst 原本是剑桥大学物理学博士，对埃及尼罗河（ Nile）进行了长达 60 年的观测，记录了尼罗河水位

2021-12-30 14:46:11 5964 3

原创计算两个栅格的相关系数

有时候我们需要计算两个栅格的相关系数，判断相关性，例如计算NDVI和降水的相关系数，NDVI和温度的相关系数。今天分享一下计算两个栅格相关系数的计算方法。1 相关系数计算相关系数的计算公式网上书上有计算公式，这里不再赘述。这里介绍一下Python的numpy库计算相关系数，使用np.corrcoef()函数，示例如下。import numpy as npx1 = np.array([9.6,17.1,64.8,40.9,136.3,182.5,78.3,3.7,26.,0.4])x2 = np.a

2021-12-30 14:45:13 7534 6

原创命令行运行IDL的sav文件

1 编写代码在idl编辑器新建pro文件，写入内容。示例如下，该示例实现将命令行的参数输出到一个txt中，文件名为abc.propro abc COMPILE_OPT idl2 args = Command_Line_Args(count=num) openw,lun,'idlout.txt',/get_lun for i=0,num-1 do begin printf,lun,args[i] endfor free_lun,lunend2 编译保存

2021-12-23 18:44:51 2980

原创 docker 容器技术

docker 容器技术一、学习目标了解 Docker 与虚拟机的不同点，相比的优势掌握 Docker 的启动方法、镜像与容器操作掌握 Mysql tomcat Nginx Redis 等容器的部署方法掌握 Docker 的备份与迁移方法掌握 Docker 的面试题二、docker简介2.1、虚拟化2.1.1、什么是虚拟化在计算机中，虚拟化（英语：Virtualization ）是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，

2021-12-23 18:44:04 3179

原创 esri土地覆盖全国拼接

1 数据介绍Esri_Land_Cover_2020_10m数据来源是Esri公司，基于10m哨兵影像数据，使用深度学习方法制作做的全球土地覆盖数据。该数据集一共分类十类，分别如下所示：更多介绍参考【10米ESRI土地覆盖数据介绍与下载教程】。2 数据处理首先下载全球的esri土地覆盖文件，在此基础上操作。2.1 找出中国范围的分块2.1.1 生成影像边界框根据影像范围生成影像的边界框shp，便于筛选。python代码如下。这里使用pyshp创建矢量，pyshp需要是1.2.3版本。

2021-12-23 18:43:19 1181

原创中国分省30米DEM（NASA 2020版）

“中国分省NASA DEM 30米分辨率2020版”01 数据介绍NASA DEM 发布于 2020年2月18日，是美国国家航空航天局（NASA）全新的全球30米分辨率DEM数据（NASA DEM）。是当前最新的一套数据，具有质量好、覆盖范围广等优点。官网地址：https://earthdata.nasa.gov/esds/competitive-programs/measures/nasadem更多介绍可以阅读：数据分享︱全国30 m分辨率DEM数据（ASTER GD...

2021-12-05 21:15:29 3185

原创中国范围NPP-VIIRS逐年夜间灯光数据（2013-2020年）

“本文分享中国范围的NPP VIIRS Annual VNL V2夜间灯光影像”夜间灯光数据最近几年得到了广泛的应用。NPP VIIRS数据是常用的数据。NPP VIIRS数据官网下载地址https://eogdata.mines.edu/products/vnl/。由于Annual VNL V2逐年的数据比较大，下载比较费时，因此我下载了2013-2020年的数据，共有三百多G，并裁剪出了中国区域，方便国内用户获取。01 数据介绍进入官网后找到...

2021-12-05 21:12:09 6764 6

原创 ESA WorldCover和Globeland30土地覆盖数据的比较

1 数据介绍本文将从几点角度比较一下ESA WorldCover和Globeland30两种土地覆盖产品。 ESA WorldCover是欧空局2021年最新发布的根据哨兵数据处理的全球10米分辨率土地覆盖数据，官方精度74%。分为林地(10)，灌木(20)，草地(30)，耕地(40)，建筑(50)，裸地/稀疏植被区(60)，雪和冰(70)，开阔水域(80)，草本湿地(90)，红树林(95)，苔藓(100)。官网地址：https://esa-w

2021-11-29 09:27:32 3620

原创全国任意区域土地覆盖、DEM免费下载 easygeodata

欢迎使用easygeodata数据下载网站，https://easygeodata.cn 本网站提供中国范围内指定区域的10米土地覆盖、30米DEM等数据的下载。下载区域可以按选择的行政区划或自己上传的shp范围。本网站的初心是方便国内用户获取免费公开数据。本网站为公益性网站，使用过程不收取任何费用。 &nbs

2021-11-23 18:09:58 1938 7

原创 PaddleSeg语义分割实现对整幅遥感影像进行预测

现有的语义分割框架通常是针对普通的单张图片进行预测。如果要预测一张完整的大的遥感影像需要进行切片后预测最后拼接起来。这样预测比较费时费力费空间。本文改进了paddleseg的predict.py的代码。使用gdal分块读取方法，实现分块预测并写出为tif文件结构，效率高。需要将本文件路径为paddleseg\core\predict.py。可以在代码中修改预测分片的大小和重叠度。...

2021-11-11 09:47:06 1833 1

原创 python gdal使用shp裁剪遥感影像

最近有个需求，在云服务器上运行shp裁剪遥感影像的功能。服务器内存2G。影像十分巨大，例如二十万行，三十万列。目前的shp裁剪影像方法有：（1）arcgis裁剪：服务器上肯定不能用。（2）基于rasterio的mask.mask()建立掩膜裁剪。这个方法比较快，以前一直用这个，但是有个缺点就是把数据一次性读入内存，在内存不足时就报错，不能正常运行。基于rasterio的裁剪代码如下。import fionaimport rasterio as rioimport r...

2021-11-10 22:30:31 5237 6

原创 ubuntu20.04安装qgis

一开始使用官网的安装教程https://www.qgis.org/en/site/forusers/alldownloads.html#debian-ubuntu安装失败，报错鉴于仓库 'https://qgis.org/ubuntu focal InRelease' 不支持 'i386' 体系结构,跳不知怎么解决，后来使用了Ubuntugis安装就好了，按照focal过滤，Ubuntugis不但能安装qgis，也能安装其他的gis库例如gdal等，参见https://launchpad.ne..

2021-08-22 00:29:26 2506 1

原创 PaddleDetection/mmdetection/Detectron2自定义目标检测数据集

按COCO格式标注将数据集按照coco的格式整理，很多目标检测框架都支持coco。coco的数据集标注详见https://cocodataset.org/#format-data格式是字典和列表的相互嵌套。根是是一个字典，有四个键，分别是info images annotations license。info是个字典，images是image字典组成的列表，annotations是annotation字典组成的列表，licenses是license字典组成的列表。最后保存为json格式。根字.

2021-08-19 10:40:00 1231

原创 PaddleSeg自定义语义分割数据集 Detectron2自定义语义分割数据集

1 PaddleSeg数据集PaddleSeg （https://github.com/PaddlePaddle/PaddleSeg）是个很方便的语义分割框架。如果用自己的数据进行训练的话需要按规范的格式整理，结构如下。根目录为dataset（或其他的名称），dataset下包含两个文件夹和两个txt。两个文件夹分别存放图片（images）和标注（annotations），两个txt（train_list.txt，val_list.txt）分别存储训练集和验证集的图片和标注的对应关系。这些文件夹和文

2021-08-19 10:04:48 1715

原创基于大遥感影像的目标检测数据集的裁剪

遥感影像一般比较大，对于高分辨率的影像会更大。从百度地球下载的一个县的高分辨率的影像（0.3米）可能包括几十万行几十万列。这种几万行列甚至几十万行列的影像不利于模型的训练，有必要进行分块裁剪、分片处理，例如切分成512*512或者1024*1024的影像。影像分片，对于语义分割的标注是很容易裁剪，只需按照固定的顺序裁剪即可。但是对于目标检测的裁剪，标注框的裁剪有点麻烦。如下图所示，影像对应的标注框。本文介绍一下影像进行分块裁剪和标注框分块生成的思路。...

2021-08-17 18:43:39 1653 7

原创 json和python字典的转换

1 字典转换为json文件import jsonjson_str = json.dumps({1:2,2:4})with open(outjsonpath,'w') as f: f.write(json_str)2 json转为字典import jsondic = json.load(open(jsonpath))

2021-08-17 18:09:16 67

原创 Process finished with exit code -1073741819 (0xC0000005)

最近用gdal ogr numpy 等库，代码写好运行成功后，pycharm异常退出Process finished with exit code -1073741819 (0xC0000005)，照着网上的一些方法更新h5py、更新numpy、设置pycharm等，都不好使。最后发现ogr的一个layer对象没有手动销毁，手动删除后就没报错了。...

2021-08-17 18:05:59 207

原创基于高分辨率影像的潍坊大棚遥感提取

1 背景朋友，当你坐在经过潍坊的火车上的时候，是否被窗外的风景震惊过？那一望无际的大棚，像一片海洋，又像一片草原，连接天际，一眼望不到边。在卫星地图上，白茫茫一片，蔚为壮观。本文基于0.6米的高分辨率遥感影像提取潍坊的大棚分布。2 数据使用古戈影像的18级数据，0.6米分辨率，共三百多G。3 方法方法和思路都比较简单。使用深度学习的方法，首先选典型样本，其次训练模型，最后应用模型。对于效果不好的区域，再选择一部分样本对模型进行微调。样本的选取是十分重要...

2021-08-07 11:54:48 1925 2

原创 paddleseg怎样训练遥感数据集

paddleseg默认读取图像的函数是在paddleseg/transforms/transforms.py的Compose类中，节选如下，如果想读16bit的反射率影像或者0-1范围的影像，只需要在Compose类的__call__方法中修改即可，例如安装gdal或者使用libtiff读。后面小心用一些transforms。class Compose: def __init__(self, transforms, to_rgb=True): if not isinstanc.

2021-06-18 18:25:21 501

原创 gdal怎样修改图像的投影和地理信息

最近有个需求，给图片定义投影、添加地理坐标信息，今天终于找到了，一起看一看。那就是学习一下gdal_edit.py这个文件geotransform和projection可以是从其他dataset读到。from osgeo import gdalds = gdal.OpenEx(tifpath, gdal.OF_RASTER | gdal.OF_UPDATE)ds.SetGeoTransform(trans)ds.SetProjection(proj)ds = None如果修改noda.

2021-06-18 16:01:02 873 1

原创 tkinter打包为exe后找不到图片 tkinter_TclError:couldn‘t open “a.png“ no such file or directory

tkinter打包为exe后找不到图片解决方法之一将想要的图片放到exe同级的目录下，即dist文件夹中，在代码中的相对路径是相对于exe所在的文件夹

2020-12-14 15:02:46 3630

原创 Python环境迁移到另一台电脑

将已经安装好各种库的python复制到另一台电脑上直接用以python2.7为例将安装目录直接复制到新电脑上，重要的是将python27.dll这个文件也复制到python.exe的同级目录下，否则直接复制用的话会报错。为防出错，也放到Scripts文件夹中...

2020-06-12 11:28:42 4403 3

原创 Java笔记-13 http服务器

文章目录反射入门XML解析解析简单的xml文件解析webxml反射入门把java类中的各种结构（方法、属性、构造器、类名）映射成一个个的Java对象，利用反射技术可以对一个类进行剖析。框架设计常用反射可以通过字符串的方式或得类，创建对象获得Class对象Class.forName(“包名.类名”)，使用无参构造器创建对象 (Iphone) classObj.getConstructor...

2020-05-12 21:51:18 178

原创 10m土地覆盖怎么找到自己需要的

背景由清华大学地球系统科学系宫鹏教授团队研发的重大成果世界首套“2017年10米分辨率全球土地覆盖产品（FROM-GLC10）（2017年的为http://data.ess.tsinghua.edu.cn/fromglc2017v1.html，2015年的为http://data.ess.tsinghua.edu.cn/fromglc2015_v1.html）是很不错的土地覆盖产品。打开201...

2020-05-04 18:50:32 2309 3

原创 Python2.7生成pyd文件

首先安装cython。pip install cython安装easycython：pip install easycython安装文件vcpython27，下载地址 http://aka.ms/vcpython27。或网盘链接链接: https://pan.baidu.com/s/1iBzQtpvK2A0XYIqDG4e2hQ 提取码: aa1t使用的时候将py文件的后缀改为pyxc...

2020-04-23 16:25:51 943

原创 Google earth engine对Landsat8辐射定标

辐射定标的本质是波段运算，y = ax+b以第10波段为例，首先从元数据文件找到RADIANCE_MULT_BAND_10和RADIANCE_ADD_BAND_10，第一个是乘项 3.3420E-04，第二个是加项0.1。在gee中进行波段运算var rad10 = image.select('B10').multiply(3.3420*0.0001).add(0.1)以下是一个La...

2020-03-24 16:54:53 2954 4

原创 NPP VIIRS夜间灯光数据新下载地址

noaa的npp viirs夜间灯光下载原的地址为https://www.ngdc.noaa.gov/eog/viirs/download_dnb_composites.html。看官网发现数据只更新到2019年4月份。仔细观察上面黄底色的字，These products, based on VIIRS observations, are now publicly available thro...

2020-03-18 19:11:03 13060 14

原创 Java笔记-12 网络编程

InetAddress创建InetAddress对象，从本地，ip，或者域名创建import java.net.InetAddress;import java.net.UnknownHostException;public class TestIP { public static void main(String[] args) throws UnknownHostExcep...

2020-03-14 16:18:07 150 2

原创 Google Earth Engine导出大影像时下载失败的一种解决方法

Google Earth Engine导出大影像时下载失败最近用gee导出了一些影像到drive云盘中，虽然不是很大，只有两百M左右，但是使用backup and sync同步软件来下载的时候却一直失败，不停的重试。同步软件不支持断点续传，一旦因为某原因中断，又要从头开始，感到十分的无奈经过多次教训，发现下载50M以内的小文件是没有问题的，因此考虑导出数据的时候使用分块来解决，最后下载这些...

2020-02-29 18:16:48 7654 9

原创 Java笔记-11 多线程

文章目录多线程Thread多线程进程是资源分配的单位，线程是调度和执行的单位。多线程的三种方式，继承Thread类，实现Runnable接口，实现Callable接口，前两种常用，第二个更常用，因为无法多继承，可以实现多个接口继承Thread类，重写run方法，构建对调用start方法实现Runnable接口，重写run方法，通过new Thread(对象).start()调用Th...

2020-02-23 09:12:05 248

原创 Java笔记-10 IO流

文章目录输入输出流File的关于文件的操作File关于文件夹的操作字符集，字符串与字节数组的转换四大抽象类及常用类FileInputStreamFileOutputStream文件的复制输入输出流外部系统的输入输出操作字节流：以字节为单位获取数据，命名上以Stream结尾的流一般是字节流，如FileInputStream、FileOutputStream。字符流：以字符为单位获...

2020-02-17 17:44:55 220

原创 Java笔记-09 容器 Collection

文章目录泛型Collection的常用方法ListArrayList泛型泛型的本质就是“数据类型的参数化”。我们可以把“泛型”理解为数据类型的一个占位符(形式参数)，即告诉编译器，在调用泛型时必须传入实际类型泛型参数用一对尖括号<E>表示，使用时需要将类型参数替换为实际的参数public class TestGeneric { public static void...

2020-02-15 20:41:49 188 1

原创 Java右移运算与除法的速度对比

对比一下右移运算和除法的效率，整数除法，除以2对除法和右移做100亿次，计算消耗的时间，为了减少误差的影响，分别做十次，最后取平均值.结果显示，除法耗时略多点，一百亿次运算多耗时50毫秒左右除法平均时间：3965右移平均时间：3910本测试纯属娱乐，结论不一定可靠。public class Test { public static void main(String[...

2020-02-12 17:53:28 2090 3

原创 Java笔记-08 异常

文章目录异常运行时异常RuntimeException受检异常CheckedExceptionthrows自定义异常异常异常指程序运行过程中出现的非正常现象，例如用户输入错误、除数为零、需要处理的文件不存在、数组下标越界等。在Java的异常处理机制中，引进了很多用来描述和处理异常的类，称为异常类。异常类定义中包含了该类异常的信息和对异常进行处理的方法。异常处理过程抛出异...

2020-02-11 21:57:04 180 1

原创 Java笔记-07 常用类

包装类将基本类型数据转化成对象，包装类位于java.lang包中提供：字符串、基本类型数据、对象之间互相转化的方式，包含每种基本数据类型的相关属性如最大值、最小值等基本数据类型包装类byteBytebooleanBooleanshortShortcharCharacterintIntegerlongLongflo...

2020-02-10 20:37:56 456 1

原创 Java笔记-06 面向对象进阶

文章目录继承重写Object类toString方法equals方法super封装继承继承实现类的扩展父类也称作超类、基类、派生类等。Java中只有单继承，没有像C++那样的多继承。多继承会引起混乱，使得继承链过于复杂，系统难于维护。Java中类没有多继承，接口有多继承。子类继承父类，可以得到父类的全部属性和方法 (除了父类的构造方法)，但不见得可以直接访问(比如，父类私有的属性和方法...

2020-02-09 17:54:17 292

原创 arcpy批量将tif影像添加到ArcGIS中同时指定RGB顺序

将一个文件夹里的所有的tif添加到arcgis中指定波段顺序，例如假彩色，真彩色，arcgis默认会使用前3个波段作为RGB显示。运行之前最好先建好金字塔，否则添加会很慢指定拉伸方式没有查到怎么实现# -*- coding:utf-8 -*-'''将一个文件夹里的所有的tif添加到arcgis中指定波段顺序，例如假彩色，真彩色'''import osimport sysr...

2020-02-06 11:01:57 3413 1

原创 Python将多个单波段tif合并为一个影像

将同一文件夹里的多个tif合并为一个tif或dat或其他的影像文件输入影像的行列数投影应保持一致dat格式可以给波段命名，tif格式看不到波段名称# -*- coding:utf-8 -*-import numpy as npimport gdalimport osimport sysreload(sys)sys.setdefaultencoding('utf8')#修改...

2020-02-06 09:26:45 6533 16