加上音乐-CSDN博客

需求分析：在keras模型中，使用predict函数对1.9kw个样本进行预测，但是速度较慢（1）tensorflow版本:import tensorflow as tffrom tensorflow import kerasprint(tf.__version__)2.0.0（2）导入模型及数据：model = keras.models.load_model('../../CLDNN/save_model/**') test_input = np.array(st_f[0:0+10000

2022-05-27 16:17:14 2374 1

原创 ubuntu16.04安装tensorflow(Conda形式)

需求分析：将使用keras作为torch建模的补充手段，因此需要在服务器(2080ti)上安装tensorflow以及keras.安装步骤，参考tensorflow官网conda安装说明：一、官网提供的conda安装代码：conda install -c anaconda tensorflow1、执行效果>>> import tensorflow as tf>>> print(tf.__version__)2.0.0>>> print

2022-04-28 13:19:26 604 1

原创 Python读取MEIC文件（.nc格式及.asc格式）

需求分析：研究需要使用到—中国多尺度排放清单模型MEIC中的数据。下载的MEIC含.xml, .nc以及.asc三种不同类型的文件，如下；.nc以及.asc中的数据理论上相同，但需要验证。数据读取import xarray as xrimport matplotlib.pyplot as pltimport pandas as pdimport numpy as npimport osDir = '../MEIC/2015/'file = os.listdir(Dir)indust

2022-04-08 11:32:22 2922 13

原创从GEE中批量导出S5P的图像数据(tif)

需求分析：需要下载s5p数据用于模型的构建，时间范围为1年~2年，空间范围为自定义范围矩阵。提取数据可视化(S5P_L3_NO2_2019_Mean)：一、Methods。gee code平台默认为js处理器，虽然也可以自己构建python环境，但是很累。// 这里的有效范围：2018-06-28T10:24:07Z - 2022-03-19T00:00:00// S5P卫星的上天时间：2017-10-13// 数据原始的分辨率：7x3.5km2// (1)set the boundary

2022-04-01 12:27:49 2040 5

原创处理GEE输出的tif图像

需求分析：S5P的官方数据，极难处理。借助GEE平台，下载其中的数据（tif格式）并处理为通用的nc文件数据：在gee中export的tif文件from osgeo import gdalimport xarray as xrimport matplotlib.pyplot as pltdef tiff2nc(path): data = gdal.Open("temp_file/CHINA_NO2_1Km_201906.tif") im_width = data.RasterX

2022-03-30 19:57:12 4485 2

原创 Xarray(python)读取Sentinel-5P(S5P)哨兵数据

需求分析：NC文件的常规包netcdf4使用手感较xarray略显笨拙，故尝试使用xarray读取包含Group的.nc4文件数据：S5P二级数据：S5P_RPRO_L2__HCHO，来源：欧洲哥白尼，或NASA（推荐，因为好下载）一、使用panoly可视化（1）导入后的界面：（2）选择变量后，点击Create Plot按钮可视化：即可得到HCHO的Plot图以及Array可视化。二、使用python里的工具包读取import osimport xarray as xrimport

2022-03-28 13:02:43 3353 4

原创 Win10开机免UAC自启动锐捷客户端

需求分析：尝试使用To desk进行远程开机，但是电脑开机需要使用锐捷联网来登录被控端To desk，锐捷客户端需要手动UAC：如下图，无法满足要求。全局方法：关闭UAC功能白名单：将特定的程序添加到UAC的白名单中。（1）microsoft回答篇，bilibili社区篇，这两个为一种方法；但是没有成功（2）知乎文章：使用Win10自带的任务计划程序来避免UAC，使用任务计划程序来曲线绕过UAC，目前可行（如果自定义任务路径，则后面需要在添加的快捷方式中额外添加路径）。...

2022-03-19 14:33:48 1098

原创 pip安装成功的包无法import（Cartopy）

使用需求：实验室更换服务器，用于绘图的Cartopy是刚需1、Cartopy的安装apt-get install libgeos-devapt-get install libgeos++-devapt-get install proj-binapt-get install libproj-devpip install cartopy2、import cartopy在确保cartopy已经安装的情况下，依然无法import3、解决我们注意到显示中cartopy包的安装路径为 **

2021-09-28 12:50:39 4995

原创远程访问ubuntu服务器上的Jupyter

使用需求：实验室更换服务器，重新配置1、在服务器段设置配置文件$jupyter notebook --generate-config2、生成Jupyter的密钥留作后用In [1]: from notebook.auth import passwdIn [2]: passwd()Enter password: Verify password: Out[2]: 'sha1:ce23d945972f:34769685a7ccd3d08c84a18c63968a41f1140274'3、生成

2021-09-26 11:54:43 202

原创在Jupyter里按需删除大内存变量并且释放内存

使用情形：项目需要对多个大内存变量进行处理，但是每个大内存变量处理的时候都需要加载一个另外共同的大内存变量。现在处理完一个变量之后，只能重启kernel然后处理另一个变量；但是理论上我们可以删除一个变量的内存并读入下一个变量的内存代替。可以省下读取变量的时间（1）含有变量顺序原始代码// An highlighted block# index是每个变量处理时必须加载的索引print('plot start!', time.strftime('%H:%M:%S', time.localtime(

2021-09-09 10:35:39 13145 3

原创批量从linux服务器中导出数据到本地方法之一: 在Shell命令行中使用循环

使用情形：服务器在跑比较复杂的程序导致cpu占用率高，此时用python复制文件较慢，想到命令行传输文件较快，于是进行尝试。(1) 准备：本地windows存在服务器的映射（2）进入映射磁盘的相应位置，右键在此打开git，输入命令for ((i = 11; i<= 364; i++)); do cp ${i}/${i}_15.npy /g/Jupyter/Picture/input;done注意：（1）循环的基本语法：for i in A B C D; do echo $i; done

2021-09-07 23:37:10 575

原创 random_state参数的神奇: 随机切割、KFold和机器学习

如何画南海图https://oomake.com/question/14193295

2021-06-15 22:23:52 2464 6

原创如何优雅的下载ERA5数据，ERA5 hourly data on pressure levels from 1979 ...

写这篇博客只为三件事，速度！速度！还是速度！研究需要气象数据，之前使用的NASA的MERRA2数据，其特点为文件多，单文件体积小。下载方式一个插件和一个downThenAll就解决了（网站机制问题：需要定期刷新）现如今改战ERA5，sing level的还好说，一个4G左右，用网页端直接下载，慢的时候多点刷新也就完了。最令人智熄的还是其中的RH，一年共330万数据，得分三次、两个账号提交订单，三个设备同时下载才能实现局部最优化。。。等了三个小时候开始下载，尝试使用之前的老套路直接网页下载

2021-05-27 15:06:33 2463 6

原创 CNN处理气象栅格数据1_确定数据集的范围

需求: 尝试将CNN用于气象数据的分析中,因此打算构建一个基于中国边界的格子数据集,格子大小0.01,约为1km.经过一些实践,得到绘制中国地图较优的经纬度范围,[72.5, 136.25, 3, 54.5]他为了减少研究区域,将纬度的下界设置为18, 得到:由于MERRA2数据的分辨率0.5*0.625, 故下载数据时候的边界应为: （72.5, 136.25, 18, 54.5),即初步想法构成一个6376*3651的矩阵.画图用到cartopy库,以及中国的边界文件china.

2021-05-17 15:55:50 1043

原创 Ubuntu 20.04安装Basemap，在经纬度网格上绘制MAIAC MCD19A2

发现ubuntu对图形化的友好程度并没有winows的高。虽然有Basemap的升级版carcopy，但HDF-EOS等社区维护的还是Basemap。pip install --upgrade --user matplotlib numpy pyproj pyshp OWSLib Pillow sudo apt-get update sudo apt install libgeos-dev pip install --user https://github.com/matplotlib/ba

2021-04-27 19:05:46 406

原创 500 : Internal Server Error

Bug出现：在更换生产工具之后，使用conda里的jupyter，能够正常加载目录，但是点击ipynb之后出现：500 : Internal Server Error。解决历程：在网络上搜索这个错误的解决办法，经历了一系列jupyter 的升级、卸载之后没有解决，之后尝试从terminal中所有错误中的第一个错误开始处理。启动jupyter报的错误有：加载插件 jupyter_nbextensions_configurator 失败 Traceback (most recent call

2021-04-17 17:49:10 1524 1

原创有证无车的程序猿如何查询档案编号、添加电子驾驶证（支付宝、微信）

需求介绍作为一个拿了两年驾照的程序员，过年回家想着搞一辆二手的小车练练手，无奈驾驶证没有带回家。为了正规（ps: 之前无证骑踏板车被扣了），预采用电子驾照来确保安全。可行性分析在武汉可以使用电子驾照，在老家：黄冈的某个市则未知，经过测试几个用例：抽样调查询问后发现可行性较大，相较于区交警大队补驾驶证近200元的费用，我决定尝试。申领电子驾照的平台分析（武汉）首选支付宝进入支付宝首页，市民中心——公安交管——交管12123——驾驶证此时虽然我们能够查询到驾驶证的相关信息，但是并不能够将其

2021-01-12 18:12:03 2451 2

code12ab的博客

原创基于GEE中ERA5-Land 小时数据的自定义区域提取

原创 VSCode快捷键为函数添加注释

原创联想拯救者R9000X 2021触控失效，I2C HID缺失或伴随I2C HID黄感叹号

原创 C网络编程Socket中，Code Runner插件无法右键运行。

原创合并GEE导出分割的.tif文件，并对文件进行LZW压缩

原创处理MAIAC MCD19A2 AOD数据

原创 Windows 10安装tensorflow-gpu和keras

原创 keras里predict函数预测速度慢的优化方法