- 博客(68)
- 收藏
- 关注
RSS订阅原创 KAN: Kolmogorov-Arnold Networks 随想
众所周知，MLP是很多复杂神经网络的基础单元，你没有和复杂网络进行嵌套进行测试，同时KAN的源代码在cpu上的效率比GPU上要更好，没有针对GPU进行优化且小参数量下显存异常大。这是一篇类似于读后感的笔记，强烈的表达了我自己的bias，而不是对于文章内容的客观解读。接连两天从不同的大V公众号上刷到KAN即将替代MLP的推送，将KAN吹的天花乱转，但如果点开知乎就会对KAN的工作有全新的认识【doge。KAN和MLP的不同在于，KAN对于每一个node的激活函数是可以学习的，也就是可以表示不同的函数。
2024-05-05 14:16:43
515
原创 如何理解Fourier Neural Operator (FNO)
2022年Nvidia发表在arXiv上的的FourcastNet作为几乎是最早的一篇气象大模型的工作（之前Google Research的MetNet主要还是对于降水的预报）。除了Transformer的backbone之外，使用到了2021年发表在ICLR上的Fourier Neural Operator。为了更好的理解模型的理论基础，可以详细学习一下以及他的前期工作GNOFNO作者对这两篇文章的解析blog。
2024-04-11 21:07:28
1146
原创 气象基础模型/气象大模型论文速递
近两年气象基础模型和大模型的文章日益增多，不同的模型针对短-中-长期的预报也各不相同，因此在这里将读过的相关论文进行整理，方便后期查找和整理，以及模型性能的比较。
2024-04-08 15:33:17
203
原创 Neural general circulation models
与其他的气象大模型不同的是，其他的气象大模型例如Pangu-Weather，ClimaX，GraphCast等都是典型data-driven模型，而Neural GCM通过保留动力框架中的物理方程，而在单柱里使用NN替换物理参数化方案，并且在encoder decoder中加入NN来平滑输入输出变量，达到可以在年际尺度稳定运行的效果（同时在短期和中期预报中也有很好的效果）。在动力框架和物理参数化方案部分输入不完全相同的变量，使模型具有更好的可解释性和物理意义。
2024-04-08 15:24:42
905
原创 VSCode无法连接远程服务器的两种解决方法
直接在terminal或cmd中使用ssh命令可以连接服务器，但是在vscode中存在报错，最后一行为。目前VSCode更新至1.86，和服务器上的版本可能不兼容（但目前感觉不影响使用？若解决方式1无效，可以在vscode中打开命令面板。一直要求Retry或者重新输入密码。以及服务器IP即可。
2024-02-14 16:38:55
6624
4
原创 如何理解图卷积网络GCN
可以调用中的GCNConv进行实现。if bias:else:# 1.消息传递# 1.对所有节点进行新的空间映射# 2.添加偏置= None:# 3.返回source、target信息，对应边的起点和终点# 4.获得度矩阵# 5.度矩阵归一化# 6.计算sqrt(deg(i)) * sqrt(deg(j))# 7.返回所有边的映射# 8.计算归一化后的节点特征return x_j# 2.消息聚合# 1.返回source、target信息，对应边的起点和终点。
2024-01-02 10:56:57
902
原创 深度学习中Batch/Layer/Instance/Group normalization方法
图片中，N是batch size， c是channel。
2023-12-31 16:23:04
403
原创 使用CDSAPI下载ERA5数据设置grid分辨率
使用ERA5官方网站生成python脚本进行数据下载时，不能设置下载分辨率大小。在默认情况下，使用原始网格分辨率0.25*0.25。如果要改变网格分辨率，可以在请求中添加。其中，res为目标分辨率。值得注意的是，制定网格分辨率的值必须是原始网格分辨率的倍数。
2023-12-31 10:53:00
540
原创 torch_geometric 使用 batch
torch.geometric的batch不支持CNN中广泛使用的batch维度。CNN中使用batch的数据具有。基于torch.geometric的data具有node和edge的特征，其中node的维度表示为。中起始点和终点的index都必须小于nodes的个数（因为默认从0开始）将数据转换成Batch格式，或者手动将node concate成。与GCNConv, SAGEConv不同的是，当使用。，edge_index concate成。，edge的维度表示为。
2023-12-11 21:30:23
854
原创 Linux CUDA11.6 Python3.8 安装pytorch-geometric
Pytorch-gemetric适配 python3.8-3.11版本。
2023-12-06 11:24:39
498
原创 loss.detach().item(), loss.detach(), loss.item()的区别，以及requires_grad=True/False区别
最近的程序总会在运行了几个epoch之后CUDA out of memory，除了常见的几种解决方法以外，还有一种是在train loss合并的时候，没有选择detach，或者item，导致反向梯度在合并的时候进行了累计。
2023-11-10 11:18:27
622
原创 使用PIL打开tif图进行resize，PIL image.resize image has wrong mode
原因是因为tif image存储精度是unit16，使用。将数据格式转换为uint8后可以正常使用。
2023-09-06 19:35:19
300
原创 USSOCOM Urban3D 数据集读取与处理
Urban3D数据集图像为正摄RGB影像，分辨率为50cm。从每一块.tif大小为2048*2048。
2023-08-29 21:02:25
1076
原创 报错CUDA error: no kernel image is available for execution on the device
在这种情况下默认安装的是CPU版本的pytorch，因此如果使用GPU运行会出现CUDA版本不匹配的问题，即CUDA error: no kernel image is available for execution on the device。中给出了不同版本的pytorch对应的torchvision、torch audio和CUDA版本，十分实用。在安装pytorch的时候，如果服务器上有GPU，不能直接使用。的安装命令，如果需要安装GPU版本的pytorch，可以使用。
2023-06-18 18:44:22
1377
原创 在markdown中进行文内跳转
如果在markdown中想进行文内超链接（不是标题、目录超链接），可以用到HTML语法定义锚点。在想要进行超链接的原内容附近加入。在需要加入超链接的部分使用。id为给原内容起的名称。
2023-05-25 16:07:49
1237
原创 open3D depth image注意事项
如下代码提供转换方法。（注，PIL的Image不能很好的处理uint16格式数据，尝试了几次似乎都是当成int32处理，因此存储新图像的时候需要使用cv2中的函数。的时候，需要用到color image和对应的depth map。在open3d中默认的depth map是mm为单位，且需要使用uint16作为格式。Open3D中在使用。
2023-05-18 20:06:13
185
原创 Apple M1 python安装open3d
因为一开始在linux上安装open3d的时候python3.9发现有package不兼容，因此选择安装在python3.7版本上。但是python3.7和Apple M1芯片貌似不兼容。安装的版本是open3d-python 0.3.0.0,可能是版本和芯片不兼容。先说结论，Apple M1 安装python3.8+open3d 15.0.1。，安装的是open3d 0.17.0版本。但是在尝试代码的时候出现报错。因此选择python3.8的anaconda环境。，就可以正常运行了。
2023-05-17 21:15:37
716
原创 torch.inverse报错及其解决办法
网上也查不到相应的解决方法，也不是GPU显存不够出现的问题，因此选择使用cpu进行计算，然后再放到cuda上。原因是少安装了libnvJitLink.so.12这个库，在安装完之后依旧出现报错。
2023-05-15 17:13:45
3103
2
原创 DepthTransfer: Depth Extraction from Video Using Non-parameteric Sampling
如果是逐帧预测的话，可能会忽略视频原本的时间连续和时间依赖，因此对于video的energy function，作者加入了Ec: temporal coherence, Em: motion cues，系数分别是100和5。不同于其他主流方法以及深度学习方法，本文提出的方法并没有一个特定的模型完成深度估计，而是通过把已有的dataset标签数据与给定的待预测样本进行对应，并将深度信息进行迁移。与深度学习黑盒模型不同的是，这篇文章所用的方法是通过相似图片的匹配以及其深度图的迁移来计算待预测图像的深度图。
2023-05-04 11:45:31
70
原创 Deep3D: Fully automatic 2D-to-3D video conversion with deep convolutional neural networks
网络中间部分输出了left view 和 right view的视差图 (disparity map)，but this is only used for minimizing the MAE between the predicted right view and the ground truth. Therefore, the “disparity map” is not “real” and “accurate”.我猜测可能还因为是拍摄角度的转变以及有效信息占比的减少（多输入数据的干扰）。
2023-05-03 12:33:45
281
原创 Unsupervised Monocular Depth Estimation with Left-Right Consistency
这篇文章一共combine了3个loss function，具体可见。
2023-04-27 20:38:24
51
原创 KITTI数据集wget下载operation timed out
这个命令只对当前终端窗口有效。如果想要永久保存则直接在 .bashrc 或者 .zshrc 添加上述两行命令并且。在拥有🪜的情况下，在终端wget。依然存在同样的错误。
2023-04-24 11:23:38
312
原创 ScanNet数据集下载 ConnectionResetError: [Errno 104] Connection reset by peer
如果直接python运行整个脚本很容易导致ConnectionResetError: [Errno 104] Connection reset by peer, 因此可以使用以下运行命令每次进行一个filetype的下载。出现 ConnectionResetError: [Errno 104] Connection reset by peer 解决方式。整套数据集共1.2TB，如果不想全部下载的话可以使用以下命令下载约5.6G的采样数据。
2023-02-24 15:06:32
725
原创 EfficientNetV2
与EfficientNet相比，EfficientNetV2有以下区别：+ 在浅层网络中大量运用了`MBConv`和新加入的`fused-MBConv`+ 使用了较小的expansion ratio，可以达到较小的内存访问开销+ 偏向于`kernel3x3`，但这需要增加层数来弥补小kernel感受野的不足+ 移除了last stride-1 stage，但是这是由于NAS搜索出来的，所以是作者的猜测可能是在参数量和访存开销的优化。
2023-02-23 16:14:42
304
原创 Xception
depthwise convolution的一个卷积核只负责一个通道，输入与输出的通道数相同，无法扩展featuremap，没有有效利用不同通道在相同空间位置上的feature信息，因此需要pointwise covolution将feature map进行有效组合。由于inception V2采用的是先pooling再inception的结构，会造成表达的瓶颈问题，即特征图的大小不能急剧缩减，只经过一层就骤降，会丢失大量信息，对模型训练造成困难。的参数，因此使用深度可分离卷积能有效减少参数的个数。
2023-02-08 15:41:03
395
原创 HRNet
在语义分割的时候需要得到一个高分辨率的heatmap进行关键点的检测。获取高分辨率的方式一般是采用先降分辨率再升分辨率的方法，例如U-Net，SegNet，DeconvNet，Hourglass。这些网络的一个特点是将不同的分辨率进行串联。与上述Net不同的是，HRNet并联了不同分辨率，并添加不同分辨率之间的交互。
2023-02-02 21:44:55
375
原创 tmux快捷指令
会话的一个重要特点是，窗口与其中启动的进程是的。打开窗口，会话开始；关闭窗口，会话结束，会话内部的进程也会随之终止，不管有没有运行完。为了解决这个问题，会话与窗口可以"解绑"：窗口关闭时，会话并不终止，而是继续运行，等到以后需要的时候，再让会话"绑定"其他窗口。
2023-01-29 12:33:58
2307
原创 Tiff图像的前处理，median blur filter 及 linear stretch
从Google Earth Engine上下载的sentinel-1遥感影像(float32)。对于SAR影像在使用前可以做如下前处理：1. 去除SAR噪点2. 替换百分位2%以下及百分位98%以上的点3. linear stretch 将sentinel-1的值域转化为0-255
2022-12-22 18:59:52
431
原创 DeepLabv3+ 中Dilation ASPP 以及Decoder模块
ASPP模块主要包含以下几个部分： （1） 一个1×1卷积层，以及三个3x3的空洞卷积，对于output_stride=16，其rate为(6, 12, 18) ，若output_stride=8，rate加倍（这些卷积层的输出channel数均为256，并且含有BN层）；（3）将（1）和（2）得到的4个不同尺度的特征在channel维度concat在一起，然后送入1x1的卷积进行融合并得到256-channel的新特征。
2022-12-22 13:18:45
955
原创 ResNet-50/101/152
与ResNet18 和 34不一样的是，50，101和152使用了bottleneck结构而不是basic block。在bottleneck中，对channel进行了缩放。，在这篇文章中，BTNK1对应代码中 bottleneck。的情况，BTNK2对应。
2022-12-19 18:55:31
2131
原创 求取批量图片的均值和方差
在训练神经网络的时候，需要对输入的图片进行归一化操作。对于单通道灰度图可以进行采样并求取采样图片的均值和方差。假设训练所用的图片名都存在figure_file.txt中。
2022-12-15 11:20:45
762
原创 torch.nn.CrossEntropyLoss报错及解决
不然softmax无法计算，及model的output channel = class number。假设传入torch.nn.CrossEntropyLoss的参数为。根据官网文档，如果直接使用class进行分类，pred的维度应该是。注意在网络输出的channel中加入。，label的维度应该是。
2022-12-14 12:56:04
10854
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人