- 博客(40)
- 收藏
- 关注
原创 CM1模式笔记(科研数值模拟向)
代码下载网址:https://www2.mmm.ucar.edu/people/bryan/cm1/提交脚本#!/bin/tcsh## Example submission script for CM1 (using MPI) on NCAR's cheyenne## note:# In namelist.input, "nodex * nodey" must equal "select * ncpus"# For the example below, the namelist.
2021-03-19 22:20:57 1503 2
原创 雷达回波&视频预测核心问题及关键技术纪要
主流模型一览这篇文章对主流时空预测模型做了总结,我在提炼浓缩一下,predrnn的改进是结构上到下以及下到上的连接,实际上Trijgru里shi就提到过这个他的encode-forcast结构是顶层指导底层,这个和yunbowang的结构其实不太一样。predrnn++里用ghu解决梯度的问题,mim里作者发现foreget门只记住了平稳的线性信息,e3d是rnn和c3d的结合并且在内部有个attention机制,他后续打算ProphetNet嫁接到Gru上来。gan外推方法这篇当然是最早的一批文章
2021-01-13 23:01:12 1317 2
原创 深入提升python计算性能笔记小结-不定时更新
本笔记使用方大佬的降水计算指标,链接如下降水各类常用指标csdn地址向量化计算使用np的向量化函数将一次只能返回单个标量的函数,向量化成能接受定制shape数组且可以指定类型的返回。首先观察函数如:def HSS_one_threshold(obs, pre, threshold=0.1): ''' HSS - Heidke skill score Args: obs (numpy.ndarray): observations pre (numpy.
2020-10-10 20:43:07 364
原创 华为云杯-粤港澳大湾区强降水临近预测比赛小结
比赛背景根据近年的雷达回波格点数据共同建立的标准雷达数据集为基础划分了训练集和测试集,希望参赛者综合运用计算机视觉、机器学习、深度学习等技术,实现根据过去2个小时内的雷达回波图像数据预测未来2小时的雷达回波图像变化,并提交未来30分钟、60分钟、90分钟和120分钟的雷达回波 图像数据。团队rank:25 遗憾止步决赛比赛官网地址baseline github地址竞赛主页赛题分析本次比赛跟18年的全球气象AI挑战赛性质类似,都是预测未来的雷达回波图像,但本次比赛挑战时间更长的序列图,难度
2020-06-27 16:10:50 1294 6
原创 大论文后续思路架构
站点角度极端降水:Qiu, W. Y., F. M. Ren, L. G. Wu, L. S. Chen, and C. C. Ding, 2018: Characteristics of Tropical Cyclone Extreme Precipitation and its Preliminary Causes in China’s 525 Southeast Coast. Meteorology and Atmospheric Physics, 131(3), 613-626结论:海南岛近几
2021-10-15 16:57:56 208 2
原创 如何从无到有
如何从众多从来没有接触的文献中编一个合理的故事(科研)今天,先来几篇看看先请上本人的‘跪求毕业’代码虽然我不懂,但我就硬写这个是计算登录tc和衰减系数tao的import syssys.path.append('/media/workdir/hujh/precipation')import globimport osimport pandas as pdimport pickleimport numpy as npimport xarray as xrimport numpy as
2021-04-18 23:04:58 275 2
原创 深入理解光流法外推雷达回波
背景介绍鉴于本人实在太过疲惫和劳累,一些简单的便于理解的废话就不在记录,耗费两天时间研究了一下光流法,本帖用于记录学习过程中源码的难点细节。使用光流预测的核心有两个利用多张连续回波图像(变分)或者相邻两张回波图(交叉相关,LK等)计算出光流场(速度矢量场),之后利用半拉格朗日方法进行外推。半拉格朗日方法三时间步半拉格朗日方法,其核心公式如下但这个有点难理解,但看一维的图就很好理解它的核心就是迭代求Am(位移矢量),如果理解困难的话,其实质上就是通过未来迭代(猜)出当前时刻的Am找到过去的假设
2020-12-08 19:19:01 4169 1
原创 傅里叶变换和小波的一些笔记
一图搞懂傅里叶变换实验首先用这张图import cv2 as cvimport numpy as npfrom matplotlib import pyplot as pltimg = cv.imread('../input/ffttest/fftpic.png',0)f = np.fft.fft2(img)fshift = np.fft.fftshift(f)magnitude_spectrum = 20*np.log(np.abs(fshift))plt.subplot(12
2020-12-04 11:23:19 466
原创 暴雨笔记
暴雨笔记暴雨暴雨40年改革开放综述总结暴雨定义:暴雨日和大暴雨日定义为 20 时至次日 20 时日累计降水量分别高于 50 和 100 mm。定义2:暴雨(英文名称 torrential rain;rainstorm;storm )是指降水强度很大的雨,常在积雨云中形成。中国气象上规定,每小时降雨量16毫米以上、或连续12小时降雨量30毫米以上、24小时降水量为50毫米或以上的雨称为“暴雨”(中国气象局)暴雨40年改革开放综述总结研究意义暴雨属于极端降水带来的危害受东亚季风影响。
2020-10-15 22:43:20 568 1
原创 优化30
对偶和共轭函数拉格朗日对偶问题分三步求解对偶问题针对一个标准的线性规划问题对偶函数将负无穷的情况丢弃,因为显然弱对偶性质对偶问题的可行域是m+n维的实数域对偶问题一定是一个凸优化问题与之对应的就是两个最优值相等,那么就是强对偶两个值的差是对偶间隙强对偶条件证明线性规划有可行解那么,满足强对偶最小二乘...
2020-05-27 21:16:55 132
原创 优化29
终于等到你-拉格朗日对偶这个就是固定x然后只是lambda和v的函数对偶函数必然是凹函数必然是原问题的下确界证明这个公式非常直观的给出证明很好理解不在过多阐释所以就可极大化这个下界去逼近p*,这就是很多机器学习书中svm里一上来就求解对偶问题的来源简单明了的例子线性规划...
2020-05-10 00:23:36 107
原创 地球流体力学(4)
凯尔文定理应用收缩加速这个很好理解,没什么多说的3.倾斜气旋向南行加强,很直观就不废话了,如图rossby波动由凯尔文定理直接导出涡度方程使用动量方程带入化简条件化简成涡度方程用浅水方程第三项化简带入简单推到就能得到位涡守恒,不是很复杂开尔文定理假定质量守恒pv守恒...
2020-04-26 11:48:54 472
原创 优化25
线性规划(再回首)加入松弛变量标准形式的线性规划有点意思右边同样的找到一个可行解,使其值相等左边同上例子线性分式函数转化为线性规划问题完了思想抛锚一分钟后面全都听不懂了。。。。。太真实了二次规划QCQP问题比较复杂例子:带噪声的测量系统: b = ax + e即:最小二乘核心问题:最小二乘分别是无约束和带约束的二次优化...
2020-04-25 17:07:49 176
原创 地球流体力学(3)
1.5层模型海洋中上层加热,上层密度小理因稳定,但温跃层的活动破坏这种稳定内外梯度抵消,约化重力比上界面小两个数量级,所以内部变化会大很多(坡度)上层的控制方程守恒定律算子势能,动能,总能量区域无外部汇源情况下的守恒公式APE意思就是多于平均的势能(下限)的可以转换成动能伯努利方程这个是拉格朗日观点下的守恒,其实都是废话...
2020-04-22 11:53:39 1580
原创 优化21-24+hmm后续+数值初探
凸优化问题标准形式以及条件23-24局部最优解=全局最优解证明:无约束无约束问题换言之就是它的约束条件下的最优解的梯度方向垂直于化零空间即ax=0这条线非负象限的极小化线性规划问题图解线性规划补充笔记HMMimport numpy as npclass HMM(object): def __init__(self, N, M, pi=Non...
2020-04-18 23:50:52 279
原创 高等(个锤子)天气学笔记(2)
忽略摩擦项得到水平运动方程准地转运动方程热力学方程准地转涡度方程涡度项与散度项差一个量级绝对涡度伸长机制辐合垂直速度加强,气旋加强,一般气旋尺度大不会很强位势倾向方程拉伸项的物理意义...
2020-04-16 09:48:50 565
原创 高等天气学笔记+地球流体力学(1)
准地转理论 准地转模式缺陷-----》天气尺度大气场满足,中小尺度不ok准地转模式为原始方程简化准地转主要适用于中高纬以及天气尺度若要用于热带需要行星尺度准地转平衡条件:水平于垂直满足条件平衡-破坏-平衡rossby数定义地球流体力学(引言)...
2020-04-15 15:15:29 411
原创 优化+GAN/VAE+HMM4
优化(13课)GAN+VAE老师讲的行云流水,如果没有这个系列视频我肯定早就跑路了,按照我个人的水平其实离搞机器学习还差了十万八千里正是这个这个白板系列还让我有坚持下去的兴趣。生成模型综述:gan:vae:...
2020-03-30 00:25:54 289
原创 nvidia+cuda+cudnn安装
NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.看到上面这个该死的语句不知道怎么回事真是日了狗,本来程序跑的好好的,学长后台有个compize的进程占满cpu后...
2020-03-22 15:08:33 665
原创 支持向量机学习笔记
1.支持向量机最简单的情况是线性可分支持向量机,或硬间隔支持向量机。构建它的条件是训练数据线性可分。其学习策略是最大间隔法。可以表示为凸二次规划问题,其原始最优化问题为s.t.yi(w⋅xi+b)−1⩾0,i=1,2,⋯ ,Ns.t. \quad y_{i}\left(w \cdot x_{i}+b\right)-1 \geqslant 0, \quad i=1,2, \cdots, Ns.t....
2020-03-16 02:23:29 156 1
原创 使用DL模型预测台风/雷达回波/降水的datasets构建学习笔记
基于pytorch的台风降水datasets类构建学习笔记dl模型花里胡哨一堆,但跑了这么多模型才发现特征工程的重要性,处理好气象数据对于结果还是非常重要的。在处理气象时空序列问题常采用滑动窗口的方法来从时序数据中切出数据集。基本的台风数据集构建这也是我入门时接触的一种基于pytorch定制基于台风序列数据的datasets类。下面方法来自追风比赛上的baseline模型首先这个大...
2020-03-15 05:48:49 2651 4
原创 决策树的学习与总结
决策树的概念废话不多说,决策树的三个问题分别是,特征选择,生成和剪枝问题。特征选择选择某个特征之后划分样本集会带来信息增益,会使得确定类别的不确定性下降。g(D, A)=H(D)-H(D|A)信息熵计算公式:H(D)=−∑k=1K∣Ck∣∣D∣log2∣Ck∣∣D∣H(D)=-\sum_{k=1}^{K} \frac{\left|C_{k}\right|}{|D|} \log _{...
2020-02-27 21:23:42 312 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人