liuzhengjun3036-CSDN博客

转载神经网络训练细节与注意点

zhai'lu神经网络训练细节与注意点 - 良有以也训练需要注意的细节和注意点大概有以下几个方面：梯度检查合理性（Sanity）检查检查学习过程损失函数训练集与验证集准确率权重：更新比例每层的激活数据与梯度分布可视化参数更新一阶（随机梯度下降）方法，动量方法，Nesterov动量方法学习率退火二阶方法逐参数适应学习率方法（Adagrad，RMSProp）超参数调优评价模型集成总结拓展引用1. 梯度检.

2021-12-14 09:32:53 344

原创梳理“自监督算法”（一）

摘录以下文章：自监督学习 | (1) Self-supervised Learning入门_sdu_hao的博客-CSDN博客_自监督学习自监督学习 | (2) 一文读懂 Self-Supervised Learning_sdu_hao的博客-CSDN博客【自监督学习】Self-supervised Learning 再次入门自监督学习(Self-supervised Learning)的深刻理解_刘望的博客-CSDN博客自监督学习（Self-Supervised Learning） 201

2021-10-25 11:33:15 1964

原创 C++/QT知识点积累（一）：与网络通信相关

计算机网络--子网掩码、ip地址、mac地址、网关 https://blog.csdn.net/weixin_43803070/article/details/90370460（1）IP地址用于标识网络中每台设备的标识。IPV4 ：用32位表示；IPV6：用128位表示。IP地址=网络地址+主机地址，比如 192.168.40.1 。IP地址由两部分组成，分别是：网络标识（绿色字体）和主机标识（蓝色字体）。同一网段内的计算机网络部分相同，主机部分不同同时重复出现。I...

2021-10-21 16:33:36 920

原创梳理《Leveraging the Feature Distributionin Transfer-based Few-Shot Learning》

论文下载路径：https://arxiv.org/abs/2006.03806代码下载路径：https://github.com/yhu01/PT-MAP摘要：由于使用少量有标签样本导致不确定，使得小样本分类成为挑战难题。在过去几年里，提出了许多方法解决小样本分类，其中基于迁移方法被证实是性能最好的。沿着该脉络，本文针对两点提出新的迁移方法：1）预处理特征向量以至于它们更接近“类高斯分布”；2）借助预处理，使用最优化迁移思想的算法（直推（transdutive）情况下）。使用标准视觉基准，证实了..

2021-09-15 08:23:27 1077 1

原创理解《Charting the Right Manifold: Manifold Mixup for Few-shot Learning》

摘要：小样本学习算法目标是学习模型参数，使其能够适应于少量有标签的未见类样本分类。最近，正则化方法——流形混合算法（Manifold Mixup），集中于学习广泛的表示，以适应数据分布的小变化；另一方面，自监督学习是仅利用数据内在结构学习语义特征。针对小样本任务，本文利用自监督和正则化技术，研究学习相关特征流形。注释：流形混合算法（Manifold Mixup）作用是使网络对输入数据进行变换/嵌入后，更加平滑和均匀，从而使得系统的泛化性能得到改善。小样本学习的前提是训练样本集有大量样本，目标是解.

2021-09-12 15:28:48 1750

转载样本统计梳理

1.最大后验概率估计（MAP）概率是已知模型和参数（生成数据的过程），推数据（结果）。统计是已知数据（结果），推模型和参数（生成数据的过程）。1.1 贝叶斯理论(Bayes’ Theorem)贝叶斯统计：参数是未知且不确定，作为随机变量，参数本身也是一个分布，同时，根据已有的信息可以得到参数θ的先验概率，根据先验概率来推断θ的后验概率。贝叶斯如下式：贝叶斯公式就是在描述，你有多大把握能相信一件证据；做判断的时候，要考虑所有的因素1.2 似然函数(likelihood fu...

2021-09-02 11:19:05 467

Statistical Shape Analysis

Statistical Shape Analysis By I. L. Dryden, Kanti V. Mardia Book Description: Statistical Shape Analysis involves methods for the geometrical study of random objects where location, rotation and scale information can be removed. The book lays the foundations of the subject discussing key ideas and the very latest developments, as well as offering practical guidance and comparisons of techniques. There is a vast range of applications of shape analysis and the authors introduce the field to statisticians and applied researchers through important examples and data analysis in Biology, Medicine and Image Analysis. The text primarily concentrates on landmark data key points of correspondence located on each object. Careful consideration of the similarity invariances requires methods appropriate for non-Euclidean data analysis. In particular, multivariate statistical procedures cannot be applied directly, but can be adapted in certain instances. The book begins with introductory material on shape, size and coordinate systems. Planar Procrustes analysis is then discussed to highlight the main components of shape analysis. The shape space and general Procrustes methods are introduced, probability distributions for shape are described and statistical inference is discussed. Some deformation methods for shape change are also given and a special chapter is devoted to shape in image analysis. Finally, various alternative procedures including landmark-free methods are critically discussed and compared. Definitions and important results are highlighted throughout to assist the reader in learning about this new, exciting and important area.

2011-04-02

Applied Stochastic Control of Jump Diffusions

描写Jump Diffusions过程的经典文章，共分12章节，对Jump Diffusions及其应用进行系统的解释

2009-11-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

转载 神经网络训练细节与注意点

原创 梳理“自监督算法”（一）