longerVR-CSDN博客

原创深度学习需要做的事情

深度学习网络的训练和优化涉及多个方面，包括网络设计、数据准备、特征提取、调参等。虽然调参是优化模型性能的关键步骤之一，但网络的设计和数据的准备同样重要。综合考虑所有这些因素，才能构建高性能和泛化能力强的深度学习模型。因此，深度学习网络并不仅仅是调参，而是一个涉及多个环节的复杂过程。

2024-04-10 00:45:00 771

ResNet（Residual Network）是由Kaiming He等人在2015年提出的一个深度学习模型架构，它通过引入残差连接（Residual Connection）来解决深度神经网络训练过程中的梯度消失和梯度爆炸问题。ResNet在ImageNet图像识别挑战赛上取得了非常好的成绩，并且被广泛应用于各种计算机视觉任务。ResNet有几个不同版本，如ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152等，它们的主要区别在于网络的深度和参数数量。

2024-04-09 00:30:00 352

原创卷积神经网络-批量归一化

批量归一化是一种非常有效的深度学习技术，能够加速模型训练、增强模型稳定性和允许构建更深的网络。在实际应用中，批量归一化已成为许多深度神经网络架构的标准组件。

2024-04-07 18:15:00 755

原创 GoogleLeNet-含并行连接的网络

GoogleLeNet（Inception v1）是一个创新的深度卷积神经网络模型，它通过引入“Inception模块”和多尺度特征提取的策略，显著提高了模型的参数效率、计算效率和分类准确率。GoogleLeNet的成功不仅证明了深度学习在计算机视觉领域的强大潜力，而且也为后续更深、更复杂的卷积神经网络模型（如Inception v2、Inception v3、Inception v4等）的研究和应用提供了有益的启示。

2024-04-05 01:45:00 623

原创卷积神经网络（CNN）的发展经历了多个阶段和里程碑式的模型

卷积神经网络从LeNet-5到自适应卷积网络，经历了多个重要的发展阶段，形式逐渐丰富和复杂。这些模型不仅在图像分类、物体检。卷积神经网络（CNN）的发展经历了多个阶段和里程碑式的模型。

2024-04-04 11:27:21 768

原创网络中的网络-NiN

NiN是一个创新的深度卷积神经网络模型，它通过引入“网络中的网络”概念和1x1的卷积核设计，显著提高了模型的非线性能力、特征提取能力和参数效率。NiN的成功证明了深度学习在计算机视觉领域的进一步潜力，并为后续更深、更复杂的卷积神经网络模型的研究和应用提供了有益的启示。

2024-04-04 11:05:39 389

原创 VGG网络模型

VGG是一个经典的深度卷积神经网络模型，它的简单统一的网络结构和深度的网络层次使得它在图像分类任务上取得了优秀的性能。虽然VGG模型的参数较多，计算量较大，但它为深度卷积神经网络的发展和应用奠定了坚实的基础。VGG和AlexNet都是在ImageNet大规模视觉识别挑战赛（ILSVRC）中取得突破性成果的深度卷积神经网络模型。VGG和AlexNet都是深度学习在计算机视觉领域的重要里程碑，它们共同推动了深度学习在图像分类、物体检测和物体定位等任务上的快速发展。

2024-04-04 10:21:01 965

原创 AlexNet网络模型

AlexNet 是深度学习历史上的一个重要里程碑，它的成功证明了深度卷积神经网络在计算机视觉任务上的巨大潜力。其后，更深、更复杂的网络架构也在不断出现，但 AlexNet 为深度学习和计算机视觉领域的发展奠定了坚实的基础。ImageNet 是一个大规模视觉识别挑战赛（ILSVRC）的数据集，也是一个计算机视觉领域的重要基准测试集。ImageNet 数据集包含超过一百万张标注图像，涵盖了一千个不同类别的物体。该数据集用于评估和比较各种图像分类、目标检测和物体定位算法的性能。

2024-04-04 08:24:24 710

原创卷积层+多个输入通道

在深度学习中，卷积神经网络（CNN）通常用于处理具有多个输入通道的数据。当输入数据具有多个通道（例如彩色图像的RGB通道）时，卷积操作可以同时在每个通道上进行，并将各通道的结果相加，从而得到单个输出特征图。

2024-04-01 22:01:51 158

原创卷积神经网络-池化层

池化层（Pooling Layer）是深度学习神经网络中的一个重要组成部分，通常用于减少特征图的空间尺寸，从而降低模型复杂度和计算量，同时还能增强模型的不变性和鲁棒性。池化层在CNN中起到了非常重要的作用，可以有效地减少模型的复杂度，提高模型的计算效率，并增强模型对输入数据的不变性和鲁棒性。例如，一个2x2的最大池化层会将每个2x2的方块区域中的4个值中的最大值作为一个单独的值输出到下一层。通过减少特征图的空间尺寸，可以减少模型的参数数量和计算量，从而加速模型的训练和推理过程。

2024-04-01 21:59:33 840

原创卷积神经网络-卷积层

虽然深度学习领域已经涌现出许多新的模型和技术，但多层感知机（MLP）仍然在某些特定的应用和场景中保持其重要地位。选择使用MLP还是其他深度学习模型取决于具体的任务需求、数据类型和应用场景。在实际应用中，人们会根据问题的复杂性和数据的性质来选择最合适的模型。全连接层和卷积层在深度学习中各有其独特的应用和特性。它们可以结合使用，通过卷积层提取特征，然后通过全连接层进行分类或回归，构建有效的深度学习模型。

2024-03-24 21:30:00 1099

原创深度学习

深度学习是一个涵盖了多种神经网络模型、优化算法、正则化技术以及相关工具和库的广泛领域，它在计算机视觉、自然语言处理、强化学习等多个领域都有着广泛的应用。深度学习是机器学习的一个分支，它主要基于人工神经网络，特别是深层神经网络进行学习和训练。

2024-03-24 11:33:58 462

原创 AI+数值稳定性

一些激活函数，如ReLU（Rectified Linear Unit），可以在一定程度上缓解梯度爆炸的问题，因为它们能够将负值梯度置为零，减少了梯度的传播。选择一些不容易出现梯度消失的激活函数，如ReLU、Leaky ReLU、ELU等，这些激活函数在某些区域具有较大的梯度，能够有效地缓解梯度消失的问题。在反向传播过程中，限制梯度的范围，防止其超出一个合理的范围。合适的参数初始化方法，如Xavier初始化或He初始化，可以使得参数的初始值更接近于合理的范围，减少梯度消失的风险。对于负数输入，输出为0。

2024-03-23 12:53:43 829

原创 AI+权重衰退

权重衰退通过向模型的损失函数添加一个正则化项，惩罚模型中较大的权重值，使得模型倾向于学习到更简单的模式，从而提高泛化能力。具体而言，权重衰退通过在损失函数中添加一个项来实现，该项是权重的平方和与一个调整参数的乘积，通常表示为λ∥w∥²，其中w表示模型的权重，λ是一个调整参数，用于控制正则化的强度。总而言之，AI+权重衰退是一种用于减少过拟合风险的常见技术，通过在损失函数中引入正则化项来惩罚模型中较大的权重值，使模型更具有泛化能力。在实际应用中，可以根据数据的特点和模型的需求选择合适的正则化方法。

2024-03-17 18:45:00 789

原创 ai+模型选择+过拟合和欠拟合

验证数据集是用来选择模型超参数的，训练数据集是用来训练模型参数的非大型数据集上通常使用k-折交叉验证。

2024-03-10 21:00:00 673

原创深度学习+感知机

感知机是一个二分类模型，是最早的AI模型之一。它的求解算法等价于使用批量大小为1的梯度下降。它不能拟合 XOR函数，导致的第一次 A寒冬。多层感知机（MLP，Multilayer Perceptron）是一种人工神经网络（ANN，Artificial Neural Network）。它除了输入输出层之外，中间可以有多个隐藏层，其中最简单的多层感知机结构仅包含一个隐藏层，形成三层的网络结构。多层感知机的核心特性在于其层与层之间的全连接性，即每一层的每一个节点都与下一层的每一个节点连接。

2024-03-09 21:45:00 1204

原创深度学习-Softmax 回归 + 损失函数 + 图片分类数据集

交叉熵损失对于分类问题而言，是一种常见且有效的选择，尤其与softmax激活函数结合使用，因为它可以自然地惩罚模型对正确类别的不确定性。它被认为是计算机视觉领域中的 “Hello World”，因为它是一个相对简单但足够复杂的问题，可以用于验证和比较不同模型的性能。这种任务是一个经典的图像分类问题，可以使用各种深度学习模型，如卷积神经网络（CNN），来解决。叉熵损失函数（Cross-Entropy Loss）是在分类问题中常用的损失函数，特别是在深度学习任务中。数据读取速度要比模型训练速度块。

2024-03-03 21:33:45 1331

原创深度学习的一个完整过程通常包括以下几个步骤

这些步骤形成了深度学习项目的一个迭代过程，通常需要不断的调整和改进。在整个过程中，良好的文档记录和实验管理是非常重要的，以便追溯模型的训练历史、超参数的选择等信息。

2024-03-03 16:50:13 766

原创 3.2日-线性模型，基础优化方法，线性回归从零开始实现

梯度下降是一种优化算法，常用于机器学习和深度学习中，用于最小化或最大化函数。在机器学习中，梯度下降通常用于最小化损失函数，以调整模型参数使其更好地拟合训练数据。梯度：函数的梯度是该函数在某一点上的导数，表示函数在该点上的变化率。对于多变量函数，梯度是一个向量，指向函数在该点上变化最快的方向。目标函数：在机器学习中，我们通常有一个目标函数（也称为损失函数），它是模型参数的函数，描述了模型预测与实际观测之间的差距。参数调整：我们希望通过调整模型的参数来最小化目标函数。

2024-03-02 23:45:00 512

原创深度学习介绍

自然语言处理是感知的范围，人几秒内科研感知。2017年就可以做到5%以内。

2024-02-20 23:45:00 404

原创 3-数据操作

数据操作1 N维组样例2 创建数组3 访问元素4 数据操作实现5 数据预处理1 N维组样例2 创建数组3 访问元素4 数据操作实现5 数据预处理

2024-02-20 23:45:00 216

原创真实感渲染的非正式调研与近期热门研究分享

这是最好的时代，最坏的时代

2023-10-29 11:14:39 209

原创实践-CNN卷积层

训练一个网络需要2-3天的时间。用经典网络来，一些细节没有必要去扣。过拟合了，先调数据，再调模型。根据网络结构来写就可以了。

2023-08-14 11:18:47 748 1

原创实践-传统深度学习

TensorFlow：每一步都需要自己做。Keras：做起来更轻松。任务简单化。构建代码中使用起来是不一样的。Caffe适合做图像识别，只有卷积网络，不适合自然语言处理，更新的慢，很多网络没有。TensorFlow：所有的东西亲力亲为。Keras：用起来简单，上手非常快。用TensorFlow当做他执行的一个后端。

2023-08-14 10:20:52 727

原创卷积神经网络CNN

特征提取传统神经网络：参数矩阵很大，训练时间长，怎么样提特征是最好的方法。

2023-08-12 15:39:48 649

原创深度学习基础知识笔记

损失函数是怎么定义的，网络是不会变的，不同的任务损失函数是不一样的。w权重矩阵，是优化来的，什么样的w适合做当前的人物。挑战：照射角度，形状改变，部分遮挡，背景混入。套路：收集数据给定标签，训练分类器，测试评估。移动端-计算量太大，速度慢，卡。损失函数既能做分类又能做回归的。缺点过于强大了，否则过拟合了。参数：成千上百万的。

2023-08-12 09:18:24 563