莫问余年-CSDN博客

原创 IDEA新增SQL提示

如果想IDEA提示对应的表和属性，还需要连接数据库。首先选中注解内SQL语句，右键，选择第一个选项。连接之后如果对于数据库没有表格，可以刷新一下。进入新的窗口，找到MySQL，点击。进入新的窗口，选择最后一个选项。可以发现SQL语句发生改变。输入用户名、密码、数据库。

2023-07-19 20:53:05 621 2

原创 Token裁剪总结

ViT在token稀疏化的工作

2022-09-28 15:30:34 1650 1

原创 DynamicViT论文概要

DynamicViT: Efficient Vision Transformers withDynamic Token Sparsification

2022-07-17 16:58:10 577

原创 DeepViT论文笔记

DeepViT: Towards Deeper Vision Transformer

2022-06-01 22:53:40 534

原创 DOTS: Decoupling Operation and Topology in Differentiable Architecture Search 论文阅读笔记

这是一篇CVPR2021的关于NAS的论文，对DARTS进一步改进

2022-04-05 11:33:12 854

原创 HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens论文笔记

这是一篇CVPR2021年关于网络架构搜索的论文，比较创新的点是按照块的重要程度来进行架构搜索，实现了效率的提升并且硬件友好。作者通过观察残差网络，发现一个神经网络之中只有少部分块结构是非常重要的，如下图，如果把神经网络的输入到输出的所有路径都统计出来，发现只有少数块是出现在所有路径中的（例如第一层、最后的全连接层、下采样块和通道扩张块，其他块总会找到替代路径，所以相对来说并没有那么重要。更具体的，作者在MnasNet和MobileNetV2上分别固定所有层而对一层的通道使用掩码以（0.3，0.

2022-04-04 21:48:42 1019

原创 Gradients without Backpropagation论文概要

目前深度学习主要使用反向传播来计算优化目标函数的梯度，使用的自动微分算法主要为反向模式，本文作者从自动微分算法的正向模式入手，力求得到比反向传播运行速度更快的前向传播模式。首先，作者分别介绍了正向模式：和反向模式：其中θ为输入，为θ在函数f(θ)上所有偏导数组成的雅克比矩阵，v为扰动向量。正向模式的特点是只需要对一个函数进行一次正向评估（即没有用到任何反向传播），计算成本明显降低，作者从正向模式出发，定义使用正向模式微分的梯度下降算法，梯度公式如下：其中但由于正向模式的特点，需要...

2022-03-24 21:40:36 1113 2

原创 GOLD-NAS论文概要

针对问题：（1）DARTS搜索空间的高限制性：所有normal cell共享架构、每个节点固定接收两个输入、每条边仅保留一个操作等，这些限制虽然增加了NAS的稳定性，但是也限制了其准确性。（2）DARTS使用二阶段优化，这种方法带来计算负担，同时梯度估计中的不准确性会严重影响搜索过程。（3）DARTS在优化超网后会立即对权重低的操作边进行剪枝，可能会产生离散化错误，尤其是当被修剪的操作边权重不能保证很小的时候。解决办法：（1）扩大搜索空间，减少启发式限制：所有cell可以有不同的架构、每条边可以包

2022-03-05 19:42:53 585

原创 PC-DARTS论文概要

核心思想：在每个步骤中随机采样所有通道中的一个子集，而不是将所有通道都发送到操作选择块中，将被选中子集视为所有通道的一个代理近似。优点：显著减小计算和存储花费，增大批次大小，减少选择操作时的偏差，增强模型稳定性，正则化低参操作（跳跃连接，池化）和高参操作（各式卷积），避免陷入局部最优。缺点：DARTS使用通道选择操作，在进行随机通道采样时，不同迭代次数采样到的通道不尽相同，导致操作选择的不稳定，进而影响模型的稳定性。解决办法：边标准化，在已有架构参数α的基础上引入参数β（训练过程中贡共享，对架构搜索

2022-03-05 16:44:36 480

原创 P-DARTS论文概要

针对问题：（1）DARTS在CIFAR10上实验时，直接将搜索到的8个cell的网络扩充到二十个cell，normal cell和reduction cell结构保持不变，无法保证该网络结构效果会更好。（2）在进行架构搜索时由于跳跃连接梯度下降快，使得优化架构参数时其分配的权重较大，最后搜索到的结构往往包含大量的跳跃连接，导致模型不稳定。解决方法：（1）采用渐近搜索策略，逐步延长网络的深度：针对增加深度对GPU内存的负担，对操作进行删减：（2）...

2022-03-05 15:19:56 316

原创 Pytorch实现简单的卷积神经网络

近期开始学习Pytorch，在这里小小记录下。由于是实现卷积神经网络，所以数据集统一使用CIFAR10。首先，搭建最简单的卷积神经网络：class Model(nn.Module): def __init__(self) : super().__init__() # 序列化 self.model1=Sequential( # 卷积层，参数依次为输入通道数、输出通道数、卷积核大小、填补大小 nn.Co

2022-02-24 19:55:09 2003

原创 LSP（实时肖像演讲）算法

这几天闲着无聊，偶然刷到大佬JackCui的视频，里面介绍了一个LSP算法（此LSP非彼lsp），主要功能是根据声音驱动人的头像讲话，满足实时性要求，处于对知识的好奇，自己捣鼓了下，顺便记录下，希望能帮到想要尝试却没有基础的兄弟们。首先到github上搜索LiveSpeechPortraits下载算法代码（登不上的可以私我要代码），然后还需要下载作者训练好的数据，这个可以关注JackCui的公众号回复lsp获取，然后将下载到的数据复制到代码的data文件夹下，再根据requirements.txt下载相关

2021-12-29 11:52:37 2654 10

原创 Python tkinter+turtle制作表白神器

值此圣诞元旦即将来临之际，想着编一个表白的代码，虽然自己现在用不上，但说不定能助人为乐呢。主要是使用python的tkinter库和turtle库，实现效果如下：初始效果：点击关闭窗口：点击不要按钮：点击好啊按钮：代码如下：import sysimport tkinterfrom tkinter import messageboxfrom turtle import *import timeimport randomclass Test: tok = tkinter.T

2021-12-23 12:12:01 1124

原创 Python可视化之词云

话不多说，直接上干货。import jiebafrom wordcloud import WordCloudimport matplotlib.pyplot as pltimport numpy as npfrom PIL import Imagedata=[]#存储原始数据stopword={}#停用词words={}#存储词汇：词频对

2021-11-22 15:37:26 1002

原创 python地图可视化

python地图类型可视化最近在做大数据方面的作业，对于大数据环境方面的安装和配置可以查看我的收藏->大数据里面查看，如果需要相关压缩包可以私信。今天主要将可视化部分，使用python的pyecharts包，这个包怎么说呢，就是很全面，可以做格式各类的图，而且调用简单，基本上几行代码就可以画出一个样图，另外它还有中文说明文档，可以说是极度友好了。pyecharts中文首页拿项目中一个数据库查询的结果举个栗子，这个表包含全国各个城市招聘计算机相关职业的数量，用txt保存。from pyechar

2021-11-09 16:55:30 6630

原创 py2neo连接Neo4j

最近在了解知识图谱领域，准备进行实战写项目的时候，遇到一些问题，在此记录一下。运行环境：Neo4j数据库，python语言，py2neo库由于以上三者之间存在版本对应关系，但是网上并没有搜索到比较明确的对应情况，所以在不断尝试三者之间的关系时笔者犯过包含但不限于以下错误：1、IndexError: pop from an empty deque2、OverflowError: mktime argument out of range3、ConnectionRefusedError: [WinErr

2021-09-09 19:28:10 2088

weixin_44373865的博客