- 博客(21)
- 收藏
- 关注
RSS订阅原创 Transformer系列 _13 Vision Transformer笔记2021-06-30
vision transformer(ViT)Split Image into PatchesVectorization这里的Dense就是全连接层论文中不用position encoding会下降三个点，不同的编码方式区别不大，无论怎么样交换 不会改变transformer的输出，如果没有position encodeing，这两幅图在transformer眼里是一样的，但显然不合理，所以需要将位置信息加入有用的是c0向量...
2021-06-30 15:45:27
139
原创 Transformer系列 _12 BERT(预训练transformer模型) 笔记2021-06-30
Bidirectional Encoder Representations from Transformers (BERT)BERT主要想法Task 1:Predict Masked WordsUm 包含整句话信息 上下文信息Task 2: Predict the Next Sentence对c 进行2分类来判断两句子是不是相邻。Combining the two methodsTrainging:loss 为三个loss 的加和。不需要人工标注。计算
2021-06-30 15:02:19
160
原创 Transformer系列 _11 Transformer model- 从Attention到Transformer 笔记2021-06-30
From Shallow to Deep参数不共享。stacked self-attention layers注意全连接层Dense参数共享，Wutransformer’s encoder每个block之间能加入skip connection。transformer’s Decoder: one Blockput everything togethertrannsformer :encoder networkComparison with RNN Se
2021-06-30 14:36:53
225
原创 Transformer系列 _10 Transformer model- 剥离RNN，保留Attention 笔记2021-06-30
Transformer ModelAttention without RNN本问不讲细节，只关注attention模块。Revisiting Attention for RNNseq to seq 模型 最后一个状态Hm是对所有输入的概括Wq和Wk是align函数的参数，需要从数据中学习Query用来匹配，Key用来被Query匹配,a代表匹配程度，匹配程度越高权重越大。一共三个参数矩阵Whow to remove RNN while keeping atten
2021-06-30 11:29:36
67
原创 Transformer系列 _9 Self-Attention 笔记2021-06-30
Self-Attention这篇博文不是原始论文的LSTM，而是替换成了simpleRNN，主要是学习其想法c0取代h0怎么计算C2计算权重（忽略h0，因为为全0向量）c2为前两项状态h的加权平均。以此类推，计算h3，c3 后续一系列状态。summarySelf-Attention每次更新状态h会用状态c看一遍前面的状态，这样就不会遗忘之前的信息。可以用在所有RNN 上。图中颜色深浅表示与前文最相关的程度。...
2021-06-30 09:55:16
58
原创 Transformer系列 _8 Attention 笔记2021-06-29
AttentionBLEU机器翻译的评判，越高翻译的越好。用attention改进seq to seq模型c0 是前面H 所有状态的加权平均，c0也能知道前面所有信息。利用c0和x1’做输入得到s1，s1和前面的所有h状态做align（）得到一系列a1…am新的权重，然后再与状态h做加权平均。attention 的时间复杂度o(mt)。每条线对于一个a权重，越粗代表 两个状态越相似。summary...
2021-06-29 20:46:42
79
原创 Transformer系列 _7 机器翻译 笔记2021-06-29
Neural Machine Translationmany to many数据集 预处理两者都可以，实际机器翻译是Word-level，因为数据集足够大为什么采用两个tokenizers?两者语言的字符是不一样的，不同的语言也有不同的分词training seqtoseq modeldecoder的初始状态是encoder的最后一个状态，decoder靠state（h,c）来知道前面的输入的英语句子第一个输入必须是起始符，根据输出的概率p与y计算crossentrop
2021-06-29 20:09:04
144
原创 Transformer系列 _6 文本生成 笔记2021-06-29
Text Generation怎么训练RNN红色为样本，蓝色为标签如果RNN训练莎士比亚的书，生成的文本为莎士比亚的风格。Training a Text Generatorcharacter 一百维度以下，与之前的Word不一样，英语中常用的词语10000＋，vocabulary一万维度，太高了，需要一个矩阵降维。按照之前的代码训练好网络后Predict the Next Char如何选择下一个字符？完全确定的，随机抽样，过于随机，利用temperatu
2021-06-29 18:30:39
182
原创 Transformer系列 _5 RNN常见使用技巧 笔记2021-06-29
Stacked RNN每一个A有两个备份即第一层 第二层要输入所有的状态向量hBidirectional RNN两条RNN完全独立，不共享参数，如果只有一层 只保存 最后的ht 和ht’pretraining任务接近原来情感分析任务SUMMARY...
2021-06-29 16:24:04
81
原创 Transformer系列 _4 LSTM 笔记2021-06-29
LSTM发表于1997年最重要的是传送带结构，避免梯度消失的情况。Forget gateelement-wise multiplicationinput gateUpdate the conveyor Beltoutput gateht 两份copy，一份输出，一份进入下一轮LSTM 的参数数量与前文区别 将RNN 改成LSTMsummary主要区别，传输带使得过去信息很容易传到下一时刻，具有更长的记忆，且优于RNN。...
2021-06-29 15:33:30
87
原创 Transformer系列 _3 RNN 笔记2021-06-29
RNNHow to model sequential data?one to one 不太适合时序这种 长度不固定的数据。h0包含第一个词的信息，ht可以看做前面所有的词进行的抽取向量，参数A只有一个。simple RNN双曲正切函数 使得ht所有值在1到-1之间。为什么需要tanh激活函数？循环次数增加的情况下，容易造成全0矩阵或者都超级大。参数的计算状态h记录输入的信息，h与x的shape可以不一致early-stopping是指在算法validation变差之前就停
2021-06-29 15:00:17
63
原创 Transformer系列 _2 文本处理和词嵌入 笔记2021-06-29
Text Processing and Word EmbeddingText to Sequence重视：大小写意义不同，有些词对于二分类没有意义，拼写错误等等。由于sequence长度不同，需要对齐Word Embedding:Word to Vectoront-hot 维度太高，比如rnn的输入是和输入维度成正比的，会导致参数过多。d由用户决定，大小决定机器学习的表现。最好用cross-entrophy来决定这些词带有感情色彩，不同的感情色彩有不同的集群。Logi
2021-06-29 14:32:23
189
原创 Transformer系列 _1 数据处理 笔记2021-06-29
数据处理课程来源 ： YouTube wangshuseng https://www.youtube.com/watch?v=NWcShtqr8kc&t=0sPPT ： https://github.com/wangshusen/DeepLearning年龄是数值特征性别是二分类特征国籍是分类特征对国籍进行one-hot encoding ，因为国籍之间是不能表示大小的。注意将0保留 当作“未知”类别，比如一些缺失的数据。例子：Why using one-hot
2021-06-29 11:25:00
251
原创 机器学习假设问题，全球人工智能大会报告
机器学习先验假设1.损失函数独立性假设损失函数 和问题是否相关2.假设空间大容量欧式机器学习假设误差的分布来确定loss
2021-06-05 10:11:30
64
原创 SSF（snapshot freeze） 心脏冷冻技术 （笔记1）
智能 ? 自适应冠脉追踪 = 研究目标 达到减少伪影方法上（硬件）和数据重建运动追踪跟拍系统，分析描述单个心跳周期内冠脉的运动特征解决高心率问题CTCA Image Quality Improvement by Using SnapshotFreeze Technique Under Prospective and RetrospectiveElectrocardiographic Gating（2015）SSF showed higher interpretability than st
2021-04-17 20:47:27
1741
1
原创 R-CNN笔记
fast -RCNN u =1 :正样本（才有边界框回归损失），u=0 负样本感受野计算（VGG）三层33卷积相当于77的卷积核的感受野参数明显减少框架对比
2021-03-22 21:32:08
41
原创 基于GAN的合成医学图像增强技术可提高CNN在肝脏病变分类中的性能
GAN-based Synthetic Medical Image Augmentation for increased CNN Performance in Liver Lesion Classification利用GAN架构来合成高质量的肝脏病变ROI医学成像领域的最大挑战是如何处理小的数据集和数量有限的带注释的样本，尤其是在采用需要标记数据和进行大量培训的监督机器学习算法时。最常见的数据增强方法包括对数据集图像进行简单修改，例如平移，旋转，翻转和缩放。该数据集由182个门户阶段的二维CT扫描
2021-03-20 16:29:30
1021
原创 DCGANs
UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS(Under review as a conference paper at ICLR 2016)•我们提出并评估了卷积GAN的体系结构拓扑上的一组约束条件，这些约束条件使它们在大多数情况下都能稳定地进行训练。我们将此类架构命名为Deep Convolutional GAN（DCGAN）。•我们使用经过训练的鉴别器来进行
2021-03-19 21:59:31
95
原创 data augmentation for covid
CovidGAN: Data Augmentation using Auxiliary Classifier GAN for Improved Covid-19 Detection关键词：深度学习，卷积神经网络，生成对抗网络，综合数据增强，COVID-19检测主要贡献1）提出一个基于辅助分类器的通用对抗网络（ACGAN），称为CovidGAN，用于生成合成CXR图像。2）设计基于CNN的COVID-19检测模型。3）使用CovidGAN用CNN模型扩充训练数据集，以改进对COVID-19的检测。
2021-03-19 10:11:00
102
原创 acgan
论文笔记acgan(Conditional Image Synthesis with Auxiliary Classifier GANs)gan损失函数：acgan损失函数：D is trained to maximize LS + LC while G is trained tomaximize LC - LS.AC-GAN学习与类标签无关的z表示形式广义上讲，发生器G的结构是一系列“反卷积”层，它们将噪声z和c类别转换为图像判别器D是具有LeakyReLU非线性的深度卷积神经网络证
2021-03-18 21:37:39
503
原创 linux命令笔记
这里写自定义目录标题linux命令笔记指令帮助档案权限管理tar 压缩vim个人习惯变量bash万用字符pipe（管道命令）linux命令笔记你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。指令帮助–helpman档案权限管理改变权限chmodr:4 w:2 x:1tar 压缩gzip bzip xzvim个人习惯区块选择 Ctrl + v
2021-03-12 20:21:33
109
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人