- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hardware Accelerator for Multi-Head Attention and Position-Wise Feed-Forward in the Transformer
在本文中，我们提出了两个关键组件的第一个硬件加速器，即多头注意力（MHA）ResBlock和位置前馈网络（FFN）ResBlock，这是Transformer中最复杂的两个层。其次，计算流程经过精心设计，保证了脉动阵列的高硬件利用率，脉动阵列是我们设计中最大的模块。与具有相同设置的 GPU 上的实现相比，所提出的设计在 MHA ResBlock 中显示出 14.6 倍的加速，在 FFN ResBlock 中显示出 3.4 倍的加速。作为所提出的架构中的“瓶颈”，层归一化的延迟被尽可能地减少。
2023-12-05 22:59:19
349
原创 Pytorch循环神经网络入门实现
循环神经网络的基本架构及其LSTM、GRU等变种。这些循环神经网 络PyTorch提供了相应的API，如单元版的有：nn.RNNCell、nn.LSTMCell、nn.GRUCell 等；封装版的有：nn.RNN、nn.LSTM、nn.GRU。单元版与封装版的最大区别就是输入， 前者是时间步或序列的一个元素，后者是一个时间步序列。利用这些API可以极大地提高 开发效率。
2023-08-28 19:05:48
44
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人