ayayayayo-CSDN博客

原创 Linformer: Self-Attention with Linear Complexity

Linformer: Self-Attention with Linear ComplexityFAIR NIPS 2020Abstract Because of the standard self-attention mechanism of transformer uses O(n2)O(n^2)O(n2) time and space with respect to sequence length, this paper demonstrates that self-attention m

2020-11-14 17:14:35 721

原创 Longformer: The Long-Document Transformer

Longformer: The Long-Document TransformerAllen AI 研究院AbstractLongformer提供了一种attention机制，可以直接作为传统transformer的替代。Longformer的attention由local window attention + global attention组成。Task：MLMDataset：text8 and enwik8Introduction动机1: transformer的有效性，但却有平方

2020-11-14 17:08:18 1046 1

原创【Webstorm】首次配置使用webstorm

防失忆https://www.jianshu.com/p/9d244ef7c28c

2020-11-01 23:15:47 430

原创 MacBook安装Homebrew（官方命令安装失败的终极解决方案）

在网上找了很多方法都安装Homebrew失败，并且安装步骤都很不清晰，对于mac系统新手来说不太友好，找到了一个国内安装Homebrew的安装工具，简直是傻瓜式安装啊，爱了爱了，一定要写篇博客分享！！文章网址：https://zhuanlan.zhihu.com/p/111014448其中可能会出现安装git失败的情况，这大概是新系统的锅吧，去官网安装一个开发人员工具就可以了，网址如下：https://developer.apple.com/download/more/ 选择Command_Line_

2020-11-01 22:55:17 1882

原创【OCR】win10环境下Tesseract-OCR 4.0LSTM训练流程

下载mnist数据集，并处理数据到tif和box格式。其中每一个tif和box文件都保存了10个数字，对于60000数据样本，总共生成6000张图片。tif+box文件数目共12000。jTessBoxEditor合并待训练图片，生成并调整.box文件使用jTessBoxEditor工具，选择Tools–Merge TIFF，选择第一步中生成的所有tif文件，并设置合并后的TIFF文件名为nml.num.exp0，nml是语言名，num是字体名，exp0是版本号。训练过程应保持这种命名习惯。..

2020-08-09 11:29:12 2185 2

原创【OCR】tesseract与jTessBoxEditor的安装

参考：https://blog.csdn.net/jiuzhongxian_/article/details/105239684?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-3&spm=1001.2101.3001.4242

2020-08-05 11:37:58 293

原创【Pytorch】关于使用torchvision下载mnist数据集速度过慢的解决方案

下载数据集之后，torchvision还会对数据集进行一些处理，将这些数据转换为.pt格式的文件，所以我们不能直接手动下载数据集然后放到相应的文件夹中，这会产生报错。【解决方法】手动下载好相应的数据集放到相应文件夹中把自己电脑上已经下载好的数据集的文件路径放到浏览器的窗口，然后转到这个地址，就可以得到如下：把源代码中的网址替换成本地的文件地址即替换为运行程序出现以下字样即成功。Processing…Done!【总结】不仅仅是mnist数据集，其他数据集下载速度过.

2020-08-05 11:03:33 1782 1

原创【Pytorch】torchvision.utils.save_image直接保存tensor为图片

一般来说，需要将tensor转变为numpy类型的数组从而保存图片，这样的过程比较繁琐，Pytorch提供了save_image()函数，可直接将tensor保存为图片，若tensor在cuda上也会移到CPU中进行保存。)参数：tensor (Tensor or list): Image to be saved. If given a mini-batch tensor, saves the tensor as a grid of images by calling make_grid.**.

2020-08-05 10:20:38 38424 3

原创【吴恩达机器学习】学习记录2：多元梯度下降法与正规方程

使用矩阵运算多元线性回归多元梯度下降法为加快梯度下降速度的一些方法特征与多项式回归正规方程使用矩阵运算在较为复杂、数据量较多的情况下，使用矩阵这种数学表达形式会更加清晰并且有利于计算，吴恩达教授在视频中介绍了矩阵和向量的基本概念、矩阵的加法和数乘运算、矩阵和向量的乘法、矩阵的乘法及其特性、矩阵和逆和转置，矩阵的乘法可以使我们只需要做一次运算就能得到想要的多个结果，例如：【1】计算一个函数的不同取值（数据组成的矩阵*.

2020-06-29 14:24:05 233

原创【吴恩达机器学习】学习记录1：课程概论及相关基础概念（监督学习、非监督学习、损失函数、梯度下降法）

课程概论机器学习的定义监督学习非监督学习模型表示代价函数梯度下降法课程概论机器学习概念的简单介绍：机器学习是一种在对人工智能进行探索的过程中产生的新技术，它赋予了计算机新的能力，使其不仅仅是一个进行超级计算的工具。机器学习的应用：数据挖掘、人工无法完成的工作（自动驾驶直升机、手写识别、CV、NLP等）、个性化工程（Amazon、Netflix的产品推荐）、理解人类的学习过程（仿脑）机器学习的定义吴恩达教授列举出了两种关于机器学习的定义，一种是概括性的定义、一种是更加详细的定义。定义1.

2020-06-09 16:28:57 295

ayayayayo的博客