- 博客(24)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Bert 基础解读 (三) 看不明白你打我
BERT的全称为Bidirectional Encoder Representation from Transformers，如果翻译过来也就是双向transformer编码表达,是一个预训练的语言表征模型。预训练模型首先我们要了解一下什么是预训练模型，举个例子，假设我们有大量的维基百科数据，那么我们可以用这部分巨大的数据来训练一个泛化能力很强的模型，当我们需要在特定场景使用时，例如做...
2021-11-10 11:34:50
850
2
原创 BERT基础解读(二)——transformer 看不明白你打我
首先来说一下transformer和LSTM的最大区别, 就是LSTM的训练是迭代的, 是一个接一个字的来, 当前这个字过完LSTM单元, 才可以进下一个字, 而transformer的训练是并行了, 就是所有字是全部同时训练的, 这样就大大加快了计算效率, transformer使用了位置嵌入来理解语言的顺序, 使用自注意力机制和全连接层来进行计算, 这些后面都会详细讲解.transforme...
2021-11-10 11:34:30
1263
原创 Bert基础解读(一)—— transformer之attention机制（self-attention）看不明白你打我
1.self-attention在之前处理序列问题的时候，用的是rnn，现在我们把rnn层换成self-attention层。图1 任何用rnn的都可以被替换成self-attention层标题那么具体是怎么做的呢？我们首先以上图为例讲解。a1,a2,a3,a4是一个sequence(序列)，我们首先为每一个input a1,a2,a3,a4 乘以一个矩阵，通过embedding...
2021-11-10 11:34:02
4155
4
原创 SQL概述
SQL概述 结构化查询语言（Structured Query Language，简称SQL）是关系数据库的标准语言 特点： 综合统一：SQL集数据定义语言（DDL）、数据操纵语言（DML）、数据控制语言（DCL）的功能于一体 高度非过程化：用户只需提出“做什么”即可，而不必关心怎么做。 面向集合的操作方式：操作对象是集合，操作所产生的结果也是集合。 一种语法多种使用方式：SQL可以直接以命令的方式交互使用
2020-09-18 16:41:14
214
原创 WIN10安装Tensorflow-GPU 2.0版本安装及Anaconda命令 （傻瓜式教程，看不懂你来打我）
安装前：请先安装ANACONDA，对于WINDOWS来说还是用ANACONDA来安装比较方便一些。安装好ANACONDA后，要添加环境：接下来开始安装TENSORFLOW。第一步，首先需要查看自己电脑的GPU型号,步骤在这里。第二步，去https://www.geforce.com/hardware/technology/cuda/supported-gpus看看这个列表里面有没有你的GPU型号。如果有则很幸运，你可以用tensorflow-gpu加速你的训练，如果没有就老老实实用CPU跑跑
2020-07-21 22:45:22
470
转载 国内可用Anaconda 源的镜像站及换国内源方法
目前清华开源镜像站和中科大开源镜像站均已发出公告表示已取得Anaconda授权，不久就将重新上线Anaconda软件源（见文末图）。那目前我知道的国内可用Anaconda源的镜像站就有3个，分别是清华、中科大、上交。大家可以分别测试一下下载速度和稳定性，自行选择最优的。各个镜像站的设置方法如下，这里只添加了3个常用的频道，如果要添加更多频道请自行添加。选择下面一个镜像站的代码复制并替换下面文件中的全部内容，windows为“C:\用户\你的用户名\.condarc”，Linux为"/home/你的用
2020-07-21 18:45:45
1459
1
原创 User Profiling through Deep Multimodal Fusion
写在前面：小小白读的第一篇论文，读的不是很明白，特地记录下来，写的不好，仅供自己参考。如果写的不对还请大家多多指教，多多交流。 PS：绿色文字代表我不是很确定我的想法是不是正确，或者我读不懂的地方，红色文字代表经过查找询问等方法后对绿色文字部分的解答。划线这种代表第一次理解错的地方，因为想记录一下思考过程，所以留了下来。另外，本文的相关链接，都是作者看过很多相关文章之...
2019-10-06 23:19:11
1432
1
原创 【算法】罗马数字转整数
罗马数字包含以下七种字符:I，V，X，L，C，D和M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如， 罗马数字 2 写做II，即为两个并列的 ...
2019-09-25 21:30:43
199
转载 【算法】 整数转罗马数字
题目：12. 整数转罗马数字 难度：中等 分类：数学、字符串 解决方案：整数比较今天我们学习第12题整数转罗马数字，这是一道中等题。下面我们看看这道题的题目描述。题目描述罗马数字包含以下七种字符：I，V，X，L，C，D和M。字符 数值I 1V 5X 10L ...
2019-09-23 20:10:36
164
原创 机器学习入门笔记
最近刚开学，老师要求读论文，对于机器学习和深度学习以及神经网络什么的都不懂的我，真的太难了！下面把最近几次听到的，学到的东西记录下来，供自己参考。向量：向量是线性代数中的基本概念，也是机器学习的基础数据表示形式。例如计算机阅读文本的过程首先就会将文本分词，然后用向量表示。这是因为向量很适合在高维空间中表达和处理。在机器学习中会接触到的诸如投影、降维的概念，都是在向量的基础上做的。那么这里的...
2019-09-11 19:14:18
198
原创 Win10 安装TensorFlow cpu版本
第一段话没什么价值……你只需要了解这是超级简单的TensorFlow的gpu安装教程即可。 这两天开学了，准备安装TensorFlow，了解了一下TensorFlow有GPU和CPU两个版本。本来想着那个步骤简单装那个，看了看资料说cpu版本安装比较简单，于是我就按照别人的教程安装，结果以h5py的安装失败和无法启动Spyder告终，后来我就重新安装，第二次我选择了安装GPU版本...
2019-09-08 15:16:46
1239
原创 You are using pip version 19.0.3, however version 19.2.1 is available.Windows更新pip
最近刚开始在电脑上安装Python，装完pip之后想要装pillow，结果pip命令不能使用，使用提示命令还是会循环报错。网上找了很多也不对，最终使用如下方式解决！！1.在命令行定位到pip所在文件夹下，例如我的pip在 D:\Python\Scripts 如下图所示：2.加上python pip3.exe 如图：3.再加 python -m pip install --u...
2019-07-26 16:14:23
15203
5
原创 【算法】Top-K选择
说明：random文件里面含有一系列正整数。要求选择其中最大的k（k=0）个数，并显示。目的：考察top-K选择算法的效率。程序流程：1、读文件到内存数组A；2、记录程序开始时间；3、循环1百次4、 执行top-K选择算法；（要求不能改变数组A中的内容，对数组A只能读，不能写）5、循环1百次结束6、记录程序结束时间；7、显示1百万次循环的执行时间；8、显示选择的top...
2019-04-15 14:12:34
835
原创 旋转数-
问题描述：S[0...n-1]是一个长度为n的字符串，定义旋转函数Left(S) = S[1…n-1] + S[0]。比如S=“abcd”,Left(S)=“bcda”。一个串是对串当且仅当这个串长度为偶数，前半段和后半段一样。比如“abcabc”是对串,“aabbcc”则不是。现在问题是给定一个字符串，判断他是否可以由一个对串旋转任意次得到。输入：第1行：给出一个字符串（字符串非空串，...
2019-04-15 14:08:00
286
原创 【算法】完美数——用Java实现
题目描述给你一个长度为n的数列，如果数列中一个数与其余n-1个数差的绝对值之和最小，这个数就是完美数。输入第一行一个数n,第二行n个数(1<=n<=10000)输出这个数列中的完美数，如果有多个输出任意一个样例输入61 2 3 5 7 100样例输出3在这里我采用两种方法，思路分别是：方法一：根据中位数的性质：由此，我们对所给的数的序列进...
2019-04-04 18:16:17
1505
原创 【算法】杨辉三角——使用Java二维数组实现
杨辉三角，是二项式系数在三角形中的一种几何排列。如图所示：我们把这个图改进一下就是这样的：将元素用二维数组表示，我们发现：①第i行有i个元素， ②第 i 行第 j 个元素 =第 i-1行第 j 个元素 +第 i-1 行第 j-1个元素。如下图所示：现在，用二维数组将杨辉三角的前十行打印出来，具体代码如下：public class YanghuiTriang...
2019-04-04 18:00:16
1916
原创 maven安装遇到的小问题：ERROR: Failed to parse POMs hudson.maven.MavenEmbedderException:
ERROR: Failed to parse POMs hudson.maven.MavenEmbedderException: 1 problem was encountered while building the effective settings [FATAL] Non-readable settings D:\CI\apache-maven-3.3.1\bin: D:\CI\ap...
2019-02-24 12:43:14
5816
1
原创 初探spring MVC----安装maven、MySQL maven
构建一个springMVC项目，肯定要用到maven，maven是什么？官方解释是这样的：Maven项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的项目管理工具软件。按照我自己的理解（其他功能还没接触，理解比较浅显）就是：当我们要完成一个工程的时候，我们需要很多jar包来支持，maven就是给我们提供这些jar包的。简单的java代码也需要jar包，比如我们简单...
2019-02-24 12:26:06
160
原创 【考研】数据结构———单链表
获取元素：Status GetElem(LinkList L,int i,ElemType *e){ int j; LinkList p; //定义链表,p是个指向一个结点的指针 p=L->next; // 让P指向链表L的第一个结点 j=1; ...
2018-07-26 00:18:32
339
转载 菜鸟级别的ssm框架搭建
原文地址：http://www.cnblogs.com/alivn/p/4795995.html因为我把配置文件放在了resource里面，因此配置文件稍有不同。这里把作者的目录结构替换成我的。一、代码结构整个项目的代码结构如图所示： controller为控制层，主要用于对业务模块的流程控制。 dao为数据接入层，主要用于与数据库进行连接，访问数据库进行操作，这里定义了各种操作数据库的接口。 m...
2018-03-22 15:21:04
612
原创 浅谈抖音、快手、西瓜视频为什么会火
抖音短视频、西瓜视频、快手等短视频app为什么这么火 近期，抖音短视频（以下简称抖音），快手、西瓜视频等以发表小视频为主的软件非常火爆，尤其是抖音。火到什么程度呢？APP Store 摄影和录像类应用排行版第一名，日活跃用户数量过千万。 我们周边的同学不少都表示已对抖音中毒，无法自拔，观看视频的同时，也会发布一些自己录得视频。正好我们最近学习软件项目管理，怀着学习和娱乐兼有的态度，我们...
2018-03-08 21:41:11
18474
2018年上半年软件工程师下午真题答案
2018-06-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人