Thisisit_Gao-CSDN博客

原创深入理解Transformer结构与实现

Transformer模型是一种以注意力机制为核心，用于处理序列数据的神经网络架构。它和Attention机制一起在论文《Attention is All You Need》中被提出，并迅速成为自然语言处理（NLP）领域的基石技术。Transformer模型的主要优势在于其能够并行处理序列数据，从而大幅度提高训练效率，同时在多个NLP任务中取得了当时的最先进成果。Transformer模型采用了编码器-解码器（Encoder-Decoder）的架构，如下图。

2024-03-31 21:45:43 692

原创深入理解Attention机制

Attention机制的动机在处理序列数据，如文本或时间序列时，传统的神经网络模型通常将输入序列的每个元素都视为同等重要。然而，人类在处理信息时，往往会专注于某些关键信息而忽略其他不那么重要的部分。基于这种直觉，Attention机制被设计出来，允许模型在处理数据时能够自动地对不同部分分配不同的关注度，从而提高模型的性能和效率。Attention的基本原理Attention机制本质上是一个加权机制。对于给定的输入序列，模型会学习一个权重分布，用于表征每个元素对当前任务的重要程度。

2024-03-06 22:03:20 1001

原创提升方法学习(AdaBoost、GBDT与XGBoost)

提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效。一、提升方法的基本思路二、AdaBoost算法1.Adaboost算法分析2.AdaBoost算法的另一种解释：3.加法模型(additive model) 4.前向分布算法(forward stagewise algorithm)...

2020-01-07 17:07:05 1382 1

原创 Windows下matplotlib库安装

Windows下matplotlib库安装最近需要使用自然语言处理，因此想使用python的nltk库来做，网上看了一下安装流程，其中有一个可选安装的库是matplotlib，一个图像库。就想着以后或许还会用到就想自己安装上，但是网上搜了很多教程，博客。但是都没有成功，最后实在没办法就去官网上看了一下，原来matplotlib库有几个依赖库，必须先安装，而且官网上拥有一切资源。接下来就讲一下大致流程

2016-01-27 15:12:12 3745

原创 Triangle

刚那道题立刻想到动态规划，从顶开始向下走，使用二维数组存储每个位置当前最小值。没有什么思想可说，直接上代码。class Solution {public: int minimumTotal(vector >& triangle) { int size = triangle.size(); // int len = triangle[0].size();

2015-09-07 17:18:14 643

原创 Two Sum

刚拿到提很自然的想到了排序之后首尾指针扫描，但是排序会改变数组原来的位置，因此最终给出的index是错的。网上看来别人的思路之后豁然开朗，可以定义一个结构体，结构体中存放数值和原来的index，之后在=再排序，使用首尾指针，当然排序函数得自己写。struct Node{ int value; int pos;};bool cmp(Node a,Node b){ return a.v

2015-09-07 11:01:26 319

原创 Valid Anagram

题目很简单，就是看两个字符串是否具有相同的字符。初始化一个长度为26，初值为0的数组。s中存在c，则在数组相应位置加1，t中存在c，则在数组相应位置减1.最终如果数组中存在不为0的项，则返回false，否则返回true。直接上代码class Solution {public: bool isAnagram(string s, string t) { int n = s.le

2015-09-07 10:41:56 325

原创 Unique Paths II

与上一个题目类似，只是矩阵中有些障碍，那么任何障碍点的到达路径数为0，因此我们依然只需要一个一维数组保存上层每个位置的路径数，只是当遇到障碍时要置0，使用一维数组的思想在上一篇博客中Unique Paths。接下来直接上代码#define MaxSize 120class Solution {public: int uniquePathsWithObstacles(vector

2015-09-07 09:55:22 438

原创 Unique Paths

Unique Paths 题目描述的很清楚，只能向下或向右移动，那么到达任一个格子的可能路径为应该为 current = up+left。因此只需要一个一维数组，在第零行的时候因为上面没有格子，因此只能是从左面过来，所以初始化初值都为1一个长度为n的vector。当到第一行时，对于每个格子，在数组相应位置存储的是其上面格子的路径数，而根据我们之前的公式所以此时v[current] = v[cur

2015-09-05 11:54:08 294

原创 Word Search

Word Search 这道题我们有用到什么高深的算法，就一个深度搜索搞定，只是其中的判断条件比较多，需要仔细思考到每种情况，还要注意一个字母只能使用一次。-变量，函数声明解释tag数组：用来标示该字母是否已经使用过flag：全局变量，如果标示是否已经找到匹配，如果为真立刻返回dfsSearch函数：深搜函数直接上代码bool flag;class Solution {public:

2015-09-05 11:30:34 292

原创 Moodle安装教程以及phpMyAdmin无法访问解决

这几天我在使用moodle的框架开发一个教务系统，在安装Moodle环境过程中出现了很多问题： 1. 首先是使用官网集成包，按照说明一步步走结果总是出错。 2. 接着尝试使用xammp安装，结果安装成功之后，第二次无法打开MySQL，百度有人说删除一个文件，不会影响数据库，结果我删除之后数据丢失了，囧。 3. 最后使用wampServer环境安装成功。具体做法如下：1. 去官网下载mood

2015-03-30 23:42:19 5862

原创 win8下禁用用户且无法进入安全模式

win8下禁用用户且无法进入安全模式今天手贱将win8系统下的用户给禁用了，结果开机后输入密码显示无法进入系统，此用户已禁用。悲剧的是我只有这一个账户。百度之后发现可以使用安全模式解除禁用，但是尝试之后发现悲剧的自己没有打开win8下的安全模式功能。原来win8和win7不同，win8的安全模式默认是关闭的。所以需要进入系统打开安全模式，但实现在问题是我们需要安全模式解除用户禁用才能进入系统。所

2015-03-29 15:37:16 978

原创伪分布式hadoop安装的几个问题

关于伪分布式hadoop安装的几个问题1. 关于单机模式，伪分布式和分布式的区别1. 单机模式:单机模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。因此一般用来编写程序，测试程序正误。2. 伪分布式:伪分布模式也是在一台单机上运行，具有模拟的分布式文件系，但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,Tas

2015-03-08 22:54:57 688

u010355748的专栏