Lewis_Sean-CSDN博客

原创《深度学习进阶自然语言处理》学习笔记（3）Attention

前篇链接 link目录第八章 AttentionAttention结构seq2seq的改进—— h 到 hsseq2seq的改进—— 解码器层结构调整Attention层的引入总结第八章 Attention上一章我们使用 RNN 生成了文本，又通过连接两个 RNN，将一个时序数据转换为了另一个时序数据。我们将这个网络称为 seq2seq，并用它成功求解了简单的加法问题。之后，我们对这个 seq2seq 进行了几处改进，几乎完美地解决了这个简单的加法问题。本章我们将进一步探索 seq2seq 的可

2021-03-31 18:00:26 396

原创 python实现PCA（主成分分析法）压缩图片

import numpy as npimport cv2# 读入 512 x 512 x 3 的 lena 灰度图img: np.ndarray = cv2.imread("./data/simple.jpg")img = img[:, :, 0]cv2.imshow("before", img)cv2.waitKey(0)# 预处理img = img / 255 - 0.5 # 灰度图 X 进行正规化 normalizationimg_T = img.transpose()Ma

2021-03-28 19:32:02 2326 3

原创《深度学习进阶自然语言处理》学习笔记（2）

前篇链接 link目录第五章 RNN语言模型RNN模型模型架构一个典型RNN单元的计算图损失函数的设置评价指标总结第六章 Gated RNN上一章RNN存在的问题梯度爆炸与梯度消失LSTM一个 LSTM 单元的结构记忆单元c_t的引入3个门：遗忘门、输入门、输出门计算图LSTM的网络架构改进总结第七章基于 RNN 生成文本seq2seq原理改进ReversePeeky自动图像描述总结第五章 RNN前面介绍的word2vec是前馈神经网路，无法很好的处理时序信息，引入RNN来解决问题语言模型

2021-03-24 16:19:19 612

原创《深度学习进阶自然语言处理》学习笔记（1）

目录前言第一章神经网络的复习第二章自然语言和单词的分布式表示预处理背景基于计数的方法共现矩阵（co-occurence matrix）基于计数的方法的改进点互信息降维PTB数据集第三章 word2vec基于推理的方法的概要CBOW模型skip-gram 模型第四章 word2vec的高速化Embedding层前言这本书结合代码（可从官网免费下载：源代码地址），深入浅出、逐层深入地讲解了NLP中的word2vec、RNN、LSTM、Attention等经典模型，是教学质量极高的一本书，遂笔记整

2021-03-22 16:54:06 1096 3

原创智能指针 | static | C++11拓展

对C++知识点的拓展：读Pytorch源码有感前言智能指针shared_ptrunique_ptrweak_ptr前言最近学习解读pytorch源码（详见链接link），代码中C++11的部分有很多未尝涉及，遂进行总结。智能指针为了解决C++内存泄漏的问题，C++11引入了智能指针原理：接受一个申请好的内存地址，构造一个保存在栈上的智能指针对象。当程序退出栈的作用域后，栈上的变量自动被销毁，智能指针内部保存的内存也就被释放掉了三种智能指针：std::shared_ptr, std::uniqu

2020-10-29 20:42:52 744

原创 google+colab

# step1from google.colab import drivedrive.mount('/content/gdrive/')# step2import oscur_dir = os.getcwd()print(cur_dir)os.chdir('gdrive/My Drive')# step3import torchtorch.cuda.is_available()# --------------------------------------!unrar e test_

2020-10-29 18:27:50 85

原创 git分支从master切换到main

git分支从master切换到main背景本地当前分支为master，远程仓库为main，且远程仓库与本地仓库有 unrelated histories这样的问题，如远程仓库有README.md但本地没有stepsgit checkout -b main# Switched to a new branch 'main'git branch# * main# mastergit merge master # 将master分支合并到main上# Already up to date.g

2020-10-11 00:28:47 9107 3

原创 CS131 课件学习+拓展延申（持续更新）

这里写目录标题CS131学习1 introduction+logistics2 color3 线性代数入门3.1 矩阵演算3.2 矩阵的秩（rank）3.3 特征值和特征向量CS131学习1 introduction+logistics无重要内容介绍课程内容作业评分2 colorPhysics of colorHuman encoding of color人眼感光单元：锥形感受器(强光) vs 杆状感受器(弱光)本质：光谱滤波器RGB：对三种不同波段敏感的滤波器Colo

2020-09-21 18:41:24 1876

原创 tgid vs pid / struct pid / upid in Linux

tgid vs pidLinux中并没有明确的线程支持Linux中的线程，即轻量级的进程从内核角度，以线程为单位，一个线程对应一个task_struct，对应一个pid（process id: 轻量级进程的id）从用户角度，以进程为单位，一个进程是多个线程组成的线程组，对应一个tgid（thread group id）ps/top指令，系统调用getpid()返回的是tgid（用户态）...

2020-09-19 23:39:29 770 1

原创 Ubuntu20.04+Linux5.8.8 添加系统调用实现进程隐藏

Ubuntu20.04+Linux5.8.8 添加系统调用实现进程隐藏虚拟机版本主机信息VMware 15Thinkpad carbon X1 2020 + win10目录Ubuntu20.04+Linux5.8.8 添加系统调用实现进程隐藏1 目标2. 方法与原理2.1 修改proc_pid_readdir2.2 ~~pid赋值为0~~2.3 原理3 遇到的困难3.1 虚拟机开机黑屏4 流程1 目标实现系统调用int hide(pid_t pid, int on)，在进

2020-09-14 21:30:04 2734 1

原创生成模型(Generative Model) vs 判别模型(Discriminative Model)

生成模型(Generative Model) vs 判别模型(Discriminative Model)生成模型 vs 判别模型生成模型(Generative Model) vs 判别模型(Discriminative Model)二者定义判别模型代表生成模型代表二者定义假定X为当前目标的特征(feature)，Y为类别(class)，一个分类器的功能是要求出P(Y|X)，并把X归属于Y中...

2020-03-16 17:21:22 236

qq_42585582的博客