shawroad的博客

原创 基于session推荐的论文阅读

今天我们要看一下如下三篇论文:- SR-GNN: Session-Based Recommendation with Graph Neural Networks- TA-GNN: Target Attentive Graph Neural Networks for Session-based Recommendation- GC-SAN: Graph Contextualized Self-Attention Network for Session-based Recommendation

原创 FLASH：一种高效的Transformer设计

在标准的Transformer结构中，多头注意力和FFN是交替连接的。GLU那篇论文中，将FFN替换成基于门控的线性单元，发现效果会变好。因此，我们先简单了解一下门控单元GLU的计算，如下左图:具体计算:也就是将输入X分别经过放射变换(线性映射＋激活函数)得到U,VU,VU,V。然后再将U,VU,VU,V进行点积，最后再进行线性映射，得到门控线性单元的输出。上述的GLU中没有对token两两进行注意力计算，如果在上面的U,VU,VU,V。...

原创 [ACL2022] Text Smoothing: 一种在文本分类任务上的数据增强方法

论文链接: https://arxiv.org/abs/2202.13840。

原创 Keyword2Text: 一种即插即用的可控文本生成方法

本次分享一篇可控文本生成方面的论文。提到文本生成，可能很多人的第一印象都是不靠谱，不就是复制粘贴，模型只是将训练语料记住了而已，谈创造性都是瞎扯emem…。这趟浑水总该有人趟吧，如果对ai充满悲观的人，可以去瞧瞧cv那边文本到图片的生成，或者能让你对ai有所改观。闲话少说，直接切入文本生成主题。谈到文本生成，可能会想到很多模型，如GPT系列、T5系列、UniLM、Bart等等。但这些模型在可控方面做的都不够好，文本生成的主题主要还是依赖于训练语料的分布。...

原创 UIE: 信息抽取的大一统模型

信息抽取通常包含常见的四个子任务: 实体抽取、关系抽取、事件抽取以及情感分析等。在过去，因为不同的任务识别的实体、事件类型等等都不一样，所以针对特定的任务要训练特定的模型，定制化较高，不具有通用性。...

原创 MarkBERT: 一种通过简单添加词边界的方法来增强预训练模型

预训练模型方向一直都是大小厂的必争之地。对于中文预训练模型，将中文文本转成对应的token，到底是以字、还是词、或者字+词为单位，大家各有看法。

原创 PromptBERT: 利用Prompt改善BERT的句子表示

今天继续关注句子表示学习。之前笔者一直觉得Prompt就是概念炒作(可能我比较菜)，不觉得能有啥大的发展。但是近一年来，类似的论文层出不穷，不注意都难。今天这篇论文让我对Prompt有了很大的改观。...

原创 [ACL2022] DCLR: 无监督句子表征的去偏对比学习

句子表征一直是一个很卷的方向。从最开始的DSSM到现在的对比学习(如: SimCSE、CoSERT等)，效果不断被刷新。但是在对比学习中，有个问题一直待解决: 假负例。 即一个batch内除了自身以外全部视为当前样本的负例，这样显然有些简单粗暴。如下图:作者使用simcse训练好的模型在wikipedia的数据集上做了一个测试，当前一个样本和其在一个batch内的255个负例做了相似度计算，发现50%+的样本相似度都大于0.5，也就是有很多都是假负例。显然，这样的学习是有偏的。针对这种问题，本文提出了一种负

原创 Docker从入门到精通手册

文章目录Docker容器化技术介绍Docker中涉及的概念Docker命令拉取镜像查看本地的所有镜像查看所有运行的容器删除一个镜像删除一个容器启动一个容器停止一个容器的运行给运行的容器指定名字将宿主机中的文件传入容器内docker中重启之前的某个容器Docker运行mysql以及jdkdocker中安装mysqlDocker中安装jdkdocker中启动tomcat和nginx安装tomcat并启动安装nginx并启动数据卷数据卷的简单使用数据卷实现mysql数据的持久化DockerFile的使用Docke

原创 python并发编程手册

文章目录并发编程介绍python中的并发编程CPU密集型计算和IO密集型计算多线程，多进程，多协程的对比怎样根据任务选择对应技术全局解释器锁GIL多线程简单流程简单的一个多线程爬虫生产者消费者模式进行多线程爬虫线程安全概念线程锁使用实例线程池概念介绍线程池的使用方法使用线程池实现多线程爬虫使用线程池在flask-web服务中加速多进程多进程multiprocessing知识梳理多线程的实现使用多进程在flask-web服务中加速协程协程内容的介绍python异步IO库介绍: asyncio协程爬虫实现信号量

原创 2021-01-05

原创 Python语言面试问题集锦(实时更新ing)

1: python中小整数对象池 Python为了优化速度，使用了小整数对象池， 避免为整数频繁申请和销毁内存空间。Python 对小整数的定义是 [-5, 256] 这些整数对象是提前建立好的，不会被垃圾回收。在一个 Python 的程序中，无论这个整数处于LEGB中的哪个位置，所有位于这个范围内的整数使用的都是同一个对象。同理，单个字母也是这样的。 上图解释: 变量...

原创 ElasticSearch, Kibana整套安装以及和python的对接，并给出部分操作案例

目录一: 软件安装 1. 安装ElasticSearch 2. 安装ElasticSearch-Head 主要是为了可视化我们存储的数据 3. 安装Kibana 4. 安装python对接ElasticSearch对接的工具包(前提是你得有个正常的python环境) 5. 安装IK分词器插件 后面会用到二: python对接ElasticSearch案例 1. 创建索引 2. 删除索引 3....

原创 浅谈Positional Encoding(位置编码)和WordPiece

1.positional encoding

原创 机器翻译, 文本生成等任务评价指标 BLEU, ROUGE, PPL(困惑度)

一:BLEU 1.1 BLEU 的全称是 Bilingual evaluation understudy，BLEU 的分数取值范围是 0～1，分数越接近1，说明翻译的质量越高。BLEU 主要是基于精确率(Precision)的，下面是 BLEU 的整体公式。BLEU 需要计算译文 1-gram，2-gram，...，N-gram 的精确率，一般 N 设置为 4 即可，公式...

原创 tmux终端工具的简单使用

tmux终端工具的简单使用 安装方式: 在ubuntu下可以使用apt-get的方式安装，比如：sudoapt-getinstalltmux即可 在CentOS 7.x的系统下可以直接使用yum方式安装：yuminstall-y tmux 另外还可以使用源码的方式编译，地址：http://tmux.git...

原创 Google的bert预训练模型下载地址＋将tensorflow版本的预训练模型转为pytorch版本进行加载

google的bert预训练模型：BERT-Large, Uncased (Whole Word Masking): 24-layer, 1024-hidden, 16-heads, 340M parametersBERT-Large, Cased (Whole Word Masking): 24-layer, 1024-hidden, 16-heads, 340M parametersBE...

原创 keras中Conv， SeparableConv2D, DepthwiseConv2D三种卷积过程浅谈

Conv， SeparableConv2D, DepthwiseConv2D三种卷积浅谈画图能力有限，哪里不懂留言交流。

原创 keras各种层的简单说明

[神经网络]keras中的层全连接层：DenseActivation层：对一个层的输出添加激活函数Dropout层：每次更新参数的时候随机断开一定百分比(b)的输入神经元连接，用于防止过拟合Flatten层：用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。Reshape层：用来将输入shape转换...

转载 上采样，上池化，反卷积 详解

1、Upsampling（上采样）在FCN、U-net等网络结构中，涉及到了上采样。上采样概念：上采样指的是任何可以让图像变成更高分辨率的技术。最简单的方式是重采样和插值：将输入图片进行rescale到一个想要的尺寸，而且计算每个点的像素点，使用如双线性插值等插值方法对其余点进行插值来完成上采样过程。上采样2、上池化Unpooling是在CNN中常用的来表示max pooling的逆操作...

转载 Tensorflow实现的深度NLP模型集锦

本文转自： https://www.toutiao.com/a6685688607191073294/本文约2000字，建议阅读5分钟。本文收集整理了一批基于Tensorflow实现的深度学习/机器学习的深度NLP模型。 &...

原创 第十三天：《LeetCode一天一例》-----两个字符串之间的最小编辑距离（python实现）

最小编辑距离定义 将一个字符串变成另外一个字符串所用的最少操作数，每次只能增加、删除或者替换一个字符。 例1： ...

原创 通俗理解Word2Vec的数学原理

《通俗理解Word2Vec》目录简述Word2Vec CBOW模型用层级softmax实现CBOW模型负采样方式实现简述Word2Vec 首先，我们都知道Word2Vec是用来产生词向量的，词向量就是用一长串数字表示一个单词或者词语。一般这个过程是作为NLP的前导工作。基础性的东西在这不讲了。 Word2Vec有两个典型的模型：COBW...

转载 理解kaggle比赛大杀器xgboost

                             通俗理解kaggle比赛大杀器xgboost 说...

原创 gensim实现LDA主题模型-------实战案例（分析希拉里邮件的主题）

数据集下载：https://download.csdn.net/download/qq_41185868/10963668第一步： 加载一些必要的库， 我们用的是gensim中的LDA模型，所以必须安装gensim库import pandas as pdimport refrom gensim.models import doc2vec, ldamodelfrom gensim i...

原创 《算法原理讲解》：EM算法

目录通俗理解极大似然估计EM算法引例EM算法公式推导Jensen不等式EM算法的流程通俗理解极大似然估计 举个例子：假设有一百个男生，我们抽取五十个人进行身高的统计。 我们根据先验知识知道，身高服从高斯分布 ，但高斯分布的方差和均值不知道。 我们想通过抽取出的五十个人升高估计这两个参数，这就是极大似然估计。 后面累乘的那部分就是：...

原创 python3安装pyhanlp (中文自然语言处理的工具包) 超详细。

第一步： 首先要有个python的环境，还得有个java的环境（安装jdk8以上，并配置好环境变量）。自己想办法第二步：下载jpype的安装包 下载完成后切换到下载路径， 直接用pip装 pip3 install JPype1-0.6.3-cp36-cp36m-win_amd64.whl 这里之所以这样下载，就是因为直接用pip...

原创 深度学习项目四： 实现自己的中文分词模型，基于双向的LSTM（含数据和所需源码）

讲一下大概的思路： 数据有训练集（已分词的），词表，测试集（未分词的），测试集（已分词的），总共四个文件夹，具体看下面的截图。 训练集： 词表： 测试集（未分词的） 测试集（已分词的） 首先整理汉字到id的映射，就是将词表读入，然后将所有词连接起来，统计每个词出现的次数，...

原创 LSTM和GRU网络的介绍和区别

目录LSTMGRU最后说一下LSTM和GRU的区别LSTM首先看一下LSTM的结构：我们将结构拆开看：遗忘门： 就是将上一层的输出，和本层的输入联合起来乘个权重，加个偏置。最后经过一个sigmoid。。sigmoid函数值为0代表忘记记忆门： C_{t-1}就是来自上一层记忆，我们现在要计算本层传给下一层的记忆 C...

原创 深度学习项目三： 自动语音识别---采用的是WAVENet网络结构（含数据和所需源码）并讲了空洞卷积+一维卷积

自动语音识别目录自动语音识别介绍几个前导知识：了解数据集代码实现+讲解首先我们看一下WaveNet的网络结构： 我大概描述一下这个网络的结构： 首先输入数据，这里我们输入的是音频的mfcc特征（不懂没关系，等会说）， 接着进行一个一维的空洞卷积，然后进入到残差块中，残差块是这样的结构：将进来的数据再进行一次空洞卷积，分两路，一路是用tanh()做激...

原创 深度学习项目二： 图像的风格迁移和图像的快速风格迁移 （含数据和所需源码）

图像风格迁移是指，将一幅内容图的内容，和一幅或多幅风格图的风格融合在一起，从而生成一些有意思的图片一：传统的图像风格迁移 为了让我们生成的迁移图在风格上与风格图片尽可能相似，在内容上尽可能与内容图相似，我们这里引入两种损失：内容损失函数和风格损失函数。 内容损失： 两张图片在内容上相似，不能仅仅靠简单的纯像素比较。 CNN具有抽象和...

原创 深度学习项目一： keras实现歌词的自动生成 （含数据和所需源码）

数据集下载：点我下载数据集我们实现的是歌词的自动生成。 主要看我在代码中的注释。。注释的很详细，不懂可以留言。1：我们加载所需要的模块，这里的模块都是比较常用的模块from keras.models import Sequentialfrom keras.layers import Dense, LSTM, Embeddingfrom keras.callbacks imp...

原创 python中 argparse（命令行传参）的用法

了解一下命令行参数的用法先给出add_argument中参数列表，下面有常用参数使用的栗子：name or flags - 选项字符串的名字或者列表，例如foo 或者-f, --foo。 action - 在命令行遇到该参数时采取的基本动作类型。 nargs - 应该读取的命令行参数数目。 const - 某些action和nargs选项要求的常数值。 default - 如果命令...

原创 python开源库dlib入门，并进行人脸检测，看看周杰伦和东尼大木到底有多相似？看完本文再不要说，周和东像。。

重点关注：强调一下，这里没有任何侮辱周董的意思，我也是一名Jay迷。只是为了学习，大家见谅。。源代码戳这里开启dlib库的学习第一步：首先得安装dlib库，这里建议直接下载dlib，不然用pip直接装，需要安装cmake..这里我提供的是python3.6的dlib。。下载地址：点我下载 接着安装 pip installdlib-19.8.1-cp3...

原创 二：PyQt5实践《做一个简单翻译软件》此处调用的是百度的翻译接口-----内附源码

首先展示一下最终的实现结果：源代码下载这里调用的是百度的翻译接口，我们通过访问百度翻译可以获得对应的url 和请求数据。。第一步： 我们打开百度翻译的网址，在翻译这边随便输入一个中文，可以发现下面那个请求包。。然后打开，会发现对应的url 和请求数据。等会我们模拟浏览器进行发送请求。。然后获取翻译的内容。第二步：我们先简单做一个不带界面的翻译代码 ...

原创 《第二天》Linux学习过程中的笔记（频繁使用的命令）

Linux命令总结：1： cat命令查看一个文件中内容。主要用来查看内容较少纯文字的文件。加 -n显示行号 2： more命令用于查看纯文本文件（内容较多） 可以逐行往下看3： head命令用于查看纯文本的前N行 4： tail命令用于查看纯文本文档的后N行或持续刷新新内容 tail -f 文件：实时刷新 5： w...

原创 《第一天》Linux学习过程中的笔记

Linux命令总结(第一天)1：echo 命令用于在终端输出字符串或变量提取后的值。。 例如1：直接将字符串打印出来 例如2：也可以起到printf的作用，打印每个变量的值 2：date命令的用法：打印日期例如1：按照默认方式查看当前日期 例如2：按年-月-日 时：分：秒 查看...

原创 【问题7】：《人脸识别实战》--采用的是SVM，数据集小，直接用sklearn做的

本次我们实战人脸识别。。采用的数据集下载：点我下载数据集第一步：先导入我们本次实验所需要的全部模型import timeimport loggingfrom sklearn.datasets import fetch_olivetti_facesimport numpy as npimport matplotlib.pyplot as pltfrom sklearn.model...

原创 【Django系列】四：Django搭建一个个人博客流程（标签云，博客统计）

第四天：31：实现大小不同的标签云 将所给资源的tags.html 拷贝到本项目的templates中，（这里的tags.html我已经修改了，大家要做的就是拷贝）32：编写视图函数 在myblog下的views.py中添加： 33：添加url 在blog目录下的urls.py中添加： 34：给头部的标签加链接，和30步的做法类似...

原创 【Django系列】三：Django搭建一个个人博客流程（分页和博客的归档）

第三天：21：分页功能的实现： 现在我们的博客可能只有几篇文章，因此可以全部在首页展示出来，随着博客数量的增加，当达到几十上百篇时，全部展现在首页是不显示也是不友好的，这个时候我们就需要对博客进行分页了。django有它自带的分页功能：Paginator。不过我们用在它基础上开发的另一个包：django-pure-pagination。。下载地址：https://githu...