红酒暖心不暖胃

原创 All mistakes are not equal: Comprehensive Hierarchy Aware Multi-label Predictions (CHAMP)

多层级loss函数

原创 representation learning for resource-constrained keyphrase generation

关键词生成2022

原创 InferSent

Supervised Learning of Universal Sentence Representations from Natural Language Inference DataGitHub论文目的NLP系统基于word embedding作为base features，却很少有成功的sentence embedding。本论文基于Stanford NLI数据得到好的sentence representations，也可以转换到其它数据集。相关工作word2vecgloveSkip

原创 ERNIE-DOC

ERNIE-DOC: A Retrospective Long-Document Modeling TransformerGitHub论文目的因为随着长度的增加，transformer的内存和时间消耗成倍增加，所以transformer不适合处理长文本。简单的截断文档或使用稀疏attention并不能解决这个问题，提出ERNIE-DOC：一种基于循环transformer的文档级语言预训练模型，由两种技术组成：retrospective feed mechanism（回溯） and the enhan

原创 GATER

Heterogeneous Graph Neural Networks for Keyphrase GenerationGitHub论文目的keyphrase generation(KG)同时预测present keyphrases和absent keyphrases，但是仅依靠source document会产生不可控和不准确的absent keyphrases。为了解决这个问题，本论文基于图从相关的参考文献中获取显式的信息，首先从预定义的索引中找到与source document相似的文档-关键词

原创 HiDEC

HIERARCHY DECODER IS ALL YOU NEED TO TEXT CLASSIFICATIONGitHub论文目的Hierarchical text classification (HTC) 会有数据不平衡和层级依赖的缺点，有local和global两种改进方向，hierarchy decoder (HiDEC)基于编码器、解码器的层次递归解码，The key idea of the HiDEC involves decoding a context matrix into a su

原创 TRANS-ENCODER

TRANS-ENCODER: UNSUPERVISED SENTENCE-PAIR MODELLING THROUGH SELF- AND MUTUAL-DISTILLATIONSGitHub论文目的sentence similarity and paraphrase identification 两句话进行对比有两种常见的方法： bi-encoders and cross-encoders。Bi-encoders产生固定维度的句子表达，效果不如cross-encoders好，cross-encode

原创 Fast, Effective, and Self-Supervised:Mirror-BERT

Fast, Effective, and Self-Supervised: Transforming Masked LanguageModels into Universal Lexical and Sentence Encoders论文目的没有经过特定任务微调的预训练MLMs对句子编码是无效的，本论文想基于自监督将MLMs在不引入新数据的前提下对句子编码。提出Mirror-BERT：简单、快速、有效，通过对字符串进行小的修改形成正样本进行微调，有些数据集上效果与sentence-bert可媲美相关

原创 开源数据集

遇到哪个加哪个NLPSTSSTS中的训练、测试、验证集的数量，语义文本相似性基准数据集，常用于无监督模型训练的测试集，使用Spearman correlation作为评价指标。STS-B http://ixa2.si.ehu.eus/stswiki/index.php/STSbenchmarkmain-captionsMSRvid2012test00005.000A man with a hard hat is dancing.A man wearin

原创 ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding

论文目的SimCSE 使用dropout作为数据增强的最小方法，因为transformer使用位置embedding，句子的长度信息会被编码到句子embedding中，所以unsup-SimCSE的正对包含相同的长度信息。所以unsup-SimCSE训练的正样本对估计是有偏的，会倾向于将有相同或类似长度的句子是相似的，通过统计观察，发现unsup-SimCSE的确有这个问题。为了缓解它，使用一个简单的重复操作来修改句子，然后将句子和修改后的句子输入transformer来得到正对，且从CV中引入momen

原创 R-Drop: Regularized Dropout for Neural Networks

论文目的dropout会给训练和测试的过程中带来不一致，regularize dropout 简单的一致性训练策略，迫使dropout产生的子模型输出分布一致，这是通过约束每个样本两个子模型的输出的双向KL散度来达到的。在 neural machine translation, abstractive summarization, language understanding, language modeling, and image classification五个任务上做了实验。方法R-Drop

原创 SimCSE: Simple Contrastive Learning of Sentence Embeddings

论文目的SimCSE:simple contrastive sentence embedding framework首先提出一种无监督的方法，仅使用dropout作为噪声，进行对比训练。与有监督的方法效果类似，dropout充当了最小的数据增强的方法，删除它模型会崩溃。然后提出一种有监督的方法，使用自然语言推理（NLI）中的蕴含作为正对、矛盾作为负例，在STS任务上评估SimCSE，在无监督和有监督的任务上都有提升。还在理论和试验上证明了对比学习目标将预训练嵌入的各向异性空间正则化，使其更加均匀。

原创 Simple Contrastive Representation Adversarial Learning for NLP Tasks

这里写自定义目录标题论文目的相关工作contrastive learningAdversarial Training and Adversarial Attack本文方法Adversarial Training And Adversarial Attack MethodsSelf-supervised Contrastive LearningSupervised Contrastive Adversarial LearningUnsupervised Contrastive Adversarial Lear

翻译 attention

seq2seq_3

原创 XLNet

XLNet:Generalized Autogressive Pretraining for Language Understanding摘要类似于Bert基于上下文进行建模的DAE（denoising autoencoding）的预训练模型比基于AR（autoRegressive）的语言模型得到了更好的效果。然而，Bert乎是了mask之间的依赖关系，并且预训练和微调之间的不一致（微调的时候没有mask），基于这样的优缺点，我们提出XLNet，通过最大化排列组合的因式分解的极大似然估计学习上下文的信息

原创 FastBert

FastBert：a self-distilling bert with adaptive inference time摘要类似Bert的预训练语言模型已经被证明有很好的效果，但是计算昂贵，模型很难加载。Fastbert在微调时使用自适应机制，确保模型性能的前提下，提高效率，根据不同需求，灵活调整速度，同时避免了样本的冗余计算。1. introduction在未标注的文本上预训练，标注的样本上进行微调，预训练模型Bert、gpt、xlnet在很多nlp任务上有了很大的效果提升。缺点：计算量大、推

原创 leetcode-乘积最大子序列

原创 leetcode-最大子序和

原创 leetcode-4sum II

原创 leetcode-4sum

原创 leetcode-add two numbers

原创 leetcode-3sum closest

原创 leetcode-3sum

原创 leetcode-Two Sum

速度不算很快，但这是第一次刷题，记录一下。

转载 NLP学习过程中参考的网页

https://www.leiphone.com/news/201709/8tDpwklrKubaecTa.html 雷锋网 完全图解RNN、RNN变体、Seq2Seq、Attention机制https://www.cnblogs.com/wangduo/p/6773601.html?utm_source=itdadao&utm_medium=referral ...

原创 python包使用过程

flask + jpypeflask会自动启动两次，原因：当调用app.run()的时候，用到了Werkzeug库，它会生成一个子进程，当代码有变动的时候它会自动重启如果在run（）里加入参数 use_reloader=False，就会取消这个功能，当然，在以后的代码改动后也不会自动更新了。jpype如果被启动两次，程序会僵死，所以在两个一起时，应该让flask只启动一次。...

原创 knn、NB、决策树--李航统计学习方法有感

原创 感知器--李航统计学习方法有感

第一次系统的学习统计，对感知器有了更深的认识，基于我很懒而且不想打公式，故将学习过程手写下来，忽略我那很丑的字以及不咋地的拍照技术，能起到想要的作用就好。...

原创 HMM、MEMM、CRF学习小结

首先我是从https://www.zhihu.com/question/35866596和https://www.jianshu.com/p/55755fc649b1以及《数学之美》中学习的这三种概念，现在做个总结。下面均已词性标注为例。张三(名词)在(介词)星巴克(名词)喝(动词) 咖啡(名词)。1.生成式：隐马尔科夫模型HMM o观测值：张三i状态值：名词A：状态转移概率矩阵p(i2|i1) ...

原创 excel想把B列、C列的内容插入到A列里面怎么操作

=OFFSET($A$1,INT((ROW()-3)/4),MOD(ROW()-3,4))https://zhidao.baidu.com/question/455067254.html 参考余数和取整重点说一下(ROW()-3)，这里的ROW()具体指当前行，3指你这个公式开始的当前行的行数其实整体就是再凑行数和列数 INT部分是行数 MOD部分是列数。要是我想让四列横的变一列竖的呢比如1 2 ...

原创 nlp学习--点滴

    很久没写过博客了，这段时间干了些啥呢？针对语音分类做了一个简单的demo，学了一些nlp的基本知识，比如分词、语法分析、命名实体识别等。貌似学习的东西挺多的，结果发现没有记录还是没记住啥，现在开始记录一下下。    分词，我使用的是jieba分词和hanlp分词，在命名实体识别的时候又把Stanford分词看了一下。    分词的原理是什么呢？分词一开始是“查字典”，即把句子从左到右扫描一...

原创 java输出jar包，在服务器上运行

java输出jar包：1.file——project structure——artifacts点+健，jar——from modules with dependencies进入main class 选择你的main所在的java文件jar file from libraries我选择第二个，这个会把程序包含的jar包都显示出来（多个jar包），我选第一个一直有错误（这个会形成一个jar包）dire...

原创 java正则表达式

新接触Java时间不长，学一点用一点。这两天涉及到在句子中选择关键词，进行分门别类。开始使用的是contains，后来发现当同时包含多个关键词时，无法表示出关键词的先后顺序，所以自学了一点正则表达式。            String temporary = "123"; temporary.matches("^[0-9]*$"); tempora...

原创 idea远程连接hive

虽然网上介绍idea远程连接hive的方法挺多的，但是我还是整了一段时间才连接成功，在这边记录一下，方便他人，方便自己。首先看一下我通过xshell5远程连接hive的配置这是登陆时候的界面，可以看到我选择的是10.100.34.110这个服务器 第一种，使用SSH，在idea中Tools--StartSSH session--edit host --172.18.254.49    Port -...

原创 hive导出数据&&导入数据

因为工作的原因，接触hive有一小段时间了，之前经常是查询或者创建新表，这是第一次导出数据然后导入到另一个服务器里并且建立新表，倒腾了有一上午的时间，记录一下。。。hive导出表查询表结构语句：show create table tm_research.collection_offline_user；CREATE TABLE `dm_research.collection_offlin

原创 opencv2.4.13+win10+vs2015

这已经不是我第一次在windows下安装opencv的库了，但是过程并没有轻松多少啊1.从链接：https://pan.baidu.com/s/1cJKngE 密码：hpl7上下载opencv2.4.13，官网上也可以，只是太慢了。。2.下载好以后提取，提取的速度还是挺快的，会得到一个opencv的文件夹，打开build/X86下可以看到，它有v11和v12，但是我使用的是vs2015，所

原创 matterport MASK RCNN配置

2017.11.29GitHub地址：https://github.com/matterport/Mask_RCNN首先表达一下对凯明大神和RBG大神的膜拜！1.我是在Ubuntu16.04的环境下，开辟了一个虚拟环境，1.1 创建虚拟环境　创建python3环境virtualenv --python=/usr/bin/pyhton3 ven

原创 记录一些软件安装过程参考的博客

https://blog.csdn.net/kisslotus/article/details/78227207使用中文维基百科进行Word2Vec实验https://www.cnblogs.com/techiel/p/7490435.htmlTensorFlow安装及jupyter notebook配置http://blog.csdn.net/wwwdc1012/article/...

原创 mask rcnn mxnet

GitHub地址：https://github.com/TuSimple/mx-maskrcnn首先表达一下对凯明大神和RBG大神的膜拜！训练准备1.首先下载Cityscapes数据（gtFine_trainvaltest.zip和leftImg8bit_trainvaltest.zip）下载地址是https://www.cityscapes-dataset.com/，它需要注册，并等

原创 Getting started with VLAD

本篇博客介绍了如何使用C API计算一副图像的VLAD，更多细节请看http://www.vlfeat.org/api/vlad-fundamentals.html（VLAD的定义和计算）函数vl_vlad_encode能够获得一系列的VLAD特征，数据类型可以是float或者double。它需要一个视觉词典，比如说从K-means聚类中得到的，进一步，词典元素的特征分配必须是预处理的，比如通