真的是个瘦子

原创 TypeError: ‘instancemethod‘ object has no attribute ‘__getitem__‘解决方案

num_units = queries.get_shape().as_list[-1] 报错TypeError: 'instancemethod' object has no attribute '__getitem__'结果为少了一个（）修改为 num_units = queries.get_shape().as_list()[-1]

原创 tensorflow 和keras 转化的时候

keras :a =Input( shape=(1,))a 的shape为（？，1）tensorflow :a = tf.placeholder( shape=(1,), name=prefix + fc.name, dtype=fc.dtype)生成的a 为 （1，）应该转化为a = tf.placeholder( shape=(None,1), name=prefix + fc.name, dtype=fc.dtype)...

原创 dataframe 筛选所需行

import pandas as pddata= pd.read_csv('path',names = ['user_id','item_id','rating','timestamp'])user_cnt = data.groupby(['user_id']).size().to_frame('user_count').reset_index()user_filter_id = user_cnt[user_cnt['user_count']>=10]['user_id'].tolist().

原创 Fine-tune BERT for Extractive Summarization（有代码pytorch）

本论文是 extractive summarization摘要提取通常被定义为一个二分类问题，二分类问题表明这个句子是否在这个摘要中。我们的提取模型是建立在这个编码器之上，通过堆叠几个句子间Transformer来捕获用于提取句子的文档级特征。抽取结构使用encoder-decoder结构，将同一个经过预先训练的BERT编码器与随机初始化的Transformer结合起来。我们设计了一个新...

原创 Generative Adversarial Network for Abstractive Text Summarization∗ AAAI2018

摘要提出了使用生成器和鉴别器来进行文本摘要提取的模型，使用生成器G来作为 an agent of reinforcement learning,将raw text 作为预测输入 来预测摘要。我们还建立了一个鉴别器，试图区分生成的摘要和真实摘要。挑战：神经序列到序列模型往往会产生琐碎的、通用的总结，通常涉及高频短语生成的摘要语法性和可读性有限在大多数以前的工作中，标准的序列到序列模型被训...

原创 Bert4rec : sequential recommendation with bidirectional encoder representations from transformer

局限性：之前的模型时从左到右的单向结构限制了用户行为序列中隐藏表示的能力；它们通常假定一个严格有序的序列，而这并不总是实用的。提出了 bert4rec 是应用deep biderectional self-attention 来对用户的行为序列进行建模的。为了避免信息泄露，高效的训练双向模型，我们采用Cloze目标来进行顺序推荐，预测序列中的随机蒙面项，通过对其上下文的联合条件进行预...

原创 Pretraining-Based Natural Language Generation for Text Summarization

摘要提出了基于预训练的编码解码框架，对于encoder： 使用Bert对输入序列进行特征表示对于decoder，是主要分为两阶的第一阶段 使用基于transfomer的解码器生成一个草稿的输出在第二阶段，我们对该draft序列的每个字进行掩码，并将其馈送到Bert，然后通过组合由Bert生成的输入序列和草图表示，我们使用基于变压器的Decodd ER，用于预测每个屏蔽位置的精炼...

原创 12.10 抽取式摘要论文阅读 HIBERT: Document Level Pre-training of Hierarchical Bidirectional Transformers for D

摘要我们提出了Hiebert（作为来自变压器的分层双向编码器表示的缩写），用于文档编码和使用未标记数据对其进行预训练的方法先预训练摘要模型的复杂的部分，（the hierarchical encoder），然后，我们学习从预先训练的编码器初始化我们的模型来对句子进行分类。无监督的模型ModelHibbert在培训过程中的架构。Senti是上述文件中的一句话，总共有4个句子。在编码期间掩...

原创 pytorch 中判断两个tensor 是否相等 输出 为 0，1

原创 python dict.get 用法

dict.get(key, default=None)#举例word2idx.get(word,1) for word in sentence# 意思是 如果word 没在词典中，返回默认值 1 #可以在将句子转换成index 使用...

原创 将bert中的字向量提取出来 并保存成npy文件

因为我们是要使用bert的词向量，希望可以简单如word2vec 一般，拿来就用 ，所以将 bert_model.ckpt中的保存的word_embedding提取出来，并进行保存。也是一个tensorflow 保存 提取 模型的方法首先 下载 bert中文预训练模型 chinese_L-12_H-768_A-12 这是一个768维的中文词向量 预训练模型...

原创 pandas groupby 使用记录

在处理数据，做特征的时候，pandas 中groupby是我们常用的一个函数。此贴为一个总结帖。会不断贴上使用中所遇到的pandas新的使用方法。遍历groupby的分组grouped = df.groupby('buyer_admin_id')for i,g in grouped: print(i) # i就是 buyer_admin_id print(g) #g就是每个分组的da...

原创 python3报错：UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in ran

貌似0xe6的错误和其他的错误是不一样的但是anyway都是编码出错了 hypotheses_1 = [line.strip().split() for idx, line in enumerate(open(model_1_rewrite_test_file, 'r').readlines())]加入encoding时错误消失 hypotheses_1 = [line.str...

原创 QuaSE:SequenceEditingunderQuantifiableGuidance

这是一篇文本生成的论文。编辑输入序列生成满足相对应于定量值（评分值）的输出文本，要求保留输入序列的主要内容。（内容不变，情感变化）将其分为内容部分，结果部分（情感部分）。一共有三个rnn组成。使用了变分自编码器。使用了伪平行对语句。使用了对偶重建。使用了量化的引导...

原创 shell 脚本

在变量的设置当中，单引号喝双引号的用途有何不同？答： 单引号与双引号的最大不同是双引号仍然可以保有变量的内容，但单引号内仅能是一般字符，而不会有特殊符号。...

原创 Multi-Pointer Co-Attention Networks for Recommendation

摘要我们基于指针的方法使用基于gumbel-softmax的指针机制，该机制允许将离散向量合并到可微神经结构中。我们的指针机制本质上是共同关注的，学习指针依赖于用户-项目关系。最后，我们提出了一种多指针学习方案，该方案能够将用户-项目交互的多个视图结合起来。介绍评论应该独立建模,(1)评论(2)并不是所有的评论都是同样重要的是,应该不同的加权,(3)每一个审查的重要性应该是动态的,依赖于目标...

原创 STAMP:Short-TermAttention/MemoryPriorityModelfor Session-basedRecommendation

基于会话的推荐的短期注意/记忆优先级模型摘要然而，现有的方法都没有明确考虑到用户当前操作对其下一步行动的影响。在本研究中，我们认为长期记忆模型可能不足以对长会话进行建模，而长会话通常包含由意外点击引起的用户兴趣漂移。提出了一种新的短期注意/记忆优先级模型，该模型能够从会话上下文的长期记忆中获取用户的一般兴趣，同时考虑到用户当前的兴趣来自于最后一次点击的短期记忆。在2015年RecSys挑战赛...

原创 Leveraging Meta-path based Context forTop-N Recommendation with A NeuralCo-AttentionModel

摘要异构信息网络（Heterogeneous information network）（混合网络）被广泛应用于推荐系统由于其卓越的处理复杂文本信息的能力。现存方法两个主要的缺点：- 这些模型很少学习一个精准的表达在path 或者meta-path上。- 在交互中，他们没有考虑元路径和所涉及的用户项对之间的相互作用为了解决这些问题，我们开发了一个具有共同注意机制的深度神经网络，利用丰富的基...

原创 推荐系统论文数据集预处理总结

PersonalizedTop-NSequentialRecommendationvia ConvolutionalSequenceEmbedding将每个用户的前百分之70的actions用做训练集，然后将下一个百分之10的actions用作验证集寻找最佳超参数。每个用户剩下的百分之20的actions用作测试集，以作测试集。...

原创 灵感一现

GNN 图神经网络哈希算法

原创 Session-basedRecommendationwithGraphNeuralNetworks论文笔记

摘要基于会话的推荐问题旨在预测基于匿名会话的用户行为.以前的算法不能保证获得准确的向量，在保证嵌入精度的基础上，考虑到项目的复杂转换，提出了一种新的嵌入方法，SR-GNN/该方法将会话序列建模为图结构数据。基于会话图，GNN可以捕获复杂的项目转换，这是传统顺序方法难以揭示的。然后，使用注意力网络将每个会话表示为全局偏好和该会话当前兴趣的组成。传统方法的局限性首先，由于在一个会话中没有足够的...

原创 心得体会

在深度学习时 遇到一个问题，不应该是直接去考虑怎么解决这个问题，而是应该去想这个问题比最基本的问题来说有哪些先验知识。比如在图像识别和字体识别时，在遇到字体识别时，首先想到的是字体和普通的图像是不一样的，它是线形的。是条状的。要把这个加到先验知识中。损失+正则项 = 极大似然估计+先验= 后验估计。## 极大似然估计我们需要去求这个似然函数的值是最...

原创 Next Item Recommendation with Self-Attention

摘要我们的模型利用自我注意机制从用户的历史交互中推断出项目与项目之间的关系有了self-attention，用户互动轨迹中每个项目的权重就能更好地代表用户的兴趣。模型最后使用metric learning 框架进行训练，既考虑了短期特征又考虑了长期特征。我们的模型采用度量学习框架的形式，在该框架中，用户的自出席表示与预期(金色)项之间的距离在训练期间被拉近。模型我们的模型包括self-at...

原创 剑指offer 数组

数组概念介绍数据是最简单的数据结构，它占据一块连续的内存并按照顺序存储数据。创建数组时，首先指点数组的容量大小，然后根据大小分配内存。缺点：空间效率不高。经常有空闲的区域灭有得到充分利用。优点：时间效率很高。可以根据时间效率高的特点，来实现简单的哈希表：把数组的下标设为哈希表的键值，数组中的每一个数字设为哈希表的值，“键值-值”配对。快速高效。解决方法: 动态数组。这对时间性能有负面影响...

原创 star- Transformer

摘要虽然transformer在很多NLP任务上都取得了很大的成功，但是它的结构很重，注意力连接是完全连接的，这导致了它对大量训练数据的依赖。为了降低模型的复杂性，我们用星型拓扑结构代替了全连通结构。其中每两个相邻节点通过一个共享中继节点进行连接。因此，复杂性从二次降低到线性，同时保留捕获局部成分和长期依赖关系的能力。介绍star-transformer核心思想是通过将完全连接的拓扑结构移动...

原创 Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding

摘要top-n序列推荐模型讲每个用户过去有过交互的商品看成一个序列，目的是来预测用户未来可能有交互行为的商品的前N个的排序。这个交互作用的顺序揭示了序列patterns扮演了一个重要的角色，揭示了序列中最近的项目对下一个项目的影响更大。在这篇论文中提出了convoltional sequence embedding recommendation model (caser).其主要思想是将在时间和...

原创 torch.gather 使用 及 报错 positional argument follows keyword argument

会报错 positional argument follows keyword argument出现这种情况的可能性为 因为 dim使用了keyword dim,而在index的时候没有使用，就会报错，可以都不使用keyword，要么就都使用keyword常用场景，因为torch.gather()是一个根据索引来提取tensor中对应所以位置的函数...

原创 推荐系统 有关recall,precision.实验总结

recall为用户u推荐N个物品（记为R（u）），令用户在测试集上喜欢的物品的集合为T（u），然后计算召回率。召回率描述还有多少比例的用户-物品评分记录包含在最终的推荐列表中。所以T（u）是测试集的总长度。GRU4REC中，计算TOP 20的召回率时，每个session的target只有一个，所以T（u）的长度是1，意思为当取推荐的前20个数值时，（也就是softmax的结果取前20个概...

原创 Python | Pandas Series.nunique() 用法

Pandas nunique() 用于获取唯一值的统计次数。df = pd.DataFrame({'A': [1, 2, 3,5], 'B': [1, 1, 1,2]})df.nunique()A 4 #A列有四个不同的值B 2 #B列有两个不同的值

原创 datetime 转换 时间格式 处理数据常用

str 转换为datetime很多时候，用户输入的日期和时间是字符串，要处理日期和时间，首先必须把str转换为datetime。转换方法是通过datetime.strptime()实现，需要一个日期和时间的格式化字符串：from datetime import datetimecday = datetime.strptime('2015-6-1 18:19:59', '%Y-%m-%...

原创 PYTORCH BUG 总结！！！！！！！！！

1、根据上图中的bug，查找可得，embedding的num_embeddings 是要设置成你的字典的大小，但是要记住，一定是vocab_size + 1，而不是vocab_size，即要设置为字典大小+1。...

原创 Pytorch nn.Embedding用法（包括加载预训练模型，加载Word2vec,加载glove）

pytorch nn.Embeddingclass torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sparse=False)num_embeddings (int) - 嵌入字典的大小...

原创 python每日算法题|二进制中1的个数

题目描述输入一个整数，输出该数二进制表示中1的个数。其中负数用补码表示。

原创 precision,recall 计算代码

之前写precision，recall的代码都是用了两层循环，今天看到一个比较优美的写法，用python 的set，以及交集intersection，所以Mark一下。这个文档将会Mark所有觉得不错的计算评测标准的代码precision Recalldef cal_precision_recall(targets,predictions,k):# targets是真实值，predic...

原创 pytorch repeat的用法

repeat 相当于一个broadcasting的机制repeat(*sizes)沿着指定的维度重复tensor。不同与expand()，本函数复制的是tensor中的数据。import torchimport torch.nn.functional as Fimport numpy as npa = torch.Tensor(128,1,512)B = a.repeat(1...

原创 pytorch masked_fill

import torch.nn.functional as Fimport numpy as npa = torch.Tensor([1,2,3,4])a = a.masked_fill(mask = torch.ByteTensor([1,1,0,0]), value=-np.inf)print(a)b = F.softmax(a)print(b)tensor([-inf,...

原创 每日算法题 青蛙变态跳台阶

题目描述一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。代码如下class Solution: def jumpFloorII(self, number): # write code here sum = pow(2,(number-1)) re...

原创 每日算法题 跳台阶

首先，参考其他的博主 放出这张图，从这张图中我们可以看出，青蛙跳台阶问题可以 是等同于斐波那契数列的。所以可以使用递归或者循环的方式处理。class Solution: # @param {integer} n # @return {integer} def climbStairs(self, n): if n==1 or n==2: ...

原创 报错 ValueError: too many values to unpack (expected 2)

enc_output,enc_slf_attn = self.slf_attn(user_embedding,item_input,item_input,mask = slf_attn_mask)实际上只有一个返回值，但是我却写了两个返回值，所以报错。改正为enc_output = self.slf_attn(user_embedding,item_input,item_in...

原创 每日算法题之 斐波那契数列

大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项（从0开始，第0项为0）。n<=39# -*- coding:utf-8 -*-class Solution(): def Fibonacci(self, n): # write code here a = [] a.append( 0...