wang2008start的专栏

原创 tensorflow各版本间踩过的坑

问题一：TypeError: Expected int32, got list containing Tensors of type ‘_Message’ instead.tensorflow 函数tf.cocat([fw,bw],2)出错:Expected int32, got list containing Tensors of type ‘_Message’ inst 查看原因是11版本的函

原创 GPU版Tensorflow安装 centos7 64位

cuda安装1.uname -m && cat /etc/*release 2.gcc -version 3.wget http://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-repo-rhel7-7.0-28.x86_64.rpm ( RPM是RedhatPackageManager的缩写，是由Re

翻译 TFLearn Tutorials | TensorFlow入门

TFLearn是把常见的例子做了个抽象和封装，使用更加方便，对于学习tensorflow有很大帮助。网络结构包括Alexnet、VGGNet、Network in Network、Highway Network、Residual Network、GoogleNet、AutoEncoder等，使用数据集包括MNIST和CIFAR-10等，地址：TFLearn(https://github.com

翻译 TensorFlow的使用教程与案例

 TensorFlow Examples 简单的TensorFlow入门资料，对于快速全面的认识和使用TensorFlow还是很有帮助的。 　　0 - Prerequisite    Introduction to Machine LearningIntroduction to MNIST Dataset 　　1 -  Introduction Hello Wo...

原创 基于Prompt Learning的信息抽取

清华；liuzhiyuan；通过规则制定subpromptRelation Extraction as Open-book Examination: Retrieval-enhanced Prompt TuningACM SIGIR 22；浙大；chenhuajun & zhangningyu 团队；将关系抽取视为开卷，训练过程中通过[MASK]的向量，构建知识embedding库，以及KNN检索。Inference时，考虑KNN的topn结果，可以提升模型的鲁棒性和在长尾数据上的效果。WWW22；浙大；c

原创 Prompt Learning 的几个重点paper

该方法其实和构造Prompt类似，只是Prompt是人为构造的“显式”的提示，并且无法更新参数，而Prefix则是可以学习的“隐式”的提示。为了防止直接更新Prefix的参数导致训练不稳定和性能下降的情况，在Prefix层前面加了MLP结构，训练完成后，只保留Prefix的参数。移除重参数化的编码器（以前的方法利用重参数化功能来提高训练速度和鲁棒性如：Prefix Tuning 中的 MLP 、P-Tuning 中的 LSTM，但这里作者发现重参数化的改进很小，还会影响模型的表现）。

原创 基于对比学习的信息抽取

对比学习在信息抽取(实体识别和关系抽取)等领域的应用，论文选自ACL、EMNLP、NAACL等，包含论文链接

原创 ERROR: No matching distribution found for setuptools＞=40.8.0 解决方法

python包安装

原创 单机多卡训练

启动方式的修改单机单卡的启动python run.py --model bert单机多卡的启动，2是卡的个数python -m torch.distributed.launch --nproc_per_node 2 run.py --model bert卡的设置方式修改上面改成分布式启动后，会自动传 local_rank 参数给程序，我们需要解析收到的 local_rank参数并进行设置parser.add_argument("--local_rank", type=in.

原创 EMNLP2021 generation相关论文

Contrastive Domain Adaptation for Question Answering using Limited Text Corpora $Q^2$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering A Large-Scale Dataset for Empathetic Response Generation

原创 Low-Resource Knowledge-Grounded Dialogue Generation_biji

将 transformer 的 encoder-decoder 改为 两个encoder+一个decoder，具体为dialog encoder和knowledge encoder，相加, 通过controller 来学习knowledge部分和 dialog 部分的权重。整体学习过程分为三阶段，第一阶段将两个 encoder 分别单独学习，第二阶段通过远程监督构造数据集，将两个 encoder 联合学习。通过检索和 dialogue 最相似的 document 构造弱监督伪知识数据集。..

原创 词汇约束的 bart 生成

方法生成中包含指定的 keyword（可指定多个keyword）。一般处理此类问题时，把工作放在decoder阶段，这里将主要工作放在 encoder 阶段，encoder 过 softmax 后 进行分类，每个 token 是要进行拷贝/替换/插入（0/1/2） 的 action操作的某种。在decoder时进行相关操作。 生成包含指定keyword的任务，这里需要迭代多次才能完成，首次输入只有指定的keyword，对每个keyword的左右生成相应词，将输出作为第二阶段的输入，如此迭代。结束条件？

原创 Semantic Parsing_biji

语义解析：将自然语言句子转换成计算机可识别的、可计算的、完全的语义表示，如lambda-表达式、SQL、语义图等基于深度学习的语义解析方法seq2seq，seq2tree，seq2act优缺点：seq2seq仅把语义表示扁平序列化，忽略了层次结构信息。seq2tree 生成层次结构化的语义表示。attention学习词语到词语语义表示之间的软对齐。seq2action 用语义图表示语义，用动作序列编码语义图的构建目标语言是形式化语言，这里的 decoder 使用严格的约束条件。基于预训练

原创 知识图谱2021 paper_biji

Improving Conversational Recommender System by Pretraining Billion-scale Knowledge Graph利用商品图谱 pretrain 得到商品表示，图谱结构信息使用的最简单的 transR 进行，和普通特征一起过推荐排序模型。重点是商品图谱的构建，由用户 点击/收藏 商品，商品的类别属性，本session的关键词等构件图谱。Billion-scale Pre-trained E-commerce Product Kn.

原创 Emotion-cause span extraction_biji

emotion cause identification 片段抽取，将造成某种情感的原因抽取出来，片段抽取采用的阅读理解的方式，找到 span 的 start 和 end 位置。模型先经过Transformer，再经过基于上下文的注意力，基于情感的注意力和基于位置的学习，最后经过全链接，loss 为 span_start + span_end + token_softmax_probability...

原创 fatal: unable to access ‘https://github.com/.git/‘: gnutls_handshake() failed: Error

vi ~/.gitconfig[http] sslVerify = true

原创 K-BERT,KnowBERT,KEPLER,KELM,K-Adapter,CoLAKE_biji

K-BERT: Enabling Language Representation with Knowledge Graph.对于每个句子抽取出三元组，与原始句子合并一起编码position。输入给transformer，对于visible matrix。各个句子part只可见和自己有关的部分，无关的部分不可见。KnowBERT:Knowledge Enhanced Contextual Word Representations. (EMNLP 2019)将预训练得到的模型表示，经过知识提取后的知识表示

原创 知识图谱与自然语言生成NLG

RDF2TextFew-Shot NLG with Pre-Trained Language ModelLogical Natural Language Generation from Open-Domain TablesStructural Information Preserving for Graph-to-Text GenerationKnowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Clo

原创 知识图谱与图神经网络_biji

图表示学习侧重于图结构的处理。知识图谱嵌入模型和规则学习等更加侧重于语义和逻辑结构特征的学习，更好的知识图谱表示学习方法需要综合利用好语义，逻辑结构的特征学习和图结构的特征学习等多种方法RGCN: Modeling Relational Data with Graph Convolutional Networks. (ESWC 2018).COMPGCN: Composition-based Multi-Relational Graph Convolutional Networks. (ICLR 20

原创 知识图谱问答_biji

基于模版查询基于语义解析基于检索排序基于深度学习Entity Linking in 100 Languages. (EMNLP 2020).An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global Knowledge. (ACL 2017)Key-Value Memory Networks for Directly Reading Documents

原创 Retrieval Question Answering paper

这里写自定义目录标题多文档摘要检索辅助生成REALM: Retrieval-Augmented Language Model Pre-TrainingRetrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（RAG）检索器DPR[1]生成器 BART跨数据格式的问答系统Ref多文档摘要Hierarchical Transformers for Multi-Document Summarization段落排序-> 取top段

原创 知识图谱与语言预训练_biji

知识图谱和Bert结合学习使预训练更加有文化ERNIE: Enhanced Language Representation with Informative Entities GPT2和知识图谱结合，生成新的节点和边COMET : Commonsense Transformers for Automatic Knowledge Graph Construction.ACL2019...

原创 人工神经网络_biji

除去常见的BP反馈传播算法，CNN、LSTM、GRU等网络，记录和学习一些不常见的知识点Hebb 学习规则Perceptron 学习规则winner take-all 学习规则 竞争学习神经网络SOM 自组织特征映射神经网络Hopfield神经网络随机神经网络Boltzmann机是由随机神经元组成的二值随机机器，随机神经元以概率方式取两个可能状态之一。Boltzmann机的随机神经元分成两部分，可见部分和隐藏部分。Boltzmann机学习的主要目的是产生一个神经网络，根据Boltzmann分

原创 Zeroshot Multimodal Named Entity Disambiguation for Noisy Social Media Posts_biji

前提需要的知识点比较多，比如实体指称识别， 候选实体生成，候选实体消岐，few-shot, zero-shot， 实体链指，提及等， attention机制里的key value 原理。知识点补充few-shot, zero-shot（学习到的映射）实体链指，提及、候选生成将文本中的实体指称mention链向其在给定知识库中的目标实体的过程流程：实体指称识别、候选实体生成和候选实体消岐。候选实体生成是确定文本中的实体指称可能指向的实体集合attention机制里的key value 原理论

原创 多模态知识图谱

大致方向多模态知识图谱 MMKG: Multi-Modal Knowledge Graphs 链接多模态知识图谱用于实体消岐 Zeroshot Multimodal Named Entity Disambiguation for Noisy Social Media Posts 链接多模态知识图谱用于推荐系统 Multi-modal Knowledge Graphs for Recommender Systems 2020CIKM 链接主要方法各模态单独进行训练后将结果进行融合缺点：源头

原创 知识图谱与推荐系统_paper_biji

知识图谱在推荐系统中的应用，包括将协同过滤和知识embedding结合、知识包括文字知识／图片知识／结构知识等。将新闻推荐系统中的知识抽取，经过cnn计算和attention机制后用来进行推荐。

原创 知识图谱与深度学习_biji

深度学习是分布式表示，知识图谱是符号表示利用已有知识图谱自动标注大规模数据的思想叫远程监督知识图谱表示学习：基于复杂关系建模TransR、CTransR基于关系路径建模PTransE基于属性关系建模融合实体描述融合层次类型信息 (实体在不同类型时有不同的知识表示，对各个实体的投影矩阵不同，投影矩阵的构建受到实体层次类型指导)知识的自动获取：基于选择性注意力机制基于关系层次注意力机制（层次注意力机制在关系层次上逐层为包含同一实体对的实例进行权重计算）基于注意力的多语言关系抽取（使用

原创 Paper_list

推荐相关CF（Collaborative Filtering）Item-Based Collaborative Filtering Recommendation Algorithms , paper链接 , paper-bijiCollaborative Metric Learning , paper链接 , paper-bijiItem2Vec: Neural Item Embedding for Collaborative Filtering , paper链接 , paper-biji少数

原创 Behavior Sequence Transformer for E-commerce Recommendation in Alibaba——biji

原创 DIEN——biji

是 DIN 的升级版，共分为三层，用户行为层，用户兴趣抽取层，用户兴趣演化层.用户行为层用户兴趣抽取层为了将用户兴趣学习的更加充分，加入了额外 loss，h(t)和e(t+1),e(t+1)`，构建正负样本，类似于多目标的学习。用户兴趣演化层为了学习用户和候选item的关系，加入了 attention 机制，Attention + GRU的实现这里给了三种方法：GRU with attentional input(AIGRU):将抽取层的 h_t 与 weight 相乘直接作为 演化层 G.

原创 oxford-deepNLP_biji

L2a Word Level Semantics( Word2Vec == PMI matrix factorization of count based models)Count-based methodsNeural Embedding Models: C&WEmbed all words in a sentence with E、Shallow convolution ov...

原创 图卷积神经网络_biji

图卷积神经网络 卷积谱域方法ChebyNet 的改进空间域方法GraphSAGE的方法GCN的方法GAT卷积卷积是一种积分，是一种运算，是一种信号处理，结果比原来的信号更加平滑。spectral methods：谱域方法，通过傅立叶变化到谱域，在谱域进行卷积运算，在通过傅立叶变换的逆回到空间域。spatial methods：空间域方法，在空间上直接使用卷积，遇到的问题是每个节点的邻居区...

原创 智能问答主要技术整理

基于RNN的Seq2seq BiMPM（bilateral multi-perspective matching） Neural Generative Question Answering QANet ICLR 2018 Generating Natural Answers by Incorporating Copying and Retrieving Mechanisms in S...

原创 SeqGAN_biji

GAN做生成存在的问题GAN 不适用于离散数值，梯度不能回传到生成模型的问题解决方法：将生成器看作是强化学习中的 stochastic policy，SeqGAN 可以直接通过 gradient policy update 避免生成器中的可导问题。只能对整个sequence打分，如果生成器生成序列的同时判别器来判断，如何平衡当前序列的分数和未来序列的分数又是一个难题解决方法：判别器...

原创 Heterogeneous Graph Neural Networks for Malicious Account Detection_biji

实现方案，一周前六天是训练数据，第七天为测试数据。用的是GCN的思想，图里有账号和设备，（基于规则的主要是用类似于图的二度好友计算，用账号和设备两种节点，计算得到账号和账号的关系），用有标注的数据的好处是可以用AUC、F1评测模型效果。...

原创 GraphSAGE_biji

Graph SAGE：工业应用，是目前所有工业上图模型的雏形。归纳式学习，可以泛化到没有未参与训练的节点上。卷积部分可以有很多种，比如平均，pooling，lstm聚合，以及GCN聚合等。GraphSAGE(Graph SAmple and aggreGatE)框架，工业应用，附带python 开源实现。归纳式学习，可以泛化到没有未参与训练的节点上。卷积部分可以有很多种，比如平均，pooling...

原创 LINE-biji

LINE: Large-scale Information Network Embedding比较早的一篇针对 Graph 数据结构进行 Embedding 表示学习的方法，主要对边进行建模，由于两个节点间的直接相连关系表达的信息有限，这里增加了二阶关系（二度关系）作为补充，将节点的关系从一阶增加到了二阶。Loss 是建立在概率分布和经验分布的 KL 距离上的。存在的问题，实际用户关系中，一阶...

原创 GCN(Graph Convolutional Network)——总结

Graph Convolutional Network对于图结构，不采用将图结构转换成线性结构表示。直接对图结构进行表示。CNN处理的图像或者视频数据中像素点（pixel）是排列成很整齐的矩阵（Euclidean Structure）。网络结构（Non Euclidean Structure）就是图论中抽象意义上的拓扑图。GCN 主要技术：拉普拉斯矩阵拉普拉斯矩阵谱分解GCN 的逻辑：...

原创 DNN for 推荐_biji

MLRDeep Neural Networks for YouTube Recommendations其实熟悉Skip-Gram方法的同学很容易看出来，2.1把推荐问题定义为“超大规模多分类”问题的数学公式和word2vec的Skip-Gram方法的公式基本相同，所不同的是user_vec是通过DNN学习到的，而引入DNN的好处则是任意的连续特征和离散特征可以很容易添加到模型当中。同样的，...

原创 多目标学习_biji

Ref深度神经网络中的多任务学习汇总