小白之比白更白的博客

原创 adapter-transformers的用法

官方也有给怎么使用提供的adapter的教程，但是如果想要嵌入自己的代码中还是会有些迷糊。本文​给大家说一下自己要用的话怎么去加入自己的代码中。

原创 AttributeError: ‘HowNetDict‘ object has no attribute ‘en_map‘ 解决方法

=AttributeError: 'HowNetDict' object has no attribute 'en_map' 解决方法。

原创 控制Tensor里的数值小于0则置0

通用模板如下，第一个参数是控制条件，这里是小于0，第二个元素是满足条件的赋值，第三个是不满足条件的赋值，这里不小于0则保留原来的数值。同理，不小于0的可以赋值为1。

原创 Pytorch的DataLoader输入输出(以文本为例)

torch.utils.data.DataLoader是PyTorch中数据读取的一个重要接口，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口。本文介绍torch.utils.data.DataLoader与torch.utils.data.Dataset结合使用的方法。

原创 取出BERT中的某一部分网络/参数

取出BERT中的某一部分网络/参数，其他模型同理。

原创 GitHub学生认证，可以愉快的使用Copilot了

github学生认证

原创 Leetcode 4. 寻找两个正序数组的中位数

Leetcode 4. 寻找两个正序数组的中位数给定两个大小分别为 m 和 n 的正序（从小到大）数组nums1 和nums2。请你找出并返回这两个正序数组的 中位数 。算法的时间复杂度应该为 O(log (m+n)) 。

原创 Leetcode 3. 无重复字符的最长子串

​无重复字符的最长子给定一个字符串 s ，请你找出其中不含有重复字符的 最长子串 的长度。​

原创 leetcode 2.两数相加

给你两个非空 的链表，表示两个非负的整数。它们每位数字都是按照逆序的方式存储的，并且每个节点只能存储一位数字。请你将两个数相加，并以相同形式返回一个表示和的链表。你可以假设除了数字 0 之外，这两个数都不会以 0开头。.........

原创 docker里cv2报错ImportError: libGL.so.1: cannot open shared object file: No such file or directory

docker里cv2报错，成功解决。

原创 MWP论文总结

论文总结Modeling math word problems with augmented semantic networks NLDB 2012此前大多数方法都是基于框架的，提出了一个基于增广语义网络的模型来建模数学结构。Learning to Solve Arithmetic Word Problems with Verb Categorization EMNLP 2014对句子中的动词进行分类的方法，建模不同容器中数量变化的关系。Deep neural solver for ma

原创 NC78 反转链表（牛客网）

描述给定一个单链表的头结点pHead(该头节点是有值的，比如在下图，它的val是1)，长度为n，反转该链表后，返回新链表的表头。数据范围： 0≤n≤10000≤n≤1000要求：空间复杂度 O(1)O(1) ，时间复杂度 O(n)O(n) 。如当输入链表{1,2,3}时，经反转后，原链表变为{3,2,1}，所以对应的输出为{3,2,1}。以上转换过程如下图所示：示例1输入：{1,2,3}复制返回值：{3,2,1}示例2输入：{}

原创 NC501 牛牛的消消乐（牛客网）

描述给定一个数组 nums，其中有 n 个非负整数。你的目的是进行两次操作，使得数组的元素之和最小。每次操作形如：任选一个整数 x ，将数组中所有大于等于 x 的数减去 x 。示例1输入：[2,1,3]复制返回值：0复制说明：初始数组为[2,1,3]。先选择 x=2，则所有大于等于 2 的元素减去 2 ，变成[0,1,1]。再选择 x=1，则所有大于等于 1 的元素减去 1 ，变成[0,0,0]。所以数组元素之和的最小值为 0。...

转载 BLEU的计算

摘录部分学习记录~1. 简介BLEU（Bilingual Evaluation Understudy），相信大家对这个评价指标的概念已经很熟悉，随便百度谷歌就有相关介绍。原论文为BLEU: a Method for Automatic Evaluation of Machine Translation，IBM出品。本文通过一个例子详细介绍BLEU是如何计算以及NLTKnltk.align.bleu_score模块的源码。首先祭出公式：注意这里的BLEU值是针对一条翻译（一个样本）来说

原创 pad_sequence和nn.utils.rnn.pack_padded_sequence和nn.utils.rnn.pad_packed_sequence

pad_sequence填充可变长度张量列表例子>>> from torch.nn.utils.rnn import pad_sequence>>> a = torch.ones(25, 300)>>> b = torch.ones(22, 300)>>> c = torch.ones(15, 300)>>> pad_sequence([a, b, c]).size()torch.Size(

原创 reshape的参数使用

经常回会忘记reshape的参数是什么意思.例如x.shapeOut[14]: torch.Size([1000])y=x.reshape((-1, 1))那么y.ShapeOut[14]: torch.Size([1000,1])第一个参数是行数,第二个参数是列数,如果设置成-1,就是根据另一个参数的和原本大小自动计算另一个参数化值.也即是这里y=x.reshape((1000, 1))得到的是一样的结果.因为可以自动根据总大小1000,和另一个参数列数.

转载 论文阅读：Exploiting Persona Information for Diverse Generation of Conversational Responses IJCAI 2019

传送门：IJCAI 2019 融合角色信息的多样性对话生成 - 云+社区 - 腾讯云

原创 论文阅读：Generate, Delete and Rewrite: A Three-Stage Framework for ImprovingPersona Consistency of Dial

2020 ACL这篇论文提出单阶段的生成模型仍然难以避免在生成对话时生成一些不一致的词，因此作者采用三阶段来生成，先生成，再检测不一致性，最后再重写不一致的词。框架如下：生成阶段：输入是角色信息和问题，采用解码器和编码器的结构，均基于transformer。生成相应的回答。删除阶段：输入是生成的回答。使用类似自注意力机制的方式检测每个词不一致的比重，然后mask掉不一致的词。在DNLI数据集上以自然语言推理的方式训练。重写阶段：输入是删除后的回答和角色信息。然后生成最终的回答。有一.

原创 论文阅读：Mitigating Gender Bias for Neural Dialogue Generation withAdversarial Learning(2020 EMNLP)

这篇论文解决的是人机对话中存在的性别偏见问题。数据是单轮对话。作者给出了解决偏见问题的三个难点：对话中包含很多性别相关的内容，为了消除或减少偏见至少应该区分出哪些内容是有偏见的，哪些是没有的。但是变差的表达形式有很多，所以这不是一件容易的事情。 在对话中，消除偏差本就是很难得事情。就是要生成没有偏见的对话本就很难。 在生成的对话没有偏差的情况下，还要保持原有的流畅性和多样性。作者说的这三点对应着后面作者解决问题的思路。并不代表了这个问题的通用属性...

转载 论文阅读：Personalizing Dialogue Agents: I have a dog, do you have pets too?

提出了一个数据集：PERSONA-CHAT，该数据集的收集分三个阶段：Personas: 首先创建1155个可能的个性，每一个都至少包含5个profile的句子，其中100个作为验证集，100个作为测试集； Revised personas: 交给另外一些标注人员，将1155个不同的个性做改写； Persona chat: 随机选定两个个性，让两个Turkers(众筹人员)按照分配的个性进行对话，通过这种方法收集了10907个对话，包含162064个utterance。上述三个阶段的数据，可以从下

原创 论文阅读：I like fish, especially dolphins:∗Addressing Contradictions in Dialogue Modeling 2021 ACL

摘要为了量化自然语言理解模型在一般会话中捕捉一致性的能力，我们引入了对话矛盾检测任务(DECODE)和一个新的会话数据集，其中包含了人-人和人-机器人的矛盾对话。然后，我们将基于结构化话语的方法(使用预训练Transformer模型进行矛盾检测)与典型的非结构化方法进行了比较。结果表明:(1)与现有的NLI数据(包括针对对话领域的数据)相比，我们新收集的数据在对话矛盾检测任务中的监督效果显著提高;(ii)结构化的基于话语的方法比非结构化的方法在分析对话和分布外对话中更健壮和可转移。我们还表明，我们的最佳

原创 一些对话论文总结

数据驱动系统导致回答要么泛化，要么可能前后矛盾。例如前面说成年了，后面又说我今年十五岁。评估方法：困惑度、BELU、F1角色一致性初衷是为了避免出现这种前后矛盾的回答。A persona-based neural conversation model. ACL 2016a使用没有明确标注人物属性的数据提出Speaker Model和Speaker-Addressee Model，Speaker Model在传统Seq2Seq模型的decoder部分引入了用户角色vector或者em.

原创 论文阅读：Dialogue Response Selection with Hierarchical Curriculum Learning（ACL2021）

Abstract作者再研究对话反应选择匹配模型的时候，发现使用随机负样本训练的模型再实际应用场景中并不理想，所以作者提出了一个分层课程学习框架，从易到难训练匹配模型。学习框架包括两个互补课程：语料级的课程CC和实例级的课程IC。在CC中，模型在对话上下文和回答之间搜索匹配线索的能力逐渐增强，在IC中，它也能逐步增强模型识别对话上下文和回答候选之间匹配到错误信息的能力。实验中，作者使用三个最先进的匹配模型在三个基准数据上实验，证明了所提出的学习框架能够显著提高模型在各个指标上的性能。Introd...

转载 一些NLP任务分类

转载，原文链接：https://blog.csdn.net/lz_peter/article/details/81588430词法分析（Lexical Analysis）：对自然语言进行词汇层面的分析，是NLP基础性工作分词（Word Segmentation/Tokenization）：对没有明显边界的文本进行切分，得到词序列新词发现（New Words Identification）：找出文本中具有新形势、新意义或是新用法的词形态分析（Morphol...

原创 论文阅读:A Survey on Bias and Fairness in Machine Learning(ACM)

按中李沐的读论文方法只看摘要、结论和介绍，有兴趣的再看模型和实验。摘要随着人工智能系统和应用在我们日常生活中的广泛使用，在设计这些类型的系统时，考虑公平问题是很重要的。这种系统可能用于许多敏感的环境中，以作出重要的和改变生活的决定。因此，确保这些决定不反映对某些群体或人群的歧视行为是至关重要的。我们最近看到了机器学习、自然语言处理和深度学习的工作，它们在不同的子领域解决了很多问题。随着这些系统的商业化，研究人员逐渐意识到这些应用程序可能包含的偏见，并试图解决它们。在这篇综述中，我们调查了不同的应..

原创 论文阅读：Towards Understanding and Mitigating Social Biases in Language Models（PMLR）

按中李沐的读论文方法只看摘要、结论和介绍，有兴趣的再看模型和实验。Abstract论文摘要的 开头，作者很贴心的说了模型的输出可能会引起不适。摘要的内容也是包括背景方法和结果三部分。随着机器学习的发展，基于数据的预训练语言模型可能在实际应用中可能会产偏见。偏见的类型可能包括性别、种族、宗教和其他一些刻板印象。为了提高机器学习的公平性，这篇论文定义了几个代表性偏差的来源，并且提出了如何在文本生成过程中减少社会偏见的生成的方法。结果是在自动和人工评价中都表明它们的方法在减少偏见的同时也能..

原创 论文阅读：Personalizing Dialogue Agents via Meta-Learning

元学习基础元学习的基础知识可以去看李宏毅老师的视频，讲得比较清晰。视频地址摘要问题：现有的个性化对话模型使用人类设计的角色描述来提高对话的一致性。从现有对话框中收集这样的描述是昂贵的，并且需要手工制作功能设计。贡献：将模型不可知论元学习(MAML) 扩展到不使用任何人物描述的个性化对话学习。通过仅利用从同一用户收集的几个对话样本来学习快速适应新的角色，这与将响应限制在角色描述上是完全不同的。结果：在Persona-chat数据集上的经验结果表明，在自动评估指标和人类评估的流畅性和一致性方面

原创 徐宗本院士演讲总结

视频可以在b站上搜到。官方实录：https://www.pazhoulab.com/2021/08/1843/机器学习的先验假设机器学习问题能非常好地科学化为一个数学上的最优化问题：第一个是有关损失函数的独立性假设；第二个是假设空间大容量假设；第三个是训练数据的完备性假设；第四个是关于正则项设置的正则项假设；第五个是有关分析方法的欧式假设。这五个假设反映了我们大家通常用机器学习/深度学习时的选择习惯。1、独立性假设我们总是默认假设损失函数的选择是与问题无关的。思路：假定标签y与特征x之间满足

原创 论文阅读：Learn to Resolve Conversational Dependency

原论文：Learn to Resolve Conversational Dependency:A Consistency Training Framework for ConversationalQuestion Answering学会解决会话依赖:会话问答一致性训练框架介绍会话问答依赖于上下文语义，需要解决指代和省略的问题。以往的方法有端到端的方法，端到端的很好理解后面可以看图。还有pipeline的方法，这种方法将CQA分解成问题重写QR和问答QA，pipeline方法相当于下面这个式子。

原创 角色一致性对话论文合集

角色对话论文包括数据集，角色对话，一致性处理等方面论文。数据集：Zhang, Saizheng, Emily Dinan, Jack Urbanek, Arthur D. Szlam, Douwe Kiela and Jason Weston. “Personalizing Dialogue Agents: I have a dog, do you have pets too?” ACL (2018).Mazaré, Pierre-Emmanuel, Samuel Humeau, Martin R

原创 对话一致性的两种类型

对话一致性分为上下文语义一致性和角色一致性。语义一致性上下文语义一致很好理解吧，举个例子：机器人：“我今天去北京了。”真人：“那你去哪里玩了？”机器人：“我去了西湖。”这显然是矛盾的，虽然在语法上没有问题，但是语义是矛盾的。角色一致性角色一致性是指机器人的已知属性和生成的回答之间是矛盾的，通常和提问关系不大。例如：机器人的属性：我今天36岁，我有一个可爱的女儿，我喜欢滑冰。对话如下：真人：“听说你有一个孩子，是男生还是女生。”机器人：“男孩。”这个对话显然在语义上没有问题，但是与机

原创 中文对话数据集

常识对话生成数据集语言：中文常识对话生成数据集(Commonsense Conversation Dataset)包括3,000,000多条对话数据，相关常识知识库包含20,000多个实体，44个关系，120,000多个知识三元组。对话数据由 Reddit 论坛收集而来，经过常识知识库的匹配后，保证其 Post 与 Response 都存在至少一个实体蕴含在一个常识知识三元组中。提供方：清华大学计算机系黄民烈副教授相关论文：Hao Zhou, Tom Yang, Minlie Huang, Haiz

原创 英文对话数据集总结

本篇文章将按照论文里面提到的数据库进行整理。常识知识库（辅助信息）链接：https://conceptnet.io它不仅包含了诸如“巴黎是法国的首都”这样不断真实的世界事实，还包含了作为日常知识一部分的常见概念之间的非正式关系，例如“狗是宠物”。这个特性在我们的实验中是理想的，因为在开放域对话环境中，识别共同概念之间的非正式关系的能力是必要的。为了简单起见，我们删除了包含多词实体的三元组，保留了120，850个三元组，包含21，471个实体和44个关系。对话知识库原网站链接：https://ww

原创 Scikit-learn提供的文本处理模型的选择方法

原创 计算广告特点

计算广告大数据的特点：（1）行为数据。使用的数据是活动中产生的非必须记录的数据，与传统数据处理的交易数据不一样（数据量大，一致性要求低）。（2）全量加工。数据经过采样之后效果明显下降（个性化效果差），因此要进行全部数据的计算。（3）自动化应用。决策（投放什么广告）完全由系统决定。广告发展脉络：固定位置合约–>受众定向–>竞价交易–>实时竞价交易固定位置合约：在网页上固定位置展示横幅广告，按时长收费。缺点在于没有个性化。受众定向：根据受众不同（打开页面者属性.

原创 一些好用的linux指令

查看当前目录的路径pwd查看当前机器的CPU等利用情况top查看dang

原创 程序后台执行与shell并行

连接远程服务器的时候，如果程序运行时间太长，很可能会出现Broken Pipe的情况。解决的方法就是直降shell的并行可以简单的使用循环完成

原创 awk指定输入输出分隔符

-v 指定分隔符，FS是指定输入分隔符，OFS指定输出分隔符。awk -v FS="," -v OFS=";" '{print $1,$3}' test.txt上述例子指定的是输入分隔符为逗号，输出分隔符为分号；。如果不指定的话，都默认使用空格作为分隔符。...

原创 深度强化学习竞价框架DRLB 学习笔记

数据处理使用数据——ipinyou 1458数据集，包含train.log.txt和test.log.txt等。统计数据分布 用RL模型做简单的ctr预测

原创 字典Dict中get()和keys()性能

昨天要处理几个G的数据时，要把原来用awk写的脚本改成用python写，存储成字典后要搜索键值，一开始用的是in data.keys()来判断是否存在，结果跑大半天都没有跑出结果if key in data.keys(): #时间复杂度为O(n) code if data.get(key, False): #时间复杂度O(1) code False是如果没有这个键值的话默认的返回值这就是差距，一个复杂度是O(n)，一个是O(1)，如果数据量大的话，这是显著