- 博客(126)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 CON:Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models 论文解读
介绍论文中作者的详细方法（可复现）如上图所示，作者总共设计了三种reading notesa. 当搜索结果能够回答问题，大模型基于搜索结果的分析生成正确的答案；b. 当搜索结果和问题相关但是不能直接回答问题，但是通过内部记忆能够推理得到答案；c. 搜索结果和问题不相关，并且模型缺少知识回答问题，回复unknown和很多大模型项目类似，作者也是先抓取ChatGPT（目前GPT4可能是更好的选择）的结果。作者选择了10k的问题，通过设计好的instruction，包含针对上面三种问题的的描述；
2023-12-07 09:18:05
80
原创 bert知识蒸馏动态温度设置Annealing Knowledge Distillation （EACL 2021）& Reducing the Teacher-Student Gap
从14年hiton的蒸馏鼻祖paper开始，温度T在输出层蒸馏时已经成了不可或缺的一环，实际使用中发现使用恒定的温度反而导致模型效果的下降，下面介绍两篇最新对温度T的研究Annealing Knowledge Distillation （EACL 2021）论文方法将蒸馏划分为两阶段，第一阶段只蒸馏teacher的logits，第二阶段只蒸馏标注数据的CE LOSS（说是不需要调节hard label和soft label loss的比例） 在第一阶段蒸馏teacher的soft loss
2022-02-17 20:00:48
1593
3
原创 MiniLM V2 深度自注意力蒸馏: Multi-Head Self-Attention Relation Distillation for Compressing Pretrain
建议先阅读MiniLM V1：蒸馏预训练模型架构：深度自注意力蒸馏（NeurIPS 2020） MINILM - 知乎论文个人理解目的与V1一样，本篇paper也是在预训练阶段蒸馏模型（跟任务无关的蒸馏架构），下游任务直接load蒸馏预训练好的student模型，使用任务相关数据finetuning。方法深度自注意力蒸馏： 蒸馏query-query矩阵、key-key矩阵和value-value矩阵（V1采用的是attention矩阵和V-V矩阵） 如果teacher模型过大，可以从
2022-02-13 11:33:24
2565
原创 蒸馏预训练模型架构：深度自注意力蒸馏（NeurIPS 2020） MINILM
论文个人理解目的：这篇paper介绍了蒸馏预训练模型的通用架构（预训练蒸馏）， 与所有模型蒸馏方法一样，解决的也是student模型和teacher模型的GAP，怎么使用参数量小、推理时间短的student模型尽可能获取teacher模型的能力方法深度自注意力蒸馏： 蒸馏self-attention矩阵和value-value矩阵 助手机制：当teacher和student模型参数差异很大时，先使用teacher蒸馏assistant，再使用assistant蒸馏到student结论
2022-01-26 11:05:48
1306
原创 融合中文字形和拼音的预训练模型：ChineseBERT（ACL2021）
不同于英文字母，中文的字形和拼音都有其独特的含义， 例如'液'、'河'和'湖'都有相同的偏旁，其含义也有联系；中文汉字'乐'是一个多音字，读'yue'时代表音乐，读'le'时可能就是快乐的意思了。模型结构为了充分利用中文汉字的字形和拼音，论文设计了下面的模型结构图中用红色框出的四种embedding是模型的核心，其中char embedding和原生bert一致，其他几个下面逐个介绍字形embeddingGlyph embedding如下图所示，每个汉字使用三种不同的格式：仿宋、行楷
2022-01-18 19:19:39
2050
原创 Adaptive Active Learning for Image Classification 论文详解
如果需要看主动学习简介可以看上一篇博文：https://blog.csdn.net/GrinAndBearIt/article/details/107447026 在计算机视觉领域，主动学习都是通过Uncertainty作为筛选样本的策略。如果未标注样本空间比较大，那么会存在挑选离群点的情况。论文中提出了information density和most uncertainty两种策略进行组合。然后筛选出critical instances给专家进行标注。 针对仅通过不确定性容易筛...
2020-07-19 16:33:15
486
1
原创 主动学习概括
一、背景 在日常算法工程师工作（特别是风控领域）中可能存在大量未标注的数据集（一般都可以在日志中捞出来），但是某些工作需求历史积累的标注数据集比较少。那么如何使算法工程师不变成标注工程师是目前需要解决的问题。如果直接对未标注数据集进行人工标注存在下面问题：某些领域的标注数据集需要专业的知识 成本也比较高 大量数据集标注需要更多的时间 在标注成本和人力不足的情况下，主动学习可以说是对算法工程师很友善的方向了。二、 Actice Learning流程如下图所...
2020-07-19 16:25:37
295
原创 Code-Switched Named Entity Recognition with Embedding Attention 论文阅读Code-Switched Named Entity Recog
Code-Switched Named Entity Recognition with Embedding Attention 论文阅读论文介绍 论文内容和创新点1. 论文介绍发表在ACL2018的一篇paper， 主要领域为code-Switched NER，看了下论文中的介绍发现是双语种的命名实体识别2. 论文内容和创新点2.1论文内容...
2019-12-19 09:28:44
342
原创 A Joint Named-Entity Recognizer for Heterogeneous Tag-sets Using a Tag Hierarchy 论文总结
本文章主要针对论文A Joint Named-Entity Recognizer for Heterogeneous Tag-sets Using a Tag Hierarchy 阅读后自我的总结，主要从论文介绍、论文内容、论文总结三个方面进行展开，具体论文的原文可以查看底部的链接论文介绍和动机 本论文是发表在ACL2019的一篇paper，主要针对的领域为命名实体识别，由于某些...
2019-12-18 11:00:20
511
原创 A Simple End-to-End Question Answering Model for Product Information 论文笔记
本片论文出自（ACL 2018）从以下几个方面展开：1.论文目的2.论文创新点3.模型框架1.论文目的正如文章介绍的那样，本篇论文解决的是针对某种电商产品，用户可能会对商品的各个属性有疑问，如果匹配用户的自然语言问题和商品的某个属性名称来得到最后的属性值是本篇文章需要解决的问题2.论文创新点（1）一个新而简单的神经网络a.个人理解新体现在作者在做语义...
2019-09-25 08:59:41
285
原创 A Simple and Effective IR Approach to Simple Question Answering over Knowledge Graphs 论文解读
Retrieve and Re-rank: A Simple and Effective IR Approach to Simple Question Answering over Knowledge Graphs 论文解读本篇论文是18年的EMNLP的一篇paper主要用在kbqa领域，本文章首先介绍他的详细步骤，最后再介绍该文章的创新点一、详细步骤1. Solr + BM2...
2019-09-20 10:25:40
663
原创 Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism 论文解
Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism 论文解读前言：论文主要引入了两个创新点：如何应用CWS（chinese word segment）的信息 在bilstm和crf层中间加了self-attention（第一次引入到NER）...
2019-09-19 20:12:33
650
原创 leetcode-86. 分隔链表-python
题目描述：给定一个链表和一个特定值x，对链表进行分隔，使得所有小于x的节点都在大于或等于x的节点之前。你应当保留两个分区中每个节点的初始相对位置。代码中包含了本题的思路# Definition for singly-linked list.# class ListNode(object):# def __init__(self, x):# ...
2019-04-26 14:12:50
246
原创 剑指offer-面试题18删除链表中的节点-python
#-*- coding:utf-8 -*-'''description 题目： 删除链表中的节点 1.在O（1）时间内删除链表节点''''''这里我们首先定义一个链表的类'''class linkNode: def __init__(self, value, next = None): self.value = value ...
2019-03-07 18:57:31
389
原创 LSA/LSI原理以及实践
LSA（latent semantic analysis）潜在语义分析也可以称为LSI（latent semantic index）该方法和传统向量空间模型一样使用向量来表示词（iterms）和文档（documents），并通过向量间（一般通过余弦相似度来刻画）的关系来表示词和文档之间的相似度三个矩阵有非常清楚的物理含义。第一个矩阵U中的每一行表示意思相关的一类词（可...
2019-03-07 09:10:05
1699
原创 剑指offer-面试题17-打印从1到最大的n位数-python
#-*- coding:utf-8 -*-'''descrption: 打印从1到最大的n位数题目：输入数字n，按顺序打印出1到最大的n位十进制数这里需要考虑n很大时用int甚至long long都无法表示，因为python的字符串是不可变对象，这里我们采用数组的方式并用在最左边加一个空间来判断是否最大值'''class Solution: def print_until_...
2019-03-06 16:58:05
432
原创 剑指offer-面试题16:数值的整数次方-python
#-*- coding:utf-8 -*-'''一个优秀的代码需要考虑代码的可读性、完整性以及错误处理的方法还有其复杂度description: 面试题16：数值的整数次方 实现函数power（base, exponent） 其中base是double型变量、exponent是整型变量''''''代码主要分成三步走，可读性、完整性以及复杂度'''class Solu...
2019-03-06 16:20:00
295
原创 HMM详解
本文内容主要基于统计学习方法中的内容并加入自己的理解（红字部分为自己的理解）隐马尔可夫模型详解应用隐马尔可夫模型（hidden Markov model,HMM）通常用于序列标注问题，根据给定的观测的序列来预测其对应的标记序列（序列的标记可以看成隐藏节点，序列是可观测节点）具体应用可看这篇博客讲的比较...
2019-03-06 10:39:27
1328
原创 剑指offer-面试题15-二进制中1的个数-位运算-python
#-*- coding:utf-8 -*-'''description: 位与面试题15： 二进制中1的个数'''class Solution: ''' 这种方法如果有负数会陷入死循坏 ''' def num_of_1(self, n): count = 0 while n: if n &am...
2019-03-05 20:55:46
347
原创 剑指offer-14.剪绳子动态规划、贪婪算法-python
#-*- coding:utf-8 -*-'''description: name：剪绳子 内容：给你一根长度为n的绳子，请把绳子剪成m段(n>1,m>1)，每段绳子的长度即为k[0],k[1]....k[m],请问k[0]*k[1]*..*k[m]可能的最大乘积是多少'''class Solution: def dynamic_programming(sel...
2019-03-05 16:59:11
781
原创 剑指offer-面试11-旋转数组中的最小数字-python
#-*- coding:utf-8 -*-'''description:这题也是用二分查找的思路。如果当前查找的区间中间的数小于等于区间最右边的数，那么我们可以认为最小的数是该数或者在该数的左边 反之则在该数的右边 '''def find_least(lst): if len(lst) ...
2019-02-27 16:56:44
293
原创 剑指offer-面试10-斐波那契数列、快速排序、归并排序-python
#-*- coding:utf-8 -*-'''describe:1.fibonacci 用一种循坏而非递归的方式来求fibonacci数2.可以用递归的思路， 青蛙每次可以跳一或两格阶梯,青蛙跳就是fibonacci问题3.加入比较重要的快速排序和归并排序'''def fibonacci(n): if n < 0: return None ...
2019-02-27 16:32:30
225
原创 剑指offer-面试题9：用两个栈实现队列
ps：这里的栈都是自己用python构建的类，然后通过栈的类构建队列的类，解题思路跟书中一样，一个栈执行入队列，另一个栈负责出列#-*- coding:utf-8 -*-'''descibe: 用两个栈实现一个队列队列的声明是：分别完成在队列尾部插入节点和在队列头部删除节点'''class stack: def __init__(self): self...
2019-02-27 15:52:18
185
原创 剑指offer-面试题7-重建二叉树-python
一、题目描述 输入某二叉树的前序遍历和中序遍历的结果，请重建该二叉树二、代码实现 1.思路 （1）首先可知前序遍历的顺序是根（跟节点）-左子树-右子树的顺序，那么列表中的第一个数即为根结点； （2）中序遍历的顺序是左-根-右的顺序，即可根据前序遍历的列表中根结点（第一个元素）的位置在中序遍历的列表中的位置来确定左右子树；可以通过递归的...
2019-02-26 16:35:14
207
原创 剑指offer-面试题6：从头到尾打印列表 python
一、问题描述输入一个链表的头节点，从头到尾反过来打印出每个节点的值二、代码实现（这里采用数据结构与算法 python语言描述书中的）def __init__(self, val, next_=None): self.elem = val self.next = next_#这里创建一个链表并返回该链表的头节点def create_lnode(lst): he...
2019-02-25 19:42:20
232
原创 剑指offer-二维数组中的查找-python
一、题目描述 在一个二维数组中，每一行都按照从左往右递增以及每一列都按照从上往下递增的顺序排序。完成一个函数，输入这样的二维数组和一个整数，判断该整数是否在这个数组中 二、解题思路 书中的思路是从右上角不断往左下来剔除一行或者一列，我用的是从左下脚不断往右上提剔除一行或者一列，即当前位置的数如果大于num，则剔除当前行；如果当前位置的数小于num，则剔除当前列，需要考虑在...
2019-02-23 11:25:59
213
原创 剑指offer-不修改数组找出重复的数字-python
一、前言 由于文中给出的代码都是c++的版本，这里给出python的版本，题目内容为：在一个长度为n+1的数组里的所有数字都在1～n的范围内，所以数组中至少有一个数字是重复的。二、解题思路1.这里可以通过一种O(n)额外空间的方法利用传统的类如先复制一个列表，先排序再查找的办法，也可以通过set的办法找出重复的元素2.这里我们用一种二分查找的思想：把1~n的数字从中间的数字m...
2019-02-23 10:20:04
450
原创 svm算法简介
首先支持向量机算法有三种模型：线性可分支持向量机、线性支持向量机以及非线性支持向量机。线性可分支持向量机的训练数据是绝对可分的，即必存在一个超平面将训练集中的所有点区分开。线性支持向量机基本满足线性可分条件。非线性支持向量机线性不可分。线性可分支持向量机给点线性可分数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为：Wx+b=0，相应的决策函数为sign(Wx...
2019-02-13 16:42:07
465
原创 leetcode-31:下一个排列
一、问题描述 实现获取下一个排列的函数，算法需要将给定数字序列重新排列成字典序中下一个更大的排列。如果不存在下一个更大的排列，则将数字重新排列成最小的排列（即升序排列）。必须原地修改，只允许使用额外常数空间。以下是一些例子，输入位于左侧列，其相应输出位于右侧列。1,2,3 → 1,3,23,2,1 → 1,2,31,1,5 → 1,5,1二、解题思路 本题的思路...
2019-02-12 20:21:42
172
原创 bag-of-word和tf-idf
Bag of wordsBag-of-words 是一种忽略文本的语法和语序的模型，用一组无序的单词（words）以及对应的特征列来表示一个文档(目前在cv领域用的多，将图像的的特征当作单词)，下面有一个具体的例子： 1）John likes to watch movies. Mary likes too. 2）John also likes to watch football g...
2019-01-22 09:13:24
574
原创 统计学习方法第一章
统计学习方法概论一、下面对统计学习方法书中的第一章做一个简单的总结首先统计学习是基于数据构建概率模型并运用模型对数据进行预测和分析的一门学科，以数据为对象、方法为中心、目的是对数据进行预测和分析； 统计学习中关于数据的假设是数据具有一定的统计规律性，并且数据之间是独立同分布的； 统计学习的方法通常包括模型、策略、算法（以监督学习为例）： （1）首先根据训练集确定可能...
2018-10-07 18:45:59
292
原创 leetcode-22. 括号生成
一、问题描述给出 n 代表生成括号的对数，请你写出一个函数，使其能够生成所有可能的并且有效的括号组合。例如，给出 n = 3，生成结果为：[ "((()))", "(()())", "(())()", "()(())", "()()()"]二、代码和思路这里使用一个递归函数来迭代生成新的组合，递归函数主要遍历调用主要有三个因素决定：如果左括号和右括号都...
2018-10-06 17:00:13
210
原创 24. 两两交换链表中的节点
一、问题描述给定一个链表，两两交换其中相邻的节点，并返回交换后的链表。示例:给定 1->2->3->4, 你应该返回 2->1->4->3.说明:你的算法只能使用常数的额外空间。 你不能只是单纯的改变节点内部的值，而是需要实际的进行节点交换。二、代码和思路1.首先判断链表的长度如果小于等于1则不需要交换2.如果为2则只需要交换当...
2018-10-05 11:12:39
183
原创 leetcode-19. 删除链表的倒数第N个节点
一、问题描述给定一个链表，删除链表的倒数第 n 个节点，并且返回链表的头结点。示例：给定一个链表: 1->2->3->4->5, 和 n = 2.当删除了倒数第二个节点后，链表变为 1->2->3->5.说明：给定的 n 保证是有效的。二、代码和思路1.首先统计一共有多少个节点2.p指到倒数第n+1个节点，然后去掉倒...
2018-09-08 21:20:12
121
原创 leetcode-18. 四数之和
一、题目描述给定一个包含 n 个整数的数组 nums 和一个目标值 target，判断 nums 中是否存在四个元素 a，b，c 和 d ，使得 a + b + c + d 的值与 target 相等？找出所有满足条件且不重复的四元组。注意：答案中不可以包含重复的四元组。示例：给定数组 nums = [1, 0, -1, 0, -2, 2]，和 target = 0。满足...
2018-09-08 11:18:56
206
原创 利用python复制excel文件并从excel中读取内容作为文件名
一、需求分析做这次脚本的初衷是为了从一个excel读取项目名称，并根据项目名称中的内容去匹配模板，如果项目中有新建则去匹配新建的模板某种匹配另一个模板，并将模板修改文件名为项目名称并重新改变目录，一下是代码实现 二、代码和注释 # -*- coding: utf-8 -*-import os, sys,re,shutilimport xlrddir=r'C:\Users...
2018-09-06 17:18:59
1664
原创 leetcode-16. 最接近的三数之和
一、问题描述给定一个包括 n 个整数的数组 nums 和 一个目标值 target。找出 nums 中的三个整数，使得它们的和与 target 最接近。返回这三个数的和。假定每组输入只存在唯一答案。例如，给定数组 nums = [-1，2，1，-4], 和 target = 1.与 target 最接近的三个数的和为 2. (-1 + 2 + 1 = 2).二、代码和思路1....
2018-09-01 20:24:14
202
原创 leetcode-17. 电话号码的字母组合
一、问题描述给定一个仅包含数字 2-9 的字符串，返回所有它能表示的字母组合。给出数字到字母的映射如下（与电话按键相同）。注意 1 不对应任何字母。示例:输入："23"输出：["ad", "ae", "af", "bd", "be", "bf", "cd", "ce", "cf"].
2018-08-31 15:11:12
247
原创 leetcode-12. 整数转罗马数字
一、问题描述罗马数字包含以下七种字符： I， V， X， L，C，D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如， 罗马数字 2 写做 II ，即...
2018-08-30 09:12:37
139
原创 leetcode-11. 盛最多水的容器
一、问题描述给定 n 个非负整数 a1，a2，...，an，每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线，垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0)。找出其中的两条线，使得它们与 x 轴共同构成的容器可以容纳最多的水。说明：你不能倾斜容器，且 n 的值至少为 2。图中垂直线代表输入数组 [1,8,6,2,5,4,8,3,7]。在此情况下，...
2018-08-27 11:05:28
213
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人