bigbao_num-CSDN博客

原创一种解决bert长文本匹配的方法

引言bert1提出来后打开了迁移学习的大门，首先通过无监督的语料训练通用的语言模型，然后基于自己的语料微调(finetune)模型来达到不同的业务需求。我们知道bert可以支持的最大token长度为512，如果最大长度超过512，该怎么样处理呢？下面这边论文提供一种简单有效的解决思路。Simple Applications of BERT for Ad Hoc Document Retriev...

2019-11-05 21:40:12 5550 1

原创 ALBert论文阅读笔记-缩减版的bert，模型参数更少，性能更好

引言自从Bert被提出来后，后续的研究者大多基于bert进行改造，提升预训练语言模型性能，从而提高下游任务的性能。比如ERINE、BERT_WWM、MASS、MT-DNN、RoBERT等等。从GLUE榜上我们可以看到，似乎现在的语言模型有越来越大的趋势，虽然我们的训练资源也是从GPU单卡到GPU多卡，到现在TPU，但不是每个公司都这么有钱，特别对个人，有可能就是一块卡，怎么样在资源有限的情况下，...

2019-10-23 19:30:47 1566

原创基于pandas和seaborn进行数据可视化以及相关性分析

本博客学习pandas数据结构和seabon，以kaggle数据集为例，完成数据可视化以及相关性分析。数据总共12列，其中Survived列为target属性（y属性）。加载原始数据pandas数据结构可以方便实现数据预处理，包括基本元素统计、均值、缺失值以及过滤，加上seaborn和matplotlib实现数据相关性分析以及特征可视化分析。

2017-05-04 15:11:38 7925

原创基于pandas进行数据预处理

参加kaggle数据挖掘比赛，就第一个赛题Titanic的数据，学习相关数据预处理以及模型建立，本博客关注基于pandas进行数据预处理过程。包括数据统计、数据离散化、数据关联性分析引入包和加载数据import pandas as pdimport numpy as nptrain_df =pd.read_csv('../datas/train.csv') # train settest_d

2017-04-27 11:10:43 8126

转载欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-04-27 09:56:59 349