- 博客(56)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Chinese NER Using Lattice LSTM 论文解读
Abstract我们研究了一种篱笆（Lattice）结构的LSTM模型为中文NER任务。
2022-04-16 16:59:25
1395
1
原创 《Confident Learning: Estimating Uncertainty in Dataset Labels》论文讲解
1.参考链接（1）别让数据坑了你！用置信学习找出错误标注
2022-03-23 21:29:13
4363
原创 TextCNN论文解读--A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks f
最近CNN模型在句子分类任务中表现的很不错，但是要配置好了才行，包括 模型的结构和超参数。因为一层的CNN模型比较简单，我们拿它来进行研究模型的设计。
2022-02-21 23:14:54
984
原创 TextCNN论文解读--Convolutional Neural Networks for Sentence Classification
CNN+static vector 在句子分类的任务中表现很好，而且基于具体task微调后的task-specific vectors 表现的更好
2022-02-17 23:48:19
713
原创 catboost的知识点总结
上次研究catboost还是在快2年前，今天看看以前的笔记，于是做下整理。CatBoost：三个特点（1） 实现了有序提升，排列驱动以代替经典算法；（2） 一种新颖的算法处理分类变量。这两种技术都是为了对抗由一种特殊类型的目标泄漏所引起的预测偏移，这种泄漏存在于目前所有梯度增强算法的实现中。（3） 使用对称二叉树，加快了计算速度...
2022-02-13 16:20:32
288
原创 深度模型的损失函数
最近做了一个关于位置预测的小项目。其中因为涉及回归问题，我用了huber损失函数，现在对回归损失函数做一个总结，以便加深理解1. MSE和MAE的区别和优缺点（1）简单来说，MSE计算简便，但MAE对异常点有更好的鲁棒性。如果训练数据被异常点所污染，那么MAE损失就更好用。举例说明见链接1，也可以从直观上来理解：MSE相当于平均数，MAE相当于取中位数。（2）然而MAE存在一个严重的问题（特别是对于神经网络）：更新的梯度始终相同，也就是说，即使对于很小的损失值，梯度也很大。这样不利于模型的学习。为了解
2022-02-08 22:58:05
840
原创 常见的深度学习优化器
一直用优化器解决问题，但是没有对它进行一个系统的总结。。不对，系统的总结进行过，只是时过境迁，早已忘却。一、照进我脑海的几个家伙二、以为自己遇见了大海三、新世纪的先锋们...
2022-01-29 20:58:36
1127
原创 模型压缩的一些总结
上次和人交流，人家问我 模型压缩的方式有哪些，把我给说懵了。虽然，本人长期一来一直追求新技术的普及和应用，但是命途多舛，时不时被历史洪流甩的不知东西。记录下来是一个很好的过程，所以特地写下来加深理解。相关经典参考一、知识入门基本的知识总结可参考文献一二、transformer的模型蒸馏。...
2022-01-23 20:49:11
144
原创 机器学习的一些知识点积累
先验和后验的区别讲解：以前都是模模糊糊的知道，但是不系统，后来发现这篇文章讲的挺好的，见 知乎-机器学习中，频率派和贝叶斯派有什么核心差异
2022-01-03 21:43:40
504
原创 如何搜索某一领域的论文
今天，看到一师兄讲课，他提到了怎么去搜索某一领域的论文，我记了下来，希望以后不断完善。顶会论文网址ACL Anthology - ACL Anthology https://aclanthology.org/其他经验（1）一个师兄的回答是这样的：我是去paper with code瞅瞅，然后再去瞅顶会。做研究就直接去顶会搜就行。或者看看这个方向有没有综述，搜综述提到的...
2021-12-19 16:34:47
975
原创 模型集成和级联
刚才看到一个链接，讲的是两个小模型就能吊打大模型！北大校友、谷歌华人一作「模型集合」，CNN、Transformer都适用！。里面写了怎么既要用集成模型，又要减低计算量的事情，主要分 级联 和 集成。所以记录下来，以后再研究。...
2021-11-28 10:55:40
436
1
原创 fasttext知识点总结
引子：马云是靠整合资源来成就自身的，所以我也应该多搞点链接整合一下。上次有个家伙说自己读过Fasttext，一副自豪的样子。其实呢，我还给隔壁王奶奶倒过垃圾呢，不知道有什么 值得自豪的。先附上几个大大的优秀文章来打底...
2021-11-14 10:43:31
176
原创 激活函数的积累与总结
不知不觉，激活函数已发展到Gelu普及的时候，总结 积累函数的任务变得刻不容缓。（1）sigmoid函数（2）relu函数（3）elu函数（4）gelu函数资料一
2021-08-05 10:48:30
59
原创 bert之我的小总结
BERT看了很多资料，觉得自己有些见识了。整整两年的时间，自己都没有对它进行整理。现在开始整理：一、modeling文件modeling是bert的本源，先看懂这里比较好。可以参考其他大神的资料：1. 一位码龄三年的老哥的分析，写的很清晰...
2021-08-01 21:09:25
111
原创 智能对话01-redis的安装
一、redis本身没有windows版本，于是微软对它进行了一个封装。我们首先去github上下载最新的.zip版本。封装版本链接.zip版本解压后，将地址放入到环境变量中去。地址目录可以参考我的：C:\install\Redis-x64-3.2.1003.进入到 C:\install\Redis-x64-3.2.100 中找到 配置文件redis.windows.conf 进行安装。安装命令为redis-server --service-install redis.windows.con
2021-07-03 23:11:58
49
原创 卷积操作的本质特性+TextCNN文本分类
CNN的本质三点：稀疏交互、参数共享、平移不变性，详情见链接textCNN的卷积核长度常用的卷积核有3种：三、四、五。宽度是我们的向量宽度。（具体细节，再看看，300）cnn与全局向量Glove的结合思考Cnn的核心在于抓住了句子中的局部信息，是不是可以考虑和全局向量GLOVE相辅相成。CNN为什么比RNN更容易并行计算参考一链接参考二链接具体流程：（1） 扩展维度与卷积：这里括在最后1维，即shape=(?, 135, 128, 1)，filter_shape: [3, 128, 1.
2021-05-09 18:00:28
176
原创 conda安装的py3.6和py3.7
由于公司内用的是python3.7,所以在前不久的conda安装中，我安装了带3.7版本的 Anaconda3-2019.07-Windows-x86_64。。遇到了在conda虚拟环境中安装的包 在jupyter中加载失败的问题。我不由得想起了 一个大神说的话：py3.6是兼容性最好的版本，所以想安装带py3.6的conda版本对应关系有人说官网查看版本对应，我看的一头雾水，因为有的版本既有python3.6又有python3.7,那么下载哪一个，我不知道。官网地址如下：https://docs.
2021-04-04 10:43:57
432
NLP汉语自然语言处理原理与实践
2018-11-11
《21个项目玩转深度学习：基于Tensorflow的实践详解》高清完整版
2018-11-11
深度学习与计算机视觉 算法原理、框架应用与代码实现
2018-10-20
深度学习轻松学
2018-10-20
吴恩达——Word版，深度学习视频的笔记
2018-10-20
Python大战机器学习
2018-10-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人