- 博客(46)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 知识增强系列 ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Ge，论文解读
知识增强系列 ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Ge，论文解读：如何将世界知识融入到预训练模型中
2024-04-14 16:30:51
735
原创 知识增强系列 ERNIE 2.0: A Continual Pre-training Framework for Language Understanding，论文解读
知识增强系列 ERNIE 2.0: A Continual Pre-training Framework for Language Understanding，论文解读
2024-04-07 15:53:04
624
原创 知识增强系列 ERNIE: Enhanced Representation through Knowledge Integration，论文解读
知识增强系列论文解读 ERNIE: Enhanced Representation through Knowledge Integration
2024-01-29 14:46:26
425
原创 标签正则化和硬标签、软标签、单标签、多标签
由任务出发，描述标签正则化 / 标签平滑的定义、实现和试验。顺便补充硬标签、软标签、单标签、多标签的概念
2023-12-21 16:53:45
1051
1
原创 Python使用Pandas判断csv等格式文件中缺失字段
python+pandas读取csv文件构建模型训练样本，但是行或者列中某个字段存在空值、缺失值的情况，影响样本构建
2023-11-29 15:16:11
1235
原创 传统机器学习聚类算法——总集篇
传统机器学习中的聚类算法——总集篇，描述了层次、划分、密度、网格、模型5种聚类算法，并附带了简单描述和相关经典算法。后续会针对不同类型聚类算法撰写博客
2023-10-04 17:12:23
659
原创 pandas dataframe 中 explode()函数用法及效果
python spark 处理数据时，经常使用pandas DataFrame这样的数据格式，这里解析常见的函数explode()
2023-05-18 22:14:16
2996
原创 使用sklearn，报错Library not loaded: @rpath/libgfortran.3.dylib
使用sklearn，报错库未能正确加载，提示Library not loaded: @rpath/libgfortran.3.dylib，解决方案。
2023-05-12 10:16:02
798
原创 Python中 re.findAll()、re.sub()、set()的使用
自然语言处理或数据挖掘不可避免会使用到python、使用到正则表达式对文本数据进行清洗和格式化，这里记录re.findAll()、re.sub()和set()的使用
2023-04-25 20:11:52
2113
原创 LightGBM 的优点（相较于XGBoost） + 细节操作 讲解 （二）单边梯度采样 和 互斥特征捆绑
LightGBM中单边梯度采样（Gradient-based One-Side Sampling，GOSS） 和互斥特征捆绑Exclusive Feature Bundling (EFB)，算法具体操作与细节
2023-04-04 14:36:25
907
原创 LightGBM 的优点（相较于XGBoost） + 细节操作 讲解 （一）
LightGBM相较于XGBoost的优势，以及各优势如何实现，实现的具体表现是什么。主要包含XGB的缺陷，LightGBM的优势，以及LightGBM中基于直方图的决策树最优分割点选取 + Leaf-wise叶子节点生成策略。
2023-04-02 23:46:59
839
原创 将连续型特征离散化的需要 or 优势
越是离散的特征、越是非线性模型，其建模能力越强，泛化性也就越强。那么连续型特征在离散化后的具体优势在哪里呢
2023-03-28 16:04:58
212
原创 NLP中的Tokenization方法——BPE（Byte-Pair Encoding）
我们知道很多NLP模型（Transformer, Bert）输入的其中一部分是句子的token，然后结合位置编码进入到Mutil-Head Self Attention Layer，后者大家都很熟悉，但如何获得token，却很少有人讲解，这一部分也一度令我疑惑。获得句子的token，操作被称为：tokenization。是NLP任务中最基础、最先需要进行的一步，该操作的目的是将输入文本分割成单独的部分，然后结合词典进一步转化为token。
2023-03-19 23:02:28
2353
1
原创 回归模型中的多重共线性 + 危害 + 原因 + 判断标准 + 解决办法，回归系数
回归模型中的多重共线性 + 危害 + 原因 + 判断标准 + 解决办法，以及相关概念
2023-03-17 11:46:24
10134
3
原创 NLP领域中两种语言模型AR(AutoRegressive Language Modeling)和AE(AutoEncoding Language Modeling)
自然语言领域中语言模型一般划分为两类：AR(AutoRegressive Language Modeling)和AE(AutoEncoding Language Modeling)，两类模型的定义、数学表示、代表作以及优缺点
2023-03-03 23:00:44
1104
原创 YOLOV1和Faster-R-CNN的区别
抽空总结一下Yolov1和Faster-r-cnn的区别。首先要知道 Yolov1：anchor-free的one-stage 目标检测算法；Faster：anchor-base的two-stage 目标检测算法。YOLOV1可以去看下我之前的博客Yolov1细节解读1. Yolov1并没有预先设置anchor，而是选择直接预测bounding box，并且仅对每一个特征点（模型最后的特征图是一张7 * 7 * 30）只预测2个候选框；Faster为feature map上的特征点预先设置了9.
2020-12-13 21:48:10
3106
原创 DenseNet 模型细节解读
论文：Densely Connected Convolutional Networks论文链接：https://arxiv.org/pdf/1608.06993.pdf代码的github链接：https://github.com/liuzhuang13/DenseNet文章是CVPR2017的oral。文章提出了一种密集连接机制：即互相连接所有的层，具体来说就是每个层都会接受其前面所有层作为其额外的输入，该结构主要还是和ResNet以及Inception网络的结构做对比。我们知道从2015...
2020-12-07 16:05:43
1280
1
原创 Docker容器单机多GPU训练，apex安装踩坑记录
用了一个下午来安装apex，按照官方的3步流程，总在最后一步报错。安装步骤如下（最好不要幻想用其它方式，因为其它方式大概率不报错但是用不了）：$ git clone https://github.com/NVIDIA/apex $ cd apex $ pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./但是总是报下面这个错误，这个错误在github上非常常见，我去g
2020-12-03 20:43:24
1596
1
原创 FCOS目标检测论文各种细节解读
PDF:https://arxiv.org/pdf/1904.01355.pdf1. FCOS（Fully Convolutional One-Stage Object Detection）先要明确的知道，FCOS是一个基于FCN、一阶段（one stage）、anchor free、proposal free、参考语义分割思想 实现的逐像素目标检测的模型。...
2020-11-30 22:20:28
6524
10
原创 实例分割模型 YOLACT 和 YOLACT++
Paper：CVPR 2019YOLACT: Real-time Instance Segmentation，CVPR 2020YOLACT++: Better Real-time Instance Segmentation1. YOLACT先要明确的知道，YOLACT是一个一阶段（one stage）、全卷积（FCN）、实例分割（instance segmentation） 模型。核心关注点在实时性上，该模型在单个Titan Xp上以33 fps在MS COCO上实现了29.8 mAP。...
2020-11-25 15:40:47
5625
2
原创 基于 cv2 视觉库 多样化截取视频帧并保存
其实现在很多视觉任务都涉及到视频的读取以及分析，类似于各种制造厂、道路监控等等等，所有有必要学习并记录下视频帧的读取方式，方便回忆。其实总的来说，读取一个视频截取其中的帧分为两步：（1）根据video路径，创建抓取视频帧的句柄（我习惯这么叫）（2）使用句柄以及视频帧下标（第几帧）获取。当前我这么说也很抽象，下面我们一步步来：1. 根据video路径，创建抓取视频帧的句柄import cv2# 全局变量 video路径video_path = '/xx/xx/xx/test.avi'#
2020-11-17 20:11:39
735
2
原创 转置卷积？反卷积？都是什么？有没有区别？具体操作？
最近在写毕业设计，突然想起来之前面试某公司的时候，让我讲下U-Net的结构，然后进而问了我U-Net上采样是怎么做的，然后我一脑抽就说上采样用转置卷积做的（其实也可以，只是原模型不是这么写的），让我手写一个转置卷积，所以特意写了这一篇博客好好学习一下。补：U-Net中上采样是（1）双线性插值使得特征图尺寸翻倍（2）1*1卷积使得通道数目减半注1：其实很多同学，包括我，在写这篇博客之前对这些东西都只是了解了一个大概，比如转置卷积理论上是那样计算的，但是实际到代码中比如torch中的transposeCon
2020-11-09 10:14:47
909
原创 ResNet 残差、退化等细节解读
说实话ResNet的网络结构参数真没有什么可以解读的，在本博客中我们主要了解（1）传统深度学习网络的退化问题（2）残差结构（3）残差结构如何解决退化问题（4）残差结构还有什么其他作用
2020-11-01 22:55:35
2541
4
原创 应聘深度学习视觉算法/研发岗位的复习历程（九）max/mean pooling 和 RoiPooling的解析以及反向传播机制
RoiPooling来自于模型Faster-R-CNN，可以说是简化版的SPP（）本文着重讲解pooling操作以及RoiPooling的反向传播，以及RoiAlign的改进与实现细节。1. Pooling池化操作的反向梯度传播参考博客：https://blog.csdn.net/Jason_yyz/article/details/80003271在计算机视觉中，我们可以看到很多深度学习网络如Yolo系列，U-Net系列，ResNet系列都用到了池化（Pooling）这个操作，但是我们.
2020-10-15 00:28:41
894
2
原创 应聘深度学习视觉算法/研发岗位的复习历程（七）深度学习网络参数初始化的种类及问题
1. 为什么需要一个好的参数初始化参数初始化是模型训练前比较重要的一步，主要是因为一个好的初始化方法可以使得 1）网络能有一个较好的收敛速度；2）能尽可能的使其收敛到全局最优 ；3）能够在一定程度上缓解梯度消失和梯度爆炸！！！！！！！！！2. 一个好的参数初始化方法应该有哪些特性Glorot条件：1）各个层的激活值（输出值）的方差要保持一致（前向传播），这也是为什么通常也要加入BN的原因！！2）各个层对输入的梯度的方差要保持一致（反向传播）注意：1）参数不能全部初始化为0，也不能
2020-10-10 22:19:30
238
转载 Java回收机制专刊
Java的回收机制，我们需要了解的是（1）什么样的对象需要回收（如何判断其需要回收）（2）回收方法（3）gc的执行机制（也就是什么条件下执行minor gc ，full gc）1~4转载自https://www.cnblogs.com/prophet-it/p/6498275.html，但是其中对于gc执行机制和新生代老年代这部分说的不清楚，我做了相关补充！1.java的内存java的内存结构分为堆 (是gc的主要区域) 线程共享,主要是用于分配实例对象和数组 方法区 线程共享 用于储存被
2020-09-20 22:54:06
76
原创 应聘深度学习视觉算法/研发岗位的复习历程（五）机器学习分类算法 逻辑回归 决策树 SVM
这里是不可能一点点推公式（因为太麻烦了- -，后续可能会补），只介绍大体的定义概念以及个人理解。
2020-09-11 17:37:34
975
原创 应聘深度学习视觉算法/研发岗位的复习历程（四）过拟合和欠拟合的含义及解决办法
本章节，单独开一章，为了学习机器学习、深度学习中过拟合的解决方案以及其中细节和原因。1. 在视觉任务重，很自然可以联想到数据增强 or 增加数据量2. L1正则化：获得具有稀疏性的权重/参数，能够用于特征选择，即特征工程，筛选组合得到更高质量的特征。一般情况下，线性回归损失函数如右图所示：首先要理解，认真的讲，0范数（L0范数是指向量中非0的元素的个数）和1范数都能求得稀疏解，但是因为低1范数的都不是凸的，所以L0范数很难优化求解（NP难问题，L0为一个0-1跃阶函数），NP难我也不太懂，反
2020-08-01 22:57:10
453
原创 应聘深度学习视觉算法/研发岗位的复习历程（三）ROC，AUC，梯度优化算法
投字节提前批算法岗，简历都没有过。。确实菜的抠脚，没办法只能继续复习了！这一次主要学习(1) ROC曲线的意义以及制作方法；(2) AUC面积的意义；(3)优化算法SGD，Momentum，AdaGrad，RMSProp，Adam的公式/特点/优缺；(4) 简单了解Bagging和Boosting机制以及他们与偏差、方差的关系。1. ROC曲线的制作方法及意义（图是从博客一里面直接抄过来的，但是图原本也是别人的。。。很尴尬）首先复习下基础知识：召回率(recall) or 敏感度(sens.
2020-08-01 22:32:08
356
repository.rar
2020-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人